(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210605037.1 (22)申请日 2022.05.30 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 达举东　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 王天尧　陶海萍 (51)Int.Cl. G06Q 40/02(2012.01) G06F 40/30(2020.01) G06F 16/33(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G10L 15/06(2013.01) G10L 15/22(2006.01) (54)发明名称 手机银行的操作方法及装置 (57)摘要 本发明公开了一种手机银行的操作方法及 装置， 涉及人工智能技术领域， 其中该方法包括： 接收客户在手机银行上输入的第一语音信息； 将 第一语音信息输入语义分析模型， 确定第一语音 信息的第一语音控制指令； 获取手机银行的第一 页面配置信息， 第一页面配置信息为手机银行当 前展示的页面的配置信息； 根据预先配置的交互 元素端口模板， 获取第一页面配置信息中的交互 元素的操作端口信息； 根据预先配置的语音控制 指令与交互元素的操作端口信息的关联关系， 从 第一页面配置信息中的交互元素的操作端口信 息中， 匹配第一语音控制指令对应的第一交互元 素的操作端口信息； 执行第一交互元素的操作端 口信息对应的端口操作。 本发明使客户可以便捷 地操作手 机银行。 权利要求书3页 说明书9页 附图4页 CN 115170272 A 2022.10.11 CN 115170272 A 1.一种手机银 行的操作方法， 其特 征在于， 包括： 接收客户在手机银 行上输入的第一语音信息； 将所述第一语音信 息输入语义分析模型， 确定所述第 一语音信 息对应的第 一语音控制 指令， 所述语义分析模型是利用客户的历史语音信息与对应的历史语音控制指令训练得 到； 获取手机银行的第 一页面配置信 息， 所述第 一页面配置信 息为手机银行当前展示的页 面的配置信息； 根据预先配置的交互元素端口模板， 获取所述第 一页面配置信 息中的交互元素的操作 端口信息， 所述交互元素端口模板包括多个交互元素和每一交互元素对应的多种操作端口 信息； 根据预先配置的语音控制指令与交互元素的操作端口信 息的关联关系， 从所述第 一页 面配置信息中的交互元素的操作端口信息中， 匹配所述第一语音控制指令对应的第一交互 元素的操作端口信息； 所述预先配置的语音控制指 令与交互元素的操作端口信息为一一对 应的关系； 执行第一交 互元素的操作端口信息对应的端口操作。 2.如权利要求1所述的方法， 其特征在于， 所述语义分析模型是基于卷积神经网络的语 义分析模型； 将所述第一语音信 息输入语义分析模型， 确定所述第 一语音信 息对应的第 一语音控制 指令， 包括： 将所述第一语音信息转换为语音 文本数据； 利用卷积神经网络提取语音 文本数据中的语义特 征向量； 计算语音文本数据中的语义特征向量与预设的每一语音控制指令的语义特征向量之 间的相似度； 将相似度 大于预设相似度阈值的语音控制 指令， 确定为所述第 一语音信 息对应的第 一 语音控制指令 。 3.如权利要求1所述的方法， 其特征在于， 所述交互元素端口模板 中的交互元素包括如 下至少一种： 按 钮、 输入域、 列表、 选择器、 可操作性视图。 4.如权利要求1所述的方法， 其特征在于， 所述交互元素端口模板 中的交互元素对应的 多种操作端口信息包括手势动作信息 。 5.如权利要求1所述的方法， 其特征在于， 获取手机银行的第一页面配置信息之前， 还 包括： 将手机银 行的第一页面配置信息中的风险信息进行屏蔽处 理。 6.如权利要求1所述的方法， 其特征在于， 执行第 一交互元素的操作端口信 息对应的端 口操作之后， 还 包括： 若手机银 行切换到第二页面， 获取第二页面配置信息； 根据预先配置的交互元素端口模板， 获取所述第 二页面配置信 息中的交互元素的操作 端口信息； 接收客户输入的第二语音信息； 将所述第二语音信 息输入语义分析模型， 确定所述第 二语音信 息对应的第 二语音控制权　利　要　求　书 1/3 页 2 CN 115170272 A 2指令； 根据预先配置的语音控制指令与交互元素的操作端口信 息的关联关系， 从所述第 二页 面配置信息中的交互元素的操作端口信息中， 匹配所述第二语音控制指令对应的第二交互 元素的操作端口信息； 执行第二交 互元素的操作端口信息对应的端口操作。 7.如权利要求1所述的方法， 其特 征在于， 还 包括： 在手机银 行的功能发生变化的情况 下， 根据变化的功能， 更新交 互元素端口模板 。 8.一种手机银 行的操作装置， 其特 征在于， 包括： 接收模块， 用于 接收客户在手机银 行上输入的第一语音信息； 语音指令确定模块， 用于将所述第一语音信息输入语义分析模型， 确定所述第一语音 信息对应的第一语音控制指令， 所述语义分析模型是利用客户的历史语音信息与对应的历 史语音控制指令训练得到； 配置信息获取模块， 用于获取手机银行的第一页面配置信息， 所述第一页面配置信息 为手机银 行当前展示的页面的配置信息； 端口信息获取模块， 用于根据预先配置的交互元素端口模板， 获取所述第一页面配置 信息中的交互元素的操作端口信息， 所述交互元素端口模板包括多个交互元素和每一交互 元素对应的多种操作端口信息； 匹配模块， 用于根据预先配置的语音控制指令与交互元素的操作端口信息的关联关 系， 从所述第一页面配置信息中的交互元素 的操作端口信息中， 匹配所述第一语音控制指 令对应的第一交互元素的操作端口信息； 所述预先配置的语音控制指 令与交互元素的操作 端口信息为 一一对应的关系； 执行模块， 用于执 行第一交 互元素的操作端口信息对应的端口操作。 9.如权利要求8所述的装置， 其特征在于， 所述语义分析模型是基于卷积神经网络的语 义分析模型； 语音指令确定模块， 具体用于： 将所述第一语音信息转换为语音 文本数据； 利用卷积神经网络提取语音 文本数据中的语义特 征向量； 计算语音文本数据中的语义特征向量与预设的每一语音控制指令的语义特征向量之 间的相似度； 将相似度 大于预设相似度阈值的语音控制 指令， 确定为所述第 一语音信 息对应的第 一 语音控制指令 。 10.如权利要求8所述的装置， 其特征在于， 所述交互元素端口模板中的交互元素包括 如下至少一种： 按 钮、 输入域、 列表、 选择器、 可操作性视图。 11.如权利要求8所述的装置， 其特征在于， 所述交互元素端口模板中的交互元素对应 的多种操作端口信息包括手势动作信息 。 12.如权利要求8所述的装置， 其特征在于， 还包括屏蔽模块， 用于在配置信 息获取模块 获取手机银 行的第一页面配置信息之前： 将手机银 行的第一页面配置信息中的风险信息进行屏蔽处 理。 13.如权利要求8所述的装置， 其特征在于， 还包括页面切换处理模块， 用于在执行模块权　利　要　求　书 2/3 页 3 CN 115170272 A 3