(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211070824.7 (22)申请日 2022.09.02 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 吴冠天　饶宇熹　宁博　黄淋　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 任默闻 (51)Int.Cl. G06F 21/32(2013.01) G06V 40/20(2022.01) G06V 40/70(2022.01) G06V 40/16(2022.01) G06V 40/40(2022.01) (54)发明名称 面向听障人士的反欺诈交易验证方法及装 置 (57)摘要 本申请公开一种面向听障人士的反欺诈交 易验证方法及装置， 涉及身份认证领域及金融领 域。 该方法包括： 获取交易用户所用设备的设备 环境数据， 并根据设备环境数据以及预设的风险 识别规则确定交易用户所用设备的设备风险等 级； 根据设备风险等级随机生 成多个词条并展示 给交易用户； 采集交易用户针对词条的手语动作 数据， 并根据手语动作数据以及预先创建的手语 识别模型得到交易用户的手语识别结果； 采集交 易用户的人脸图像数据， 并根据人脸图像数据以 及预先创建的人脸识别模型得到交易用户的人 脸识别结果； 根据设备风险等级、 人脸识别结果 以及手语识别结果确定交易验证结果。 本申请使 用设备环 境风险检测技术、 手语识别以及人脸检 测， 满足语障人群需求。 权利要求书2页 说明书15页 附图10页 CN 115438326 A 2022.12.06 CN 115438326 A 1.一种面向听障人士的反欺诈交易验证方法， 其特 征在于， 包括： 获取交易用户所用设备的设备环境数据， 并根据 所述设备环境数据以及预设的风险识 别规则确定交易用户所用设备的设备风险等级； 根据所述设备风险等级随机生成多个词条并展示给交易用户； 采集交易用户针对所述词条的手语动作 数据， 并根据所述手语动作 数据以及预先创建 的手语识别模型得到交易用户的手语识别结果； 所述手语识别模型是使用原始手语数据集 对三维卷积网络训练得到的； 采集交易用户的人脸图像数据， 并根据所述人脸图像数据以及预先创建的人脸识别模 型得到交易用户的人脸识别结果； 其中， 所述人脸识别模型是使用多对正样本以及负样本 对孪生网络训练得到的； 根据所述设备风险等级、 所述人脸识别结果以及所述手语识别结果确定交易验证结 果。 2.根据权利要求1所述的面向听障人士的反欺诈交易验证方法， 其特征在于， 所述设备 环境数据包括交易用户所用设备的设备参数及其所处的网络环境 参数； 所述根据所述设备环境数据以及预设的风险识别规则确定交易用户所用设备的设备 风险等级， 包括： 根据所述网络环境 参数及其对应的第一评分规则确定第一评分； 根据所述设备参数及其对应的第二评分规则确定第二评分； 根据所述第一评分、 所述第二评分以及预设的评分阈值确定所述设备风险等级。 3.根据权利要求1所述的面向听障人士的反欺诈交易验证方法， 其特征在于， 所述根据 所述手语动作数据以及预 先创建的手 语识别模型 得到交易用户的手 语识别结果， 包括： 采集交易用户针对多个所述词条 执行的手语动作数据； 将所述手语动作数据输入至所述手语识别模型， 得到各手语动作数据的动作识别结 果； 根据各词条以及对应的动作识别结果确定所述手 语识别结果。 4.根据权利要求1所述的面向听障人士的反欺诈交易验证方法， 其特征在于， 所述根据 所述人脸图像数据以及预 先创建的人脸识别模型 得到交易用户的人脸识别结果， 包括： 获取交易用户的基准照并进行 特征提取， 得到基准照特 征； 采集交易用户的现场照并进行 特征提取， 得到现场照特 征； 根据所述基准照特征、 所述现场照特征以及所述人脸识别模型， 得到所述人脸识别结 果。 5.根据权利要求1所述的面向听障人士的反欺诈交易验证方法， 其特征在于， 所述根据 所述设备风险等级、 所述人脸识别结果以及所述手 语识别结果确定交易验证结果， 包括： 根据所述人脸识别结果、 所述手 语识别结果以及预设的权 重值确定综合评分； 根据所述设备风险等级以及预设的设备风险等级与评分阈值的对应关系确定评分阈 值； 根据所述综合评分以及所述评分阈值确定所述交易验证结果。 6.根据权利要求1至5中任一项所述的面向听障人士的反欺诈交易验证方法， 其特征在 于， 创建所述手 语识别模型的步骤 包括：权　利　要　求　书 1/2 页 2 CN 115438326 A 2从原始手语数据集中获取多个 手语动作及其标签； 根据所述手 语动作及其标签形成多个正样本和多个负 样本； 基于所述 正样本和所述负 样本生成手 语数据集； 使用所述手 语数据集对预 先建立的三维卷积网络进行训练， 得到所述手 语识别模型。 7.根据权利要求1至5中任一项所述的面向听障人士的反欺诈交易验证方法， 其特征在 于， 创建所述人脸识别模型的步骤 包括： 从原始人脸数据集中进行多次随机 选择， 得到多对样本， 每对样本包 含两张人脸图像； 分别根据每对样本中的两张人脸图像确定样本标签； 其中， 当两张人脸图像为同一人 时， 样本标签为 正样本标签， 当两张人脸图像不是同一人时， 样本标签为负 样本标签； 根据多对所述样本及其对应的样本标签生成训练数据集； 其中， 样本样本标签为正样 本标签的样本为 正样本， 样本标签为负 样本标签的样本为负 样本； 使用所述训练数据集对预 先建立的孪生网络模型进行训练， 得到所述人脸识别模型。 8.一种面向听障人士的反欺诈交易验证装置， 其特 征在于， 包括： 设备风险等级确定模块， 用于获取交易用户所用设备的设备环境数据， 并根据所述设 备环境数据以及预设的风险识别规则确定交易用户所用设备的设备风险等级； 词条生成模块， 用于根据所述设备风险等级随机生成多个词条并展示给交易用户； 手语识别模块， 用于采集交易用户针对所述词条的手语动作数据， 并根据所述手语动 作数据以及预先创建的手语识别模型得到交易用户的手语识别结果； 所述手语识别模型是 使用原始手语数据集对三维卷积网络训练得到的； 人脸识别模块， 用于采集交易用户的人脸图像数据， 并根据所述人脸图像数据以及预 先创建的人脸识别模型得到交易用户的人脸识别结果； 其中， 所述人脸识别模型是使用多 对正样本以及负 样本对孪生网络训练得到的； 交易验证模块， 用于根据所述设备风险等级、 所述人脸识别结果以及所述手语识别结 果确定交易验证结果。 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7中任一项所 述的面向听障人士的反欺诈交易验证方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序被处理器执行时实现权利要求1至7中任一项 所述的面向听障人士的反 欺诈交易验证方法。权　利　要　求　书 2/2 页 3 CN 115438326 A 3