(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210663952.6 (22)申请日 2022.06.14 (65)同一申请的已公布的文献号 申请公布号 CN 114758424 A (43)申请公布日 2022.07.15 (73)专利权人 众旅联 （浙江） 生态科技有限公司 地址 310000 浙江省杭州市余杭区仓前街 道海创科技中心3幢713 -2室 (72)发明人 应旭斌　 (74)专利代理 机构 杭州汇和信专利代理有限公 司 33475 专利代理师 董超 (51)Int.Cl. G06V 40/70(2022.01) G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06K 9/62(2022.01) G06Q 20/40(2012.01) G06Q 20/14(2012.01) G06Q 50/26(2012.01) (56)对比文件 CN 112966643 A,2021.0 6.15 CN 108446667 A,2018.08.24 CN 112200161 A,2021.01.08 CN 110781784 A,2020.02.1 1 US 20181373 35 A1,2018.0 5.17 肖珂等.基于深度学习的虹膜人脸多特 征融 合识别. 《计算机 工程与设计》 .2020,第41卷(第4 期), Md. Zahidur Rahman， and etc.Disti nguishing a Perso n by Face and Iris Usi ng Fusion Approach. 《2019 Internati onal Conference o n Sustai nable Technologies for I ndustry 4.0 (STI)》 .2020, 审查员 徐雯晖 (54)发明名称 基于多重校验机制的智能支付设备及其支 付方法 (57)摘要 本申请涉及智能支 付的领域， 其具体地公开 了一种基于多重校验机制的智能支付设备及其 支付方法， 所述智能支付设备通过深度神经网络 模型来从待校验对象的人脸图像和眼球区域图 像中挖掘深层的局部隐含关联特征信息， 以结合 人脸识别和虹膜识别来提高支付的安全性和便 利性， 并且在此过程中， 为了提高融合的效果以 提高分类的准确性， 进一步使用基于自注意力的 数据密集簇机制对虹膜特征图进行加权， 这样可 以通过所述虹膜特征图内的数据密集簇的自适 应依赖来提升融合后的特征图对于分类目标函 数的参数自适应变化性以提高分类准确性， 这样提高支付的安全性和便利性。 权利要求书3页 说明书15页 附图5页 CN 114758424 B 2022.09.02 CN 114758424 B 1.一种基于多重校验机制的智能支付设备， 其特 征在于， 包括： 人脸采集模块， 用于获取由智能支付设备的摄 像头采集的待校验 对象的人脸图像； 人脸检测模块， 用于将所述待校验对象的人脸图像通过作为人脸 区域检测网络的第 一 卷积神经网络模型以得到人脸特 征图； 眼球区域提取模块， 用于基于 眼球在所述人脸图像中的位置， 从所述人脸特征图提取 对应于所述眼球的眼球区域特 征图； 眼球区域像素增强模块， 用于将所述眼球区域特征图通过作为像素增强器的生成器模 型以得到生成眼球区域图像； 虹膜特征提取模块， 用于将所述生成眼球区域图像通过具有显著性检测模块的第 二卷 积神经网络模型以得到虹膜特 征图； 特征分布校正模块， 用于基于所述人脸特征图， 使用基于自注意力的数据密集簇机制 对所述虹膜特征图进行加权以得到加权后 虹膜特征图， 其中， 所述使用基于自注意力的数 据密集簇机制对虹膜特征图进行加权基于所述人脸特征图和所述虹膜特征图之间的按位 置点乘所得到的空间交互特征图， 以及， 所述人脸特征图和所述虹膜特征图之间的距离来 进行； 特征分布融合模块， 用于 融合所述加权后虹膜特征图和所述人脸特征图以得到分类特 征图； 校验结果生成模块， 用于将所述分类特征图通过分类器以得到分类结果， 所述分类结 果为待检验 对象对应于数据库中的对象标签； 以及 支付模块， 用于基于所述对象标签所关联的支付账户中的金额， 支付乘车 所需的费用； 其中， 所述特 征分布校正模块， 包括： 空间交互特征图生成单元， 用于计算所述人脸特征图和所述虹膜特征图之间的按位置 点乘以得到所述空间交 互特征图； 数据差异性度量单元， 用于计算所述人脸特征图和所述虹膜特征图之间欧式距离的平 方根； 注意力单元， 用于以所述空间交互特征图中各个位置的特征值分别除以所述人脸特征 图和所述虹膜特 征图之间欧式距离的平方根以得到注意力特 征图； 指数运算单元， 用于计算以所述注意力特征图中各个位置的特征值为幂的自然指数函 数值以得到指数注意力特 征图； 第一类概率单元， 用于将所述指数注意力特征图通过所述分类器以得到第 一类概率指 数； 第二类概 率单元， 用于将所述虹膜特 征图通过 所述分类 器以得到第二类概 率指数； 作用单元， 用于计算所述第 一类概率指数和所述第 二类概率指数之间的乘积作为所述 虹膜特征图的加权系数； 以及 校正单元， 用于以所述加权系数对所述虹膜特征图进行加权以得到所述加权后虹膜特 征图。 2.根据权利要求1所述的基于多重校验机制的智能支付设备， 其中， 所述第 一卷积神经 网络模型为Fast  R‑CNN、 Faster R‑CNN或RetinaNet。 3.根据权利要求2所述的基于多重校验机制的智能支付设备， 其中， 所述虹膜特征提取权　利　要　求　书 1/3 页 2 CN 114758424 B 2模块， 进一 步用于以所述第二卷积神经网络的各层对输入数据进行如下 方式的编码： 以所述第二卷积神经网络的各层的第一卷积单元以第一卷积核对所述输入数据进行 卷积编码以得到卷积特 征图； 以所述第二卷积神经网络的各层的第二卷积单元以第二卷积核对所述卷积特征图进 行卷机编码以得到再卷积特征图， 其中， 所述第一卷积单元和所述第二卷积单元形成所述 显著性特 征检测模块， 所述第一卷积核的尺寸大于所述第二卷积核的尺寸； 以所述第二卷积神经网络的各层的池化单元对所述再卷积特征图进行基于局部特征 矩阵的均值池化以得到池化特 征图； 以及 以所述第二卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值 进行非线性激活以得到 激活特征图； 其中， 所述第二卷积神经网络的最后一层的输出为所述虹膜特 征图。 4.根据权利要求3所述的基于多重校验机制的智能支付设备， 其中， 所述特征分布校正 模块， 进一步用于以如下公式使用基于自注意力的数据密集簇机制对所述虹膜特征图进 行 加权以得到所述加权后虹膜特 征图； 其中， 所述公式为： 其中Fface表示所述人脸特征图， Firis表示所述虹膜特征图, 表示点乘， softmax( ·)表 示特征图通过分类器得到的概率值， d( ·,·)表示特征图之间的距离， exp( ·)表示特征图 的指数运算， 所述特征图的指数运算表示计算以特征图中各个位置的特征值为幂的自然指 数函数值， 特 征图除以参数表示以特 征图中各个位置的特 征值分别除以参数。 5.根据权利要求4所述的基于多重校验机制的智能支付设备， 其中， 所述特征分布融合 模块， 进一步用于： 以如下公式融合所述加权后虹膜特征图和所述人脸特征图以得到所述 分类特征图； 其中， 所述公式为： F=α wFiris+β Fface 其中，F为所述分类特征图， Firis为所述虹膜特征图， Fface为所述人脸特征图， wFiris表示 所述加权后 虹膜特征图， “+”表示所述加权后虹膜特征图和所述人脸特征图相对应位置处 的元素相加， α和β为用于控制所述加权后虹膜特征图和所述人脸特征图之 间的平衡的加权 参数。 6.根据权利要求5所述的基于多重校验机制的智能支付设备， 其中， 所述校验结果生成 模块， 进一 步用于： 所述分类 器以如下公式对所述分类特 征图进行处 理以生成分类结果； 其中， 所述公 式为：softmax{(Wn , Bn):...:(W1, B1)|Project(F)}， 其中Project(F)表 示将所述分类特征图投影为向量， W1至Wn为各层全连接层的权重矩阵， B1至Bn表示各层全连 接层的偏置矩阵。 7.根据权利要求6所述的基于多重校验机制的智能支付设备， 其中， 所述支付模块， 进 一步用于响应于所述对象标签所关联的支付账户中的金额小于所述乘车所需的费用， 生成权　利　要　求　书 2/3 页 3 CN 114758424 B 3