(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210646144.9 (22)申请日 2022.06.09 (71)申请人 厦门瑞为信息技 术有限公司 地址 361000 福建省厦门市 火炬高新区软 件园华讯楼C区B1F-1 12 (72)发明人 袁嘉言　贾宝芝　王汉超　张帅　 何一凡　 (74)专利代理 机构 厦门市首创君 合专利事务所 有限公司 3 5204 专利代理师 连耀忠 (51)Int.Cl. G06V 40/70(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 40/16(2022.01) G06V 40/18(2022.01) (54)发明名称 基于多模态无感身份认证的毫米波安检方 法及装置 (57)摘要 本发明公开了一种基于多模态无感身份认 证的毫米波安检方法及装置， 在毫米波安检过程 中同时获取人员的毫米波图像和至少两种无感 身份认证模态图像， 并分别计算出多个单模态质 量分数， 根据毫 米波图像和至少两种无感身份认 证模态图像分别提取多个单模态特征， 输入经训 练的特征融合模 型进行特征融合， 得到多模态融 合特征， 根据多个单模态质量分数计算得到多模 态质量分数， 基于毫米波 图像得到安检结果； 通 过多个单模态特征或多模态融合特征进行身份 认证， 将该人员的安检结果与身份信息建立对应 关系并存储或更新在数据库中。 该方法不仅能将 安检结果与身份认证结果绑 定管理， 还能保证具 有较高的身份认证准确率。 权利要求书2页 说明书10页 附图5页 CN 115131881 A 2022.09.30 CN 115131881 A 1.一种基于多模态无感身份认证的毫米波安检方法， 其特 征在于， 包括以下步骤： S1， 在毫米波安检过程中同时获取人员的毫米波图像和至少两种无感身份认证模态图 像， 并分别计算出所述毫米波图像和至少两种无感身份认证模态图像所对应的多个单模态 质量分数， 根据所述毫米波图像和至少两种无感身份认证模态图像分别提取多个单模态特 征， 多个所述单模态特 征包括体态特 征和至少两种无感身份认证模态特 征； S2， 将多个所述单模态特征输入经训练的特征融合模型进行特征融合， 得到多模态融 合特征， 根据多个所述单模态质量分数计算得到多模态质量分数， 基于所述毫米波图像得 到安检结果； S3， 通过多个所述单模态特征进行身份认证， 若身份认证成功， 则得到该人员的身份信 息， 若身份认证失败， 则通过所述多模态融合特征进行身份认证， 若身份认证成功， 则得到 该人员的身份信息； S4， 将该人员的所述安检结果与所述身份信息建立对应关系并存储在数据库中， 同时 将多个所述单模态质量分数、 多模态质量分数、 单模态特征和多模态融合特征记录在所述 对应关系中， 或者根据多个所述单模态质量分数和多模态质量分数分别 在所述对应关系中 更新多个所述单模态特 征和多模态融合特 征。 2.根据权利要求1所述的基于多模态无感身份认证的毫米波安检方法， 其特征在于， 所 述至少两种无感身份认证模态图像包括人脸图像和虹膜图像， 所述至少两种无感身份认证 模态特征包括人脸特征和虹膜特征， 所述体态特征、 人脸特征和虹膜特征通过对应的经训 练的深度学习模型分别提取所述体态特征、 人脸特征和虹膜特征， 多个所述单模态质量分 数为体态图像质量分数、 人脸图像质量分数和虹膜图像质量分数。 3.根据权利要求2所述的基于多模态无感身份认证的毫米波安检方法， 其特征在于， 所 述步骤S1中分别计算出所述毫米波图像和至少两种 无感身份认证模态图像所对应的多个 单模态质量分数， 具体包括： 通过毫米波图像 体态完整度和清晰度综合计算体态图像质量分数； 通过人脸图像的人脸角度、 亮度和清晰度综合计算人脸图像质量分数； 通过虹膜图像的虹膜完整度、 视线方向、 亮度和清晰度综合计算虹膜图像质量分数。 4.根据权利要求1所述的基于多模态无感身份认证的毫米波安检方法， 其特征在于， 所 述特征融合模型包括co ncat层、 dropout层和全连接层， 所述 步骤S2具体包括： 将多个维度为D*1*1的所述单模态特征输入所述concat层进行特征拼接， 得到维度为 3D*1*1的拼接特征， 将所述拼接特征输入所述dropout层随机冻结部分特征， 得到识别特 征， 将所述识别特 征输入所述全连接层降维融合得到维度为D*1*1的多模态融合特 征； 将多个所述单模态质量分数进行加权计算处 理， 得到所述多模态质量分数。 5.根据权利要求1所述的基于多模态无感身份认证的毫米波安检方法， 其特征在于， 所 述步骤S3具体包括： S31， 将多个所述单模态特征分别与相应的单模态特征数据库中的单模态标准特征进 行特征比对， 得到多个第一特征比对分数， 若至少一个所述第一特征比对分数大于或等于 第一阈值， 则身份认证成功， 确定该 人员的身份信息； S32， 若所述多个第一特征比对分数均小于所述第一阈值， 则将所述多模态融合特征与 多模态融合特征数据库中的多模态融合标准特征进行特征比对， 得到第二特征比对分数，权　利　要　求　书 1/2 页 2 CN 115131881 A 2若所述第二特征比对分数大于第二阈值， 则身份认证成功， 确定该人员的身份信息， 若所述 第二特征比对分数小于第二阈值， 则身份认证失败。 6.根据权利要求5所述的基于多模态无感身份认证的毫米波安检方法， 其特征在于， 所 述第二阈值小于所述第一阈值。 7.根据权利要求5所述的基于多模态无感身份认证的毫米波安检方法， 其特征在于， 所 述步骤S4具体包括： 若所述步骤S31中的基于人脸特征的身份认证成功， 且所述多模态融合特征数据库中 不存在该人员对应的多模态融合标准特征， 则将该人员的所述安检结果、 身份信息、 单模态 质量分数、 多模态质量分数、 单模态特征和多模态融合特征建立对应关系加密存储在所述 数据库中； 若所述步骤S31中的基于人脸特征的身份认证成功， 且所述多模态融合特征数据库中 存在该人员对应的多模态融合标准特征， 则将该人员的所述安检结果与身份信息建立对应 关系， 并分别根据单模态质量分数、 多模态质量分数对相应的单模态特征数据库中的单模 态标准特 征以及多模态融合特 征数据库中的多模态融合标准特 征进行更新。 8.一种基于多模态无感身份认证的毫米波安检装置， 其特 征在于， 包括： 特征提取模块， 被配置为在毫米波安检过程中同时获取人员的毫米波图像和至少两种 无感身份认证模态图像， 并分别计算出所述毫米波图像和至少两种无感身份认证模态图像 所对应的多个单模态质量分数， 根据所述毫米波图像和至少两种无感身份认证模态图像分 别提取多个单模态特征， 多个所述单模态特征包括体态特征和至少两种无感身份认证模态 特征； 特征融合模块， 被配置为将多个所述单模态特征输入经训练的特征融合模型进行特征 融合， 得到多模态融合特征， 根据多个所述单模态质量分数计算得到多模态质量分数， 基于 所述毫米波图像得到安检结果； 身份认证模块， 被配置为通过多个所述单模态特征进行身份认证， 若身份认证成功， 则 得到该人员的身份信息， 若身份认证失败， 则通过所述多模态融合特征进 行身份认证， 若身 份认证成功， 则得到该 人员的身份信息； 关联模块， 被配置为将该人员的所述安检结果与 所述身份信 息建立对应关系并存储在 数据库中， 同时将多个所述单模态质量分数、 多模态质量分数、 单模态特征和多模态融合特 征记录在所述对应关系中， 或者根据多个所述单模态质量分数和多模态质量分数分别 在所 述对应关系中更新多个所述单模态特 征和多模态融合特 征。 9.一种电子设备， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑7中任一所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1 ‑7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115131881 A 3