(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211374889.0 (22)申请日 2022.11.04 (71)申请人 北京城建 设计发展集团股份有限公 司 地址 100000 北京市西城区阜成门北 大街 五号 (72)发明人 李金龙　王汉军　鲁秋子　张方冰　 刘占宇　李娇　文靖　曲鸣川　 (74)专利代理 机构 北京一枝笔知识产权代理事 务所(普通 合伙) 11791 专利代理师 张庆瑞 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06V 10/82(2022.01)G06V 10/46(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种结合配合式活检的用户人脸注册方法 与系统 (57)摘要 本发明提供了一种结合配合式活检的用户 人脸注册方法与系统属于人脸识别技术领域， 其 中该方法包括： 使用配合式活体注册 流程提取出 视频流中的模板图像生成人脸模板图像的候选 集合； 对候选集合中具有数据噪点的图像进行过 滤得到过滤候选图像集； 使用人脸质量深度网络 计算过滤候选图像集中各个图像对应的质量值； 根据质量值确定最终的多模板注册图像。 本发明 首先通过对候选集合中具有数据噪点的图像进 行过滤得到过滤候选图像集， 然后使用人脸质量 深度网络计算过滤候选图像集中各个图像对应 的质量值， 最终使用质量值确定多模板注册图 像， 可以得到超高质量的用户人脸注册图像， 大 大提升了人脸识别系统的识别效率。 权利要求书3页 说明书9页 附图2页 CN 115512427 A 2022.12.23 CN 115512427 A 1.一种结合配合式活检的用户人脸注 册方法， 其特 征在于， 包括： 步骤1： 获取视频流； 步骤2： 使用配合式活体注册流程提取出所述视频流中的模板 图像生成人脸模板 图像 的候选集 合； 步骤3： 对所述 候选集合中具有数据噪点的图像进行 过滤得到过滤候选图像集； 步骤4： 使用人脸质量深度网络计算所述过 滤候选图像集中各个图像对应的质量 值； 步骤5： 根据所述质量 值确定最终的多模板注 册图像。 2.根据权利要求1所述的一种结合配合式活检的用户人脸注册方法， 其特征在于， 所述 步骤3： 对所述 候选集合中具有数据噪点的图像进行 过滤得到过滤候选图像集， 包括： 步骤3.1： 使用特 征提取网络提取 出过滤候选图像集中各个图像的特 征向量； 步骤3.2： 计算任意两个特征向量的距离值得到N*N的距离矩阵； 其中， N为过滤候选图 像集中图像的个数； 步骤3.3： 计算所述距离矩阵中每一行距离值的均值和方差； 步骤3.4： 根据所述均值和所述方差构建 分数区间； 步骤3.5： 将超出 所述分数区间的相应图像去除得到过 滤候选图像集。 3.根据权利要求2所述的一种结合配合式活检的用户人脸注册方法， 其特征在于， 所述 步骤4： 使用人脸质量深度网络计算所述过 滤候选图像集中各个图像对应的质量 值， 包括： 步骤4.1： 获取不同环境下采集的人脸样本， 并对所述人脸样本进行人工标注标签； 所 述标签包括 光照标签、 姿态标签和人脸关键点； 步骤4.2： 对所述人脸样本进行归一 化处理得到待训练人脸样本； 步骤4.3： 将所述待训练人脸样本 输入到神经网络中进行训练得到人脸质量深度网络 。 4.根据权利要求3所述的一种结合配合式活检的用户人脸注册方法， 其特征在于， 所述 步骤4.3中神经网络在训练过程中的损失函数为： Loss＝W光照*L光照+W姿态*L姿态+W关键 点*L关键 点 L光照＝(1‑pt)rlog(pt) L姿态＝CE(Yaw)+C E(Pitch)+CE(Roll) L关键 点＝L关键 点 集+L拓 扑连线 其中， W光照表示光照损失函数的权值， W姿态表示姿态损失函数的权值， W关键点表示关键点损 失函数的权值， r表示调节参数， 预测概率 y表示光照是否正 常， y＝1表示光照正常， CE(Yaw)表示在Yaw方向的交叉熵损失， CE(Pit ch)表示在Pitch方向 的交叉熵损失， CE(Roll)表示在Roll方向的交叉熵损失， J表 示关键点数量， C表示构建拓扑权　利　要　求　书 1/3 页 2 CN 115512427 A 2结构中所有的关键点数， W(p)表示是否可见， 当关键点或者拓扑连线不可见时该值为0， L2 表示欧式距离， 表示所有关键点的预测值， 表示所有关键点的标注值， 表示拓扑结 构中的拓扑 连线点的预测值， 表示拓扑 结构中的拓扑 连线点的标注值。 5.一种结合配合式活检的用户人脸注 册系统， 其特 征在于， 包括： 视频流获取模块， 用于获取视频流； 模板图像提取模块， 用于使用配合式活体注册流程提取出所述视频流中的模板图像生 成人脸模板图像的候选集 合； 图像过滤模块， 用于对所述候选集合中具有数据噪点的图像进行过滤得到过滤候选图 像集； 质量值获取模块， 用于使用人脸质量深度网络计算所述过滤候选图像集中各个图像对 应的质量 值； 注册图像确定模块， 用于根据所述质量 值确定最终的多模板注 册图像。 6.根据权利要求5所述的一种结合配合式活检的用户人脸注册系统， 其特征在于， 所述 图像过滤模块， 包括： 特征提取单元， 用于使用特征提取网络提取出过滤候选图像集中各个图像的特征向 量； 距离矩阵构建单元， 用于计算任意两个特征向量的距离值得到N*N的距离矩阵； 其中， N 为过滤候选图像集中图像的个数； 距离值处 理单元， 用于计算所述距离矩阵中每一行距离值的均值和方差； 分数区间构建单 元， 用于根据所述均值和所述方差构建 分数区间； 图像筛选单元， 用于将超出 所述分数区间的相应图像去除得到过 滤候选图像集。 7.根据权利要求6所述的一种结合配合式活检的用户人脸注册系统， 其特征在于， 所述 质量值获取模块， 包括： 样本获取单元， 用于获取不同环境下采集的人脸样本， 并对所述人脸样本进行人工标 注标签； 所述标签包括 光照标签、 姿态标签和人脸关键点； 归一化处理单元， 用于对所述人脸样本进行归一 化处理得到待训练人脸样本； 训练单元， 用于将所述待训练人脸样本输入到神经网络中进行训练得到人脸质量深度 网络。 8.根据权利要求7所述的一种结合配合式活检的用户人脸注册系统， 其特征在于， 所述 训练单元中神经网络在训练过程中的损失函数为： Loss＝W光照*L光照+W姿态*L姿态+W关键 点*L关键 点 L光照＝(1‑pt)rlog(pt) L姿态＝CE(Yaw)+C E(Pitch)+CE(Roll) L关键 点＝L关键 点 集+L拓 扑连线 权　利　要　求　书 2/3 页 3 CN 115512427 A 3