(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111662759.2 (22)申请日 2021.12.31 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 周艺华　肖桐　宁振虎　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 代理人 沈波 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/56(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种存在口罩遮挡场景 下的人脸识别方法 (57)摘要 本发明公布了一种存在口罩遮挡场景下的 人脸识别方法， 利用现有数据库获取人脸图像数 据， 使用人脸图像数据对改进后的resnet 50网络 进行训练。 利用Dlib人脸检测定位法从人脸图像 中提取口罩正常遮挡区域中的面部关键点， 在上 述关键点处添加口罩遮挡， 生成RGB图像和HSV图 像， 并获取HSV图像的H层信息。 利用HSV图像的H 层信息获取口罩遮挡的位置信息， 将戴口罩的 图 像和未戴口罩的图像分别传入训练好的网络， 计 算全连接层的输出差异， 并以此调整网络权值和 遮挡情况下特征向量各项的重要程度， 将得到的 数据分别记入 遮挡字典。 权利要求书1页 说明书3页 附图1页 CN 114373210 A 2022.04.19 CN 114373210 A 1.一种存在口罩遮挡场景下的人脸识别方法， 其特征在于： 该方法的实施过程如下： S1、 从现有数据库中获取 人脸图像数据； S2、 将resnet50网络中的softmax层的softmax函数替换为A ‑softmax函数,命名为A ‑ softmax层， 并使用人脸图像数据对改进后的resnet5 0网络进行训练； S3、 利用Dlib人脸检测定位法从人脸图像中提取出口罩正常遮挡区域中的面部关键 点； S4、 在上述关键点处添加口罩遮挡， 生成RGB 图像和HSV图像， 并获取HSV图像的H层信 息； S5、 利用HSV图像的H层信息获取口罩遮挡的位置信息， 并根据遮挡关键点对图像进行 分类； S6、 将添加口罩遮挡的RGB图像和未添加口罩的RGB图像分别传入训练好的resnet50网 络， 计算全连接层的输出差异， 根据差异调整网络权值和遮挡情况下特征向量各项的重要 程度， 得到的数据根据图像 类别分别记入 遮挡字典； S7、 使用时将输入的被遮挡图片通过HSV转换技术得到HSV图像的H层信息， 获取遮挡位 置信息， 判定被遮挡的关键点， 然后查询遮挡字典， 调整受遮挡内容影响的特征信息重要性 权值， 并根据调整后的特 征进行人脸识别。权　利　要　求　书 1/1 页 2 CN 114373210 A 2一种存在口罩遮挡场景下的 人脸识别方 法 技术领域 [0001]本发明涉及机器学习技术领域， 具体涉及机器学习图像处理技术领域的人脸识别 方法。 背景技术 [0002]受病毒影响， 佩戴口罩成为大众出行的前提。 但口罩会对人脸造成严重的遮挡， 因 此在手机解锁、 支 付、 车站检票等需要 人脸识别支持的场景中， 部 分应用无法对 人脸进行有 效识别。 [0003]现有人脸识别方法中， 在佩戴口罩的情况下进行人脸识别经常出现误识别和无法 识别的情况， 现有的人脸识别方案有的无法识别带 口罩情况下的人脸， 有的降低了识别阈 值使得门禁系统的安全性降低， 因此设计一种戴口罩情况下的准确的人脸识别方案 迫在眉 睫。 发明内容 [0004]本发明公布了一种存在口罩遮挡场景 下的人脸识别方法， 包括以下步骤： [0005]1、 从现有数据库中获取 人脸图像数据； [0006]2、 将resnet50网络中的softmax层的softmax函数替换为A ‑softmax函数,命名为 A‑softmax层， 并使用人脸图像数据对改进后的resnet5 0网络进行训练； [0007]3、 利用Dlib人脸检测定位法从人脸图像中提取口罩正常遮挡区域中的面部关键 点； [0008]4、 在上述关键点处添加口罩遮挡， 生成RGB图像和HSV图像， 并获取HSV图像的H层 信息； [0009]5、 利用HSV图像的H层信息 获取口罩遮挡的位置信息， 并根据 遮挡关键点对图像进 行分类； [0010]6、 将添加口罩遮挡的RGB图像和未添加口罩的RGB图像分别传入训练好的 resnet50网络， 计算全连接层的输出差异， 根据差异调整网络权值和遮挡情况下特征向量 各项的重要程度， 各分类的图像得到的数据分别记入 遮挡字典； [0011]7、 使用时将输入的被遮挡图片通过HSV转换技术得到HSV图像的H层信息， 获取遮 挡位置信息， 判定被遮挡的关键点， 然后查询遮挡字典， 调整受遮挡内容影响的特征信息重 要性权值， 并根据调整后的特 征进行人脸识别。 附图说明 [0012]图1为遮挡字典的训练流 程图； [0013]图2为训练完成后的 口罩人脸识别流 程图；说　明　书 1/3 页 3 CN 114373210 A 3