(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111665913.1 (22)申请日 2021.12.31 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 申请人 宜宾电子科技大 学研究院 (72)发明人 陈波　陈圩钦　邓媛丹　曾俊涛　 朱舜文　王庆先　 (74)专利代理 机构 成都先导云创知识产权代理 事务所(普通 合伙) 51321 代理人 李坤 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/40(2017.01) G06V 40/16(2022.01)G06N 3/04(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/54(2022.01) (54)发明名称 一种人脸遮挡识别方法 (57)摘要 本发明公开了一种人脸遮挡识别方法， 所述 人脸遮挡识别方法包括： S1： 利用依次连接的结 构生成器、 纹理生成器和第一网络模 型对遮挡人 脸图像进行修复， 得到修复后的人脸图像； S2： 利 用第二网络模型对所述修复后的人脸图像进行 识别， 得到人脸遮挡识别结果。 本发明所提供的 人脸遮挡识别方法， 能够解决现有人脸遮挡识别 方法存在的图像特征信息提取困难、 不能高效地 解决人脸遮挡识别的技术问题， 从而能够有效地 实现人脸遮挡识别。 权利要求书2页 说明书5页 附图4页 CN 114331904 A 2022.04.12 CN 114331904 A 1.一种人脸遮挡识别方法， 其特 征在于， 所述人脸遮挡识别方法包括： S1： 利用依次连接的结构生成器、 纹理生成器和第一网络模型对遮挡人脸图像进行修 复， 得到修复后的人脸图像； S2： 利用第二网络模型对所述 修复后的人脸图像进行识别， 得到人脸遮挡识别结果。 2.根据权利要求1所述的人脸遮挡识别方法， 其特 征在于， 所述 步骤S1包括： S11： 利用无遮挡的人脸数据集对所述第一网络模型和原始结构生成器进行训练， 得到 训练后的第一网络模型和训练后的结构生成器； S12： 在所述无遮挡的人脸数据集中随机抽取部分图像， 得到初始样本集； S13： 随机给 所述初始样本集中的部分图像上 添加遮挡特 征， 得到遮挡人脸数据集； S14： 利用训练后的结构生成器对所述遮挡人脸数据集进行处理， 得到结构特征图像数 据集； S15： 利用所述遮挡人脸数据集和所述结构特征图像数据集对纹理生成器进行训练， 得 到训练后的纹 理生成器； S16： 利用所述训练后的纹理生成器对所述结构特征图像数据集进行处理， 得到第一人 脸修复图像数据集； S17： 将所述第一人脸修复图像数据集输入到所述训练后的第 一网络模型中， 得到第二 人脸修复图像数据集， 其中， 所述第二人脸 修复图像集包括 修复后的人脸图像。 3.根据权利要求1所述的人脸遮挡识别方法， 其特征在于， 所述结构生成器包括依次连 接的第一输入层、 第一封闭卷积层、 第一空洞卷积层、 第二封闭卷积层、 自回归网络和第一 输出层。 4.根据权利要求3所述的人脸遮挡识别方法， 其特征在于， 所述纹理生成器包括依次连 接的第二输入层、 第三封闭卷积层、 第一残差网络、 第四封闭卷积层、 第二空洞卷积层、 第五 封闭卷积层、 第二残差网络、 第六封闭卷积层、 第三残差网络、 第七封闭卷积层和第二输出 层； 以及， 第三输入层和注意力机制层， 所述第三输入层、 所述注意力机制层和所述第二残 差网络依次连接， 所述第二空洞卷积层的输出端还同时与所述注意力机制层连接； 所述第一输出层连接所述第二输入层。 5.根据权利要求4所述的人脸遮挡识别方法， 其特征在于， 所述第 一网络模型为分层网 络模型， 所述分层网络模型为VQ ‑VAE网络模型， 所述VQ ‑VAE网络模型包括依次连接的输入 模块、 编码器、 解码器和输出模块， 所述输入模块连接所述第二输出层， 所述输出模块连接 所述第二网络模型。 6.根据权利要求5所述的人脸遮挡识别方法， 其特征在于， 所述编码器包括依次连接的 第一卷积层、 第一矢量量化层、 第二卷积层、 第一跳跃卷积层、 第三卷积层、 第二矢量量化 层， 所述第一卷积层作为所述编码器的输入层与所述输入模块连接， 所述第二矢量量化层 作为所述编码器的输出层与所述 解码器连接 。 7.根据权利要求6所述的人脸遮挡识别方法， 其特征在于， 所述解码器包括第 二跳跃卷 积层和第四卷积层， 所述第二跳跃卷积层作为所述解码 器的输入层与所述第二矢量量化层 连接， 所述第四卷积层作为所述 解码器的输出层与所述输出模块连接 。 8.根据权利要求2所述的人脸遮挡识别方法， 其特 征在于， 所述 步骤S2包括： 利用所述无遮挡的人脸数据集对第二网络模型进行训练， 得到训练后的第二网络模权　利　要　求　书 1/2 页 2 CN 114331904 A 2型； 将所述第二人脸修复图像数据集输入至所述训练后的第 二网络模型中， 得到识别后的 图像集； 将所述识别后的图像集作为所述人脸遮挡识别结果输出。 9.根据权利要求1 ‑8中任意一项所述的人脸遮挡识别方法， 其特征在于， 所述第 二网络 模型为识别网络模型， 所述识别网络模型为Sque ezeNet网络模型。 10.根据权利要求9所述的人脸遮挡识别方法， 其特征在于， 所述SqueezeNet网络模型 包括挤压层和扩充层， 所述挤压层连接所述第一网络模型， 并且， 通过挤压层进 行压缩操作 之后生成的图像进入扩充层， 所述扩充层利用激活函数对所述压缩操作之后生成的图像进 行扩充识别。权　利　要　求　书 2/2 页 3 CN 114331904 A 3