(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210990521.0 (22)申请日 2022.08.18 (71)申请人 中科天网 （广东） 科技有限公司 地址 510000 广东省广州市越秀区先烈中 路100号大院23 -1栋八楼 (72)发明人 陈岸明　温峻峰　林群雄　洪小龙　 孙全忠　李鑫　杜海江　罗海涛　 (74)专利代理 机构 广东金穗知识产权代理事务 所(普通合伙) 44852 专利代理师 钟文华 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/26(2022.01) G06V 10/30(2022.01) G06V 10/75(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种局部与整体人脸特征交叉融合的戴口 罩人脸识别方法、 装置、 设备和介质 (57)摘要 本发明实施例公开了一种局部与整体人脸 特征交叉融合的戴口罩人脸识别方法、 装置、 设 备和介质， 通过前端摄像头获取待测用户图像； 将所述待测用户图像输入口罩人脸检测模型， 输 出关于人脸和口罩的位置信息； 根据人脸和口罩 的位置信息， 对待测用户图像进行裁剪处理， 获 取图像中完整的人脸区域 以及未被口罩遮挡的 脸部区域， 并进行图像去噪或增强处理； 将所述 人脸区域和未被口罩遮挡的脸部区域输入口罩 人脸特征提取网络， 人脸区域进入主路网络提取 整体轮廓特征， 最终经特征融合模块整合二者信 息后， 输出融合后的口罩人脸特征； 将口罩人脸 特征输入分类器中， 得到待测用户身份的识别结 果。 使网络同时具备检测人脸区域和口罩区域的 功能。 权利要求书3页 说明书8页 附图3页 CN 115457624 A 2022.12.09 CN 115457624 A 1.一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法， 其特征在于， 所述方法 包括： 通过前端摄像头获取待测用户图像； 将所述待测用户图像输入口罩人脸检测模型， 输出关于人脸和口罩的位置信息； 根据所述人脸和口罩的位置信息， 对所述待测用户图像进行裁剪处理， 获取图像中完 整的人脸区域以及未被口罩遮挡的脸部区域， 并进行图像去噪或增强处 理； 将所述人脸区域和未被口罩遮挡的脸部区域输入口罩人脸特征提取网络， 其中， 人脸 区域进入主路网络提取整体轮廓特征， 而非口罩遮挡区域进入支路网络提取局部眉眼特 征， 最终经 特征融合模块整合 二者信息后， 输出融合后的 口罩人脸特 征； 将所述口罩人脸特 征输入分类 器中， 得到待测用户身份的识别结果。 2.根据权利要求1所述的一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法， 其特征在于： 所述口罩人脸检测模型的网络结构由主干、 颈部和检测头三部 分组成； 主干部 分采用通用的特征提取网络ResNet； 颈部则采用FPN以细化原始特征图， 聚合不同层次的语 义信息； 检测头采用SSD算法， 并在内部添加一个上下文注意模块使网络 关注脸部和口罩区 域； 所述上下文注意模块由上下文感知模块和CBAM注意力模块组成。 其中， 上下文感知模 块具有三个分支， 分别拥有1个、 2个和 3个3×3卷积核， 三个分支的输出结果通过通道级联 操作合并为 一个特征图， 输入到 CBAM注意力模块中； 所述口罩人脸检测模型采用戴口罩的人脸数据进行训练。 人脸数据中每幅图像拥 有一 个注释了人脸位置和口罩位置信息的标签文件。 将图像输入模型后， 模型将根据提取 的特 征输出相 应的预测结果， 预测结果包括人脸的坐标和人脸的置信度， 以及口罩的坐标和口 罩的置信度， 通过预设的口罩人脸损失函数， 计算预测结果与标签文件中真实值之间的损 失值， 以减小损失值 为优化目标， 训练所述口罩人脸检测模型； 所述口罩人脸损 失函数采用多任务损 失， 由人脸的位置偏移量损 失和置信度损 失， 以 及口罩的位置偏移量损失和置信度损失组成， 表达式如下： 其中， L表示口罩人脸检测模型的损失值； Lconf(·)和Lloc(·)分别表示置信度损失函数 和位置偏移量损失函数； 表示是否存在人脸(若存在人脸则为1， 不存在则为0)， 表示 是否存在口罩(若存在口罩则为1， 不存在则为0)， 表示人脸区域的坐标， 表示口罩区 域的坐标； Pfc表示预测存在人脸的置信度， Pmc表示预测存在口罩的置信度， Pfl表示预测的 人脸区域坐 标， Pfl表示预测的口罩区域坐 标； α 表示置信度损失项因子， β 表示位置偏 移量损 失项因子 。 3.根据权利要求1所述的一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法， 其特征在于： 根据口罩人脸检测模型的输出结果， 对待测用户图像进 行裁剪。 根据预测的人 脸区域坐标， 从待测用户图像中裁剪出人脸区域， 同时， 根据预测的口罩区域坐标， 以口罩 区域上边界为分 界线， 将分 界线上方未被遮挡的眉眼区域裁剪出。 裁剪后， 获得对应的人脸 区域和眉眼区域图像。 为提高图像质量以保证后续特征提取和特征匹配的精确度， 进一步权　利　要　求　书 1/3 页 2 CN 115457624 A 2对人脸和眉眼区域图像进行去噪或增强处 理。 4.根据权利要求1所述的一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法， 其特征在于： 所述人脸区域和眉眼区域图像输入口罩人脸特征提取网络， 从而获得 口罩人 脸特征； 为了尽可能利用口罩人脸图像中所有可描述性特征， 所述口罩人脸特征提取网络 采用一个主路 网络和一个支路 网络并行的设计， 分别用于提取脸部整体轮廓特征和局部眉 眼特征， 最 终再通过一个整体 ‑局部特征融合模块获得口罩人脸特征； 为了保证特征提取效 率， 主路网络和支路网络分别采用InceptionV3和MobileNet这两种轻量级网络。 同时， 为了 使主路网络更关注人脸的轮廓和外观特征， 在InceptionV3之后连接一个CBAM注意力模块。 主路网络和支路网络最终与一个整体 ‑局部特征融合模块相连； 所述整体 ‑局部特征融合模块具有两个阶段， 第 一阶段为信 息交互阶段， 第 二阶段为信 息整合阶段， 设主路网络和支 路网络分别输出的整体轮廓特征为Fo∈RC×H×W， 局部眉眼特征 为Fl∈RC×H×W， 其中， RC×H×W表示特征图的空间维数分别由通道数C、 高度H和宽度 W组成， 当Fo 和Fl输入整体 ‑局部特征融合模块后， 依次经过信息交互阶段和信息整合阶段， 得到口罩人 脸特征Fm∈RC×H×W； 在信息交互阶段， 整体轮廓特征Fo和局部眉眼特征Fl分别通过一个1 ×1卷积核压缩通 道维度后， 利用双线性融合操作将二者合并为特征Fb∈RC×H×W， 特征Fb与特征Fo和Fl进行通 道级联后， 再通 过一个1×1卷积核和softmax函数， 获得权重Wo∈RC×H×W和Wl∈RC×H×W。 将权重 Wo和Wl分别与特征Fo和Fl相乘， 再分别通过一个1 ×1卷积核， 得到特征Fo′∈RC×H×W和Fl′∈RC ×H×W。 最后， 将Fb、 Fo′和Fl′这三个特征进行通道 级联， 获得第一阶段的输出特征Fs1∈R3C×H×W。 上述过程可由以下公式表述： Fb＝bilinear(conv1×1(Fo),conv1×1(Fl)) Wo,Wl＝softmax(co nv1×1(cat(Fo,Fb,Fl))) Fs1＝cat(co nv1×1(Fo⊙Wo),Fb,conv1×1(Fl⊙Wl)) 其中， conv1×1(·)表示1×1卷积操作； bilinear( ·)表示双线性融合操作； softmax (·)表示softmax函数； ⊙表示矩阵按元 素相乘； cat( ·)表示通道级联操作； 在信息整合阶段， 特征Fs1分别进入恒等分支和残差分支。 恒等分支仅由一个1 ×1卷积 核构成， 残差 分支由一个1 ×1卷积核、 一个3 ×3的深度可分离卷积核、 ReLU激活函数和一个 1×1卷积核依次连接而成。 将恒等分支与 残差分支的输出相加， 并进 行正则化处理后， 获得 融合后的 口罩人脸特 征Fm； 上述过程可由以下公式表示： Findentity＝conv1×1(Fs1) Fresidual＝conv1×1(relu(DWco nv3×3(conv1×1(Fs1)))) 其中， Fidentity∈RC×H×W和Fresidual∈RC×H×W分别表示恒等分支和残差分支的输出特征； DWconv3×3(·)表示3×3深度可分离卷积操作； relu( ·)表示ReLU激活函数； norm( ·)表示 正则化操作； 所述口罩人脸特征提取网络采用戴口罩的人脸数据进行训练， 为了对现有戴口罩人脸 识别数据集进行扩充， 采用GAN网络， 为公开的人脸识别 数据集生成口罩， 以模拟口罩人脸 数据集， 增加样本多样性。 同时， 数据集进行类似的裁剪处理， 获得人脸区域核眉眼区域图 像以及对应的人物身份标签。 在训练阶段， 所述口罩人脸特征提取网络的末端连接一个全权　利　要　求　书 2/3 页 3 CN 115457624 A 3