(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211228821.1 (22)申请日 2022.10.09 (71)申请人 珠海大横琴科技发展 有限公司 地址 519000 广东省珠海市横琴新区海河 街33号一单元1-7层 (72)发明人 林旭新　梁延研　魏红强　郑皓文　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 孟丽平 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/52(2022.01) G06V 10/82(2022.01) (54)发明名称 训练多尺度网络模型的方法及人脸关键点 检测方法 (57)摘要 本申请实施例涉及神经网络技术领域， 公开 了一种训练多尺度网络模型的方法及人脸关键 点检测方法。 其中， 所述训练多尺度网络模型的 方法包括： 将第一样本图像输入多尺度神经网络 模型， 获得第一人脸关键点预测图像， 所述多尺 度神经网络模 型包括特征提取模块、 组合模块和 预测模块； 利用损失函数计算所述第一人脸关键 点预测图像和所述第一样本图像的真实关键点 图像之间的损失， 对所述多尺度神经网络模型进 行迭代训练， 直至收敛， 得到多尺度网络模型。 本 申请能够实现多尺度特征图的动态组合， 获得更 具识别能力的特征表达， 获得的多尺度网络模型 保证较好的检测性能上限， 可以减少网络内存占 用和加速计算， 且利于提高人脸 关键点的精确定 位。 权利要求书3页 说明书16页 附图5页 CN 115376195 A 2022.11.22 CN 115376195 A 1.一种训练多尺度网络模型的方法， 其特 征在于， 所述方法包括： 将第一样本 图像输入多尺度神经网络模型， 获得第一人脸关键点预测图像， 所述多尺 度神经网络模型包括特征提取模块、 组合模块和预测模块， 所述特征提取模块用于提取多 尺度特征图， 所述多尺度包括多通道和/或多分辨率， 所述组合模块用于基于权重参数加权 组合所述多尺度特征图中的至少两个以获取新特征图， 所述预测模块用于对所述新特征图 进行人脸关键点预测， 以获取 所述第一人脸关键点预测图像； 利用损失函数计算所述第一人脸关键点预测图像和所述第一样本图像的真实关键点 图像之间的损失， 对 所述多尺度神经网络模型进 行迭代训练， 直至收敛， 得到多尺度网络模 型； 其中， 所述损 失函数包括第一损 失和第二损 失， 所述第一损 失为所述第一人脸关键点 预测图像和所述第 一样本图像的真实关键点图像之间的误差， 所述第二损失为 与各所述 权重参数绝对值之和的乘积， 为正则化的权 重。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将所述多尺度网络模型的各所述权重参数中小于第一剪枝阈值的权重参数置为0， 以 获得第一轻量级网络模型。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 将所述多尺度网络模型作为第 一教师模型， 且将第 二样本图像输入所述多尺度网络模 型， 获得第二人脸关键点预测图像作为软 标签； 将所述第二样本图像输入所述第一轻量级网络模型， 获得第三人脸关键点预测图像； 计算所述第 二人脸关键点预测图像和所述第 三人脸关键点预测图像之间的损失， 对所 述第一轻量级网络模型进行迭代训练， 直至收敛， 得到第二轻量级网络模型。 4.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 获取所述第一轻量级网络模型的第一对偶网络模型； 将第三样本图像输入所述第一轻量级网络模型， 获得第四人脸关键点预测图像； 将所述第三样本图像输入所述第一对偶网络模型， 获得第五人脸关键点预测图像； 计算所述第四人脸关键点预测图像和所述第五人脸关键点预测图像之间的第一对偶 损失， 以及计算所述第五人脸关键点预测图像和所述第四人脸关键点预测图像之 间的第二 对偶损失； 利用所述第一对偶损 失对所述第一轻量级网络模型进行迭代训练， 直至收敛， 得到第 三轻量级网络模型； 利用所述第二对偶损 失对所述第一对偶网络模型进行迭代训练， 直至收敛， 得到第 四 轻量级网络模型。 5.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 获取所述第一轻量级网络模型的第二对偶网络模型； 将所述多尺度网络模型作为第 二教师模型， 且将第四样本图像输入所述多尺度网络模 型， 获得第六 人脸关键点预测图像作为软 标签； 将所述第四样本图像输入所述第一轻量级网络模型， 获得第七人脸关键点预测图像； 将所述第四样本图像输入所述第二对偶网络模型， 获得第八人脸关键点预测图像； 计算所述第七人脸关键点预测图像和所述第八人脸关键点预测图像之间的第一蒸馏权　利　要　求　书 1/3 页 2 CN 115376195 A 2损失， 以及计算所述第八人脸关键点预测图像和所述第七人脸关键点预测图像之 间的第二 蒸馏损失； 计算所述第六人脸关键点预测图像和所述第七人脸关键点预测图像之间的第三蒸馏 损失， 以及计算所述第六人脸关键点预测图像和所述第八人脸关键点预测图像之 间的第四 蒸馏损失； 计算所述第七人脸关键点预测图像和所述第四样本 图像的真实关键点图像之间的第 一误差损失， 以及所述第八人脸关键点预测图像和所述第四样本图像的真实关键点图像之 间的第二 误差损失； 利用所述第 一蒸馏损失、 所述第 三蒸馏损失和所述第 一误差损失之和对所述第 一轻量 级网络模型进行迭代训练， 直至收敛， 得到第五轻量级网络模型； 利用所述第 二蒸馏损失、 所述第四蒸馏损失和所述第 二误差损失之和对所述第 一轻量 级网络模型的第二对偶网络模型进行迭代训练， 直至收敛， 得到第六 轻量级网络模型。 6.根据权利要求5所述的方法， 其特征在于， 所述将所述第四样本图像输入所述第 一轻 量级网络模型， 获得第七人脸关键点预测图像， 包括： 对所述第一轻量级 网络模型中的卷积层执行随机失活神经元操作， 并输入所述第四样 本图像， 获得 所述第七人脸关键点预测图像； 所述将所述第四样本图像输入所述第 一轻量级 网络模型的第 二对偶网络模型， 获得第 八人脸关键点预测图像， 包括： 对所述第一轻量级网络模型的第二对偶网络模型中的卷积层执行随机失活神经元操 作， 并输入所述第四样本图像， 获得 所述第八人脸关键点预测图像。 7.根据权利要求1至6任一项所述的方法， 其特征在于， 所述特征提取模块包括输入模 块， 至少一个第一常规模块、 至少两个采样模块和至少两个第二常规模块； 所述输入模块包括至少两个卷积层， 所述卷积层包括第一卷积操作、 第一批标准化操 作及第一Relu激活操作， 用于对所述第一样本图像进行 特征编码以及降低分辨 率； 所述第一常规模块和所述第 二常规模块均包括至少两个卷积层， 每个卷积层包括第 二 卷积操作、 第二批标准化操作及第二Relu激活操作， 所述第一常规模块用于对所述输入模 块输出的特 征图进行 连续编码； 所述至少两个采样模块， 用于对所述第一常规模块输出的特征图进行多种方式采样， 获得多个通道和多个分辨 率的特征图； 所述第二常规模块用于将所述采样模块输出的特征图进行连续编码， 所述至少两个所 述第二常规模块输出 所述多尺度特 征图。 8.根据权利要求7所述的方法， 其特征在于， 所述组合模块还用于获取第i个所述常规 模块输出的第j 个第二新特征图后， 将第 j个第二新特征图乘以一个对应的权重参数并进 行 求和， 获得中间新特 征图； 所述多尺度网络模型还包括输出模块， 用于 融合多个所述组合模块输出的中间新特征 图； 所述预测模块， 还用于对所述中间新特征图进行人脸关键点预测， 以获取第一人脸关 键点预测图像。 9.一种人脸关键点检测方法， 其特 征在于， 所述方法包括：权　利　要　求　书 2/3 页 3 CN 115376195 A 3