(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111672124.0 (22)申请日 2021.12.31 (71)申请人 无锡致同知新科技有限公司 地址 214000 江苏省无锡市新吴区龙山路4 号C幢116-1 (72)发明人 宋晓宁　陈苏阳　周晋成　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 沈鑫 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/52(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合多尺度特征的多监督人脸活体检 测方法 (57)摘要 本发明公开了一种融合多尺度特征的多监 督人脸活体检测方法， 包括： 采集图像数据集， 并 对数据集进行预处理； 通过中心差分卷积提取梯 度纹理特征， 并对编码进行融合； 通过群感受野 分支提取多尺度判别性特征， 并与梯度纹理分支 进行拼接融合； 将两种特征融合后输入到残差结 构中， 进行深层语义学习和编码， 并将结果输入 深度图生 成器与掩模生成器得到特征图； 使用深 度图进行监督、 二值掩模为辅助监督； 融合深度 图生成器和掩模生成器的输出结果， 计算预测得 分， 实现端到端的活体检测。 本发明能够提升网 络的性能与泛化能力， 具有参数量小、 端到端检 测的优势； 与现有主流的活体检测算法相比， 本 方法检测精度更高， 具有更好的鲁棒 性。 权利要求书2页 说明书12页 附图2页 CN 114677722 A 2022.06.28 CN 114677722 A 1.一种融合多尺度特 征的多监 督人脸活体 检测方法， 其特 征在于， 包括： 采集图像数据集， 并对数据集进行 预处理； 通过中心差分卷积提取梯度纹 理特征， 并对编码进行融合； 通过群感受野分支提取多尺度判别性特 征， 并与梯度纹 理分支进行拼接融合； 将两种特征融合后输入到残差结构中， 进行深层语义学习和编码， 并将结果输入深度 图生成器与掩 模生成器得到特 征图； 使用深度图进行监 督、 二值掩模为辅助监 督； 融合深度图生成器和掩 模生成器的输出 结果， 计算预测得分， 实现端到端的活体 检测。 2.如权利要求1所述的融合多尺度特征的多监督人脸活体检测方法， 其特征在于： 所述 采集图像数据集包括： OULU ‑NPU、 CASIA ‑MFSD和Replay ‑Attack三个数据集。 3.如权利要求1所述的融合多尺度特征的多监督人脸活体检测方法， 其特征在于： 通过 卷积提取图像特 征， 由卷积核 进行卷积的过程包括， 在进行卷积操作时， 卷积核扫描特征图， 对卷积核对应的特征做矩阵乘法求和并叠加 偏差量； 若卷积核w在输入特征图x上采样感受野区域R， 进行矩阵运算， 输出的特征y可以表示 为： 其中， p0表示输入和输出 特征图的当前位置， pn表示感受野R上的各个位置 。 4.如权利要求1或3所述的融合多尺度特征的多监督人脸活体检测方法， 其特征在于： 包括， 所述中心差分卷积计算公式表示 为： 5.如权利要求4所述的融合多尺度特征的多监督人脸活体检测方法， 其特征在于： 将所 述卷积与中心差分卷积相加， 混合后的卷积计算公式表示 为： 其中， 超参数θ∈[0,1]表示标准卷积和中心差分卷积的贡献权 重； θ 值越大表示混合卷积提取的中心差分梯度信息的占比越大。 6.如权利要求1所述的融合多尺度特征的多监督人脸活体检测方法， 其特征在于： 通过 多尺度特 征融合模块的中心差分卷积提取梯度纹 理特征包括， RGB图像经过卷积核尺寸为3 ×3的中心差分卷积后， 得到纹理信息的特征图S， 对S进行 卷积与池化操作， 对特 征编码得到128 ×128×32的纹理特征图。 7.如权利要求1所述的融合多尺度特征的多监督人脸活体检测方法， 其特征在于： 通过 多尺度特 征融合模块的群感受野分支提取多尺度判别性特 征包括， 采用不同尺寸的卷积核组成多小分支结构， 每个小分支通过卷积核尺寸为1 ×1的卷积权　利　要　求　书 1/2 页 2 CN 114677722 A 2学习浅层空间信息； 分别使用3 ×3、 3×1和1×3三种尺寸的卷积核学习多尺度特征信息， 在第二和第三小 分支增加扩张率为3、 卷积核尺 寸为3×3的空洞卷积， 使得模型不增加卷积核 数量且保持分 辨率， 获得更大的感受野； 将三个小分支的特征拼接， 使用尺寸为1 ×1的卷积核对多尺度的空间及语义信 息进行 编码， 使得不同感受野信息充分融合； 使用残差结构将多尺度深层信息与浅层空间信息融合， 得到尺寸为128 ×128×32的群 感受野特 征图， 并与梯度纹 理分支进行拼接融合。 8.如权利要求1所述的融合多尺度特征的多监督人脸活体检测方法， 其特征在于： 使用 所述深度图进行监 督、 二值掩模辅助监 督包括， 所述二值监督策略使用0、 1标签区分 真实和欺诈人脸； 通过提取检测对象的深度特 征抵御照片攻击和视频攻击； 所述掩模监督结合二值监督与深度图监督的特点， 标签人脸部分为1， 背景为0， 使网络 将学习中心放在人脸部位。 9.如权利要求1或8所述的融合多尺度特征的多监督人脸活体检测方法， 其特征在于： 将两种特征融合后输入到所述残差结构 中， 进行深层语义学习和编码， 并将结果输入深度 图生成器与掩 模生成器得到特 征图包括， 深度图生成器与掩模生成器由三层标准卷积组成， 输出尺寸为32 ×32×1的深度估计 图与掩模估计图； 损失函数使用均方误差函数， 表达式为： 其中， p表示深度估计图中的像素值， q表示掩模估计图中的像素值， D和M分别表示生成 的深度估计图与掩 模估计图， GD和GM分别表示深度图标签与掩 模标签。 10.如权利要求9所述的融合多尺度特征的多监督人脸活体检测方法， 其特征在于： 包 括， loss表达式为： l＝α1·ldepth+α2·lmask 其中α1和α2是每一项的正则化系数， 实验中为了使网络更好地收敛， 系数分别设置为3 和1； 将所述深度图生成器和所述掩模生成器得到的预测结果进行相加， 若预测分数高于 阈 值， 则检测为活体； 反 之则为非活体。权　利　要　求　书 2/2 页 3 CN 114677722 A 3