(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210800553.X (22)申请日 2022.07.08 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王珂尧　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 丁芸　马敬 (51)Int.Cl. G06V 40/40(2022.01) G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种人脸活体检测方法、 装置、 电子设备及 存储介质 (57)摘要 本公开提供了一种人脸活体检测方法、 装 置、 电子设备及存储介质， 涉及人工智 能技术领 域， 具体为深度学习、 图像处理、 计算机视觉技术 领域， 可应用于活体检测等场景。 包括： 从第一可 见光图像中提取第一可见光特征； 从第一近红外 图像中提取第一近红外特征； 将第二可见光特征 及第二近红外特征进行融合， 得到融合特征； 根 据融合特征， 确定人脸对象的融合活体检测结 果； 根据第三可见光特征及第三近红外特征， 分 别确定可见光活体检测结果及近红外活体检测 结果； 根据融合活体检测结果、 可见光活体检测 结果和近红外活体检测结果， 确定人脸活体检测 结果， 提高了人脸活体 检测的准确性。 权利要求书4页 说明书16页 附图7页 CN 115147937 A 2022.10.04 CN 115147937 A 1.一种人脸活体 检测的方法， 包括： 从第一可 见光图像中提取第一可 见光特征； 从第一近红外 图像中提取第一近红外特征， 其中， 所述第一可见光图像与所述第一近 红外图像包 含相同的人脸对象； 将第二可见光特征及第二近红外特征进行融合， 得到 融合特征， 其中， 所述第 一可见光 特征包括所述第二可 见光特征， 所述第一近红外特 征包括所述第二近红外特 征； 根据所述融合特 征， 确定所述人脸对象的融合活体 检测结果； 根据第三可见光特征及第 三近红外特征， 分别确定可见光活体检测结果及近红外活体 检测结果， 其中， 所述第一可见光特征包括所述第三可见光特征， 所述第一近红外特征包括 所述第三近红外特 征； 根据所述融合活体检测结果、 所述可见光活体检测结果和所述近红外活体检测结果， 确定人脸活体 检测结果。 2.根据权利要求1所述的方法， 其中， 所述从第一可见光图像中提取第一可见光特征， 包括： 通过将所述第 一可见光图像输入可见光特征提取网络， 并根据 所述可见光特征提取网 络的至少两个预设卷积层区域的输出， 获取至少两个所述第一可 见光特征； 所述从第一近红外图像中提取第一近红外特 征， 包括： 通过将所述第 一近红外图像输入近红外特征提取网络， 并根据 所述近红外特征提取网 络的至少两个预设卷积层区域的输出， 获取至少两个所述第一近红外特 征； 其中， 所述人脸活体检测模型包括： 所述可见光特征提取网络和所述近红外特征提取 网络。 3.根据权利要求2所述的方法， 其中， 所述第 三可见光特征为所述可见光特征提取网络 的最后一个预设卷积层区域输出的第一可见光特征； 所述第二可见光特征包括所述第三可 见光特征； 所述第三近红外特征为所述近红外特征提取网络的最后一个预设卷积层区域输出的 第一近红外特 征； 所述第二近红外特 征包括所述第三近红外特 征； 所述融合特征包括目标融合特征， 所述目标融合特征由第 三近红外特征及第 三可见光 特征融合得到 。 4.根据权利要求3所述的方法， 其中， 所述第二可见光特征还包括： 第i个可见光特征， 第i个可见光特征为所述可见光特征提取网络的第i个预设卷积层区域输出的可见光特征， i为属于1到n‑1的整数， n为所述可见光特征提取网络中预设卷积层区域的数量， 且n大于1 的整数； 所述第二近红外特征还包括： 第i个近红外特征， 第i个近红外特征为所述近红外特征 提取网络的第i个预设卷积层区域输出的近红外特 征； 所述融合特征还包括： 第i个 融合特征， 所述第i个融合特征由第i个近红外特征、 第i个 可见光特征及第i+1个融合特 征融合得到， 第n个融合特 征为所述目标融合特 征； 所述融合活体检测结果包括： 第i个融合特征的活体检测结果及目标融合特征的活体 检测结果。 5.根据权利要求1所述的方法， 其中， 所述方法还 包括：权　利　要　求　书 1/4 页 2 CN 115147937 A 2获取包含所述人脸对象的第二可 见光图像及第二近红外图像； 对所述第二可见光图像及所述第 二近红外图像进行人脸关键点检测， 分别得到可见光 人脸关键点及近红外人脸关键点； 基于所述可见光人脸关键点及所述近红外人脸关键点， 对所述第 二可见光图像中的人 脸区域及所述第二近红外图像中的人脸区域进 行对齐， 分别得到所述第三可见光图像及所 述第三近红外图像； 对所述第三可见光图像及所述第 三近红外图像分别进行图像归一化处理， 分别得到所 述第一可 见光图像及所述第一近红外图像。 6.一种人脸活体 检测模型训练方法， 所述方法包括： 获取包含同一样本人脸对象的可见光样本图像和近红外样本图像， 以及获取所述样本 人脸对象的标签， 所述标签表示所述样本人脸对象是否为活体人脸； 利用人脸活体检测模型的可见光特征提取网络及近红外特征提取网络， 对所述可见光 样本图像和所述近红外样本图像进行特征提取， 分别得到第一样本可见光特征及第一样本 近红外特 征； 将第二样本可见光特征及第 二样本近红外特征进行融合， 得到样本融合特征， 其中， 所 述第一样本可见光特征包括所述第二样本可见光特征， 所述第一样本近红外特征包括所述 第二样本 近红外特 征； 利用所述人脸活体检测模型的各分类网络， 对所述样本融合特征、 第三样本可见光特 征及第三样本近红外特征进行预测， 分别得到所述样本人脸对 象的融合活体预测结果、 可 见光活体预测结果及近红外活体预测结果， 其中， 所述第一样本可见光特征包括所述第三 样本可见光特征， 所述第一样本 近红外特 征包括所述第三样本 近红外特 征； 根据所述融合活体预测结果、 所述可见光活体预测结果、 所述近红外活体预测结果， 确 定所述样本人脸对象的人脸活体预测结果； 根据所述样本人脸对象的人脸活体预测结果及所述标签， 调 整人脸活体检测模型的参 数。 7.一种人脸活体 检测的装置， 包括： 第一特征提取模块， 用于从第一可 见光图像中提取第一可 见光特征； 第二特征提取模块， 用于从第 一近红外图像 中提取第 一近红外特征， 其中， 所述第一可 见光图像与所述第一近红外图像包 含相同的人脸对象； 特征融合模块， 用于将第 二可见光特征及第二近红外特征进行融合， 得到 融合特征， 其 中， 所述第一可见光特征包括所述第二可见光特征， 所述第一近红外特征包括所述第二近 红外特征； 第一确定模块， 用于根据所述融合特 征， 确定所述人脸对象的融合活体 检测结果； 第二确定模块， 用于根据第三可见光特征及第三近红外特征， 分别确定可见光活体检 测结果及近红外活体检测结果， 其中， 所述第一可见光特征包括所述第三可见光特征， 所述 第一近红外特 征包括所述第三近红外特 征； 第三确定模块， 用于根据所述融合活体检测结果、 所述可见光活体检测结果和所述近 红外活体 检测结果， 确定人脸活体 检测结果。 8.根据权利要求7 所述的装置， 其中， 所述第一特 征提取模块包括：权　利　要　求　书 2/4 页 3 CN 115147937 A 3