(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111663546.1 (22)申请日 2021.12.31 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 钱鹰　张蓝　刘歆　陈仕杰　 (74)专利代理 机构 重庆市恒信知识产权代理有 限公司 5 0102 专利代理师 刘小红 (51)Int.Cl. G06V 40/40(2022.01) G06V 40/16(2022.01) G06V 20/40(2022.01) G06T 7/194(2017.01) G06T 7/11(2017.01)G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/56(2022.01) G06V 10/80(2022.01) (54)发明名称 基于颜色空间融合及循环神经网络的人脸 活体检测方法 (57)摘要 本发明请求保护一种基于颜色空间融合及 循环神经网络的人脸活体检测方法， 涉及生物活 体检测技术领域。 本发明包括融合新的颜色空 间； 构建人脸活体检测LSTM网络； 将公开数据集 的伪造人脸攻击视频的颜色特征输入到构建的 LSTM中进行训练； 利用新融合的颜色 空间与训练 好的网络模 型用于人脸活体检测。 本发明提出的 人脸活体检测算法， 能够直接对摄像头捕捉到的 内容进行人脸活体检测， 且能够在二维伪造人脸 攻击及做工精细 的三维伪造人脸攻击下实现准 确检测， 解决了实际在多维度、 跨数据集伪造人 脸攻击下人脸活体 检测稳定性低的问题。 权利要求书2页 说明书7页 附图3页 CN 114519897 A 2022.05.20 CN 114519897 A 1.一种基于颜色空间融合及循环神经网络的人脸活体检测方法， 其特征在于， 包括以 下步骤： 对原始视频中每一帧图像进行 人脸检测， 分割图像中的人脸区域与背景区域； 利用人脸区域与背景区域rPPG信号的相关性， 构建新的颜色空间； 对每一帧输入图像 进行人脸检测， 并分割出图像中的人脸区域与背景区域； 将分割的图像由RGB颜色空间转换为HSV、 YCbCr颜色空间并分割位9个颜色通道， 对每 个颜色通道进行傅 立叶转换， 得到各个颜色通道人脸区域与背景区域的rP PG信号； 利用真实人脸区域与背景区域rPPG信号相关性较小， 而伪 造人脸区域相关性较大的原 理， 选取三个颜色颜色通道构建新的颜色空间； 构建用于人脸活体 检测的LSTM网络； 将公开数据集中视频的颜色特 征输入到构建的LSTM网络中进行训练； 利用新的颜色空间及LSTM网络训练好的人脸活体 检测模型进行 人脸活体 检测。 2.根据权利要求1所述的基于颜色空间融合及循环神经网络的人脸活体检测方法， 其 特征在于， 所述分割人脸区域图像与背景区域图像包括如下步骤： 使用使用dlib库中 的frontal_face_detector作为人脸检测器检测原始视频 中的每一 帧图像； 使用shape_predictor_68_face_landmarks.dat人脸特征提取提取器对图像中的人脸 部位进行定位与标注； 根据标注的位置信息划分人脸区域与背景区域， 并对其进行分割。 3.根据权利要求1所述的基于颜色空间融合及循环神经网络的人脸活体检测方法， 其 特征在于， 所述构建新的颜色空间包括如下步骤： 捕捉原始视频中的每一帧图像， 对其进行人脸检测， 并将图像分割为人脸部分与被背 景部分； 对人脸与背景区域图像进行颜色空间转换， 转换为HSV、 Y CbCr颜色空间； 分割RGB、 HSV、 Y CbCr三个颜色空间， 得到9个颜色通道； 获取当前视频每一帧的分割区域各颜色通道的颜色特征， 形成9个人脸颜色特征列表 与9个背景颜色特 征列表； 对人脸颜色特 征列表与背景区域颜色特 征列表进行傅 立叶转换， 得到rP PG信号； 计算人脸区域与背景区域rP PG信号的相关系数， 并记录； 对所有视频的各通道的平均相关系数值， 对于真实人脸视频， 按相关系数升序排列颜 色通道， 而伪造人脸攻击视频按降序排列颜色通道， 选出从前往后重合度最高的三个颜色 通道， 作为 新的颜色空间。 4.根据权利要求3所述的基于颜色空间融合及循环神经网络的人脸活体检测方法， 其 特征在于， 所述计算人脸区域与背景区域rP PG信号的相关系数， 具体包括： {R1， R2， R3}＝fmin({m1， m2， m3. ......m9}) {F1， F2， F3}＝fmax({m1， m2， m3. ......m9})权　利　要　求　书 1/2 页 2 CN 114519897 A 2其中mj为同一通道 人脸与背景同一视频生成的rPPG信号的相关系数， Ci为n个视频产生 的平均相关系数fmax为取9个颜色通道最大的3个m值， fmin为取9个颜色通道最小的3个m值。 5.根据权利要求3或4所述的基于颜色空间融合及循环神经网络的人脸活体检测方法， 其特征在于， 所述构建用于人脸活体检测的LSTM网络， 包括如下步骤： 使用新的颜色空间空 间提取原始视频每一帧的人脸区域与原始区域的颜色特征， 形成Feature  Map； 将Feature   Map传入LSTM网络， 使用带有100个隐藏神经元的LSTM层、 全连接层和FFT层， LSTM用于估计 具有Nf帧输入序列 的rPPG信号f， FFT层将全连接层的响应转换为傅里叶域， 得到rPPG 信号； 在LSTM网络的全连接层后接入傅里叶转换层， 进而利用傅里叶转换层对网络输出的差 异序列进行傅 立叶转换， 从而得到频域信息； 结合LSTM的预测结果与人脸各区域与背景区域的频率信息的相关性， 输出 结果。 6.根据权利要求5所述的基于颜色空间融合及循环神经网络的人脸活体检测方法， 其 特征在于， 所述将公开数据集中视频的颜色特征输入到构建的LSTM网络中进行训练， 包括 如下步骤： 针对公开数据集中真实人脸视频， 使用传统rPPG方法得到真实人脸视频的rPPG信号， 作为网络训练过程中的ground  truth， 对于伪造人脸 攻击视频， 将其rP PG信号设置为0； 使用构建的新颜色空间对公开数据集中的视频提取颜色特征， 将颜色特征序列与设置 的ground  truth一起输入LSTM网络中进行训练； 在LSTM网络的全连接层后介入傅立叶变换层， 将颜色特征变化序列转为rPPG信号， 再 进行分类与预测。权　利　要　求　书 2/2 页 3 CN 114519897 A 3