(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111663688.8 (22)申请日 2021.12.31 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 张敏　谢海永　吴曼青　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 代理人 张博 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 40/40(2022.01) G06V 40/16(2022.01) G06V 10/62(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种虚假视频检测方法及系统 (57)摘要 本发明公开了一种虚假视频检测方法， 包 括： 对待检测视频进行预处理， 获取多个视频帧 序列， 其中， 每个视频帧序列包括人脸图像； 通过 处理单个视频帧序列获得待检测的视频的频域 特征； 通过处理多个连续视频帧序列获得待检测 的视频的时空特征； 将频域特征和时空特征进行 融合， 获得待检测视频的融合特征图； 利用视频 分类网络处理融合特征图， 得到表征待检测视频 质量的检测 信息。 本发明同时还公开了一种虚假 视频检测系统及电子设备。 权利要求书3页 说明书8页 附图5页 CN 114332718 A 2022.04.12 CN 114332718 A 1.一种虚假视频检测方法， 包括： 对待检测视频进行预处理， 获取多个视频帧序列， 其中， 每个所述视频帧序列包括人脸 图像； 通过处理单个视频帧序列获得 所述待检测的视频的频域特 征； 通过处理多个连续视频帧序列获得 所述待检测的视频的时空特 征； 将所述频域特 征和所述时空特 征进行融合， 获得 所述待检测视频的融合特 征图； 利用视频分类网络处理所述融合特征图， 得到表征待检测视频为真实或虚假的检测信 息。 2.根据权利要求1所述的方法， 其中， 所述对待检测视频进行 预处理包括： 利用视频处 理工具处 理所述待检测视频， 获取视频帧序列集 合； 从所述视频帧序列集合中随机选择多个视频帧序列， 利用人脸检测工具获取所述视频 帧序列的人脸图像部分； 利用所述人脸图像部分确定最小边界框， 并根据 预设的扩展值对所述最小边界框进行 扩展， 获得边框； 根据所述边框， 利用图像裁剪工具对所述视频帧序列进行裁剪， 获取包括人脸图像的 多个视频帧序列。 3.根据权利要求1所述的方法， 其中， 通过处理单个视频帧序列获得所述待检测的视频 的频域特 征包括： 利用2D离散傅立叶变换处理所述单个视频帧序列， 获取所述单个视频帧序列的频谱 图； 构建频率带通滤波器， 其中， 所述频率带通滤波器包括低频率带通滤波器、 中频率带通 滤波器和高频率带通滤波器； 利用频率带通滤波器处理所述频谱图， 获得频率分量， 其中， 所述频率分量包括低频分 量、 中频分量和高频分量； 将所述频率分量逆变换到空间域， 获得图像分量， 其中， 所述图像分量包括低频图像分 量、 中频图像分量和高频图像分量； 将所述图像分量沿通道轴堆叠， 获得堆叠图像； 构建基于通道注意力机制的图像分类网络， 利用所述图像分类网络处理所述堆叠图 像， 获得所述频域特 征。 4.根据权利要求3所述的方法， 其中， 所述2D离 散傅立叶变换由公式(1)表示： 其中， M是所述单个视频帧的长度， N是所述单个视频帧的宽度， F(u,v)表示彩色图像的 频谱， (u,v)表示频谱中的像素点 位置坐标， (x,y)表示原 始彩色图像的像素点 位置坐标； 其中， 所述频率带通滤波器由公式(2)表示： 其中， 所述图像分量由公式(3)表示：权　利　要　求　书 1/3 页 2 CN 114332718 A 2Ri,n(u,v)＝Fi(u,v)·Bn(u,v)                             (3)， 其中， Ri,n(u,v)表示图像分量。 5.根据权利要求3所述的方法， 其中， 所述图像分类网络采用ResNet152模型作为骨干 网络， 所述通道注意力机制采用SENet层， 在所述ResNet152模型的残差分支上加入了SENet 层； 其中， 所述SENet层通过 特征重标定操作对所述 堆叠图像的频域特 征进行增强或减弱。 6.根据权利要求1所述的方法， 其中， 所述通过处理多个连续视频帧序列获得所述待检 测的视频的时空特 征包括： 利用光流估计网络处 理连续视频帧序列， 获得光 流矩阵； 利用所述 光流矩阵， 获得 所述连续视频帧序列的短期时空特 征； 利用长短期记 忆人工神经网络处 理所述光流矩阵， 获得长期时空特 征。 7.根据权利要求6所述的方法， 其中， 所述光流矩阵的像素点在t时刻的亮度由公式(4) 表示： I(x,y,t)＝ I(x+Δx,y+Δy,t+Δt)                         (4)， 其中， I(x,y,t)表示在t时刻像素点p(x,y)处的亮度， p(Δx,Δy)表示在Δt时间内， 像 素点p(x,y)移动的距离， 公式(4)表示像素点p(x,y)的亮度不会像素点的移动而发生改变； 对公式(4)进行1阶泰勒展开得到公式(5)： 将公式(5)代入公式(4)， 并且等式两边同时除以dt， 可 得到公式(6)： 其中， 表示像素点在X轴方向的运动矢量, 表示像素点在Y轴方向的运动矢量, 表示光流， 用于表征相邻视频帧之间的短期时空特 征。 8.根据权利要求1所述的方法， 其中， 视频分类网络包括全连接层、 激活层和二值损 失 函数。 9.一种虚假视频检测系统， 包括： 预处理模块， 用于对所述待检测视频进行预处理， 获取多个视频帧序列， 其中， 所述视 频帧序列包括人脸图像； 单帧处理模块， 用于通过处 理单个视频帧序列获得 所述待检测的视频的频域特 征； 多帧处理模块， 用于通过处理多个连续视频帧序列获得所述待检测的视频的时空特 征； 融合模块， 用于将所述频域特征和所述时空特征进行融合， 获得所述待检测视频的融 合特征图； 分类模块， 用于利用所述视频分类网络处理所述融合特征图， 得到表征所述待检测视 频为真实或虚假的检测信息 。 10.一种用于检测虚假视频的电子设备， 包括：权　利　要　求　书 2/3 页 3 CN 114332718 A 3