(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210502598.9 (22)申请日 2022.05.09 (71)申请人 北方工业大 学 地址 100144 北京市石景山区晋元庄5号 (72)发明人 叶青　赵育琪　张永梅　 (74)专利代理 机构 北京科龙寰宇知识产权代理 有限责任公司 1 1139 专利代理师 孙皓晨 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于自动编码器的视频异常行为检测方法 及系统 (57)摘要 一种基于自动编码器的视频异常行为检测 方法及系统， 其方法包括： S1： 对输入的视频进行 等间隔下采样的预处理； S2： 采用Vibe背景提取 算法结合U ‑Net图像分割网络对预处理后的视频 图像序列中的图像进行目标与背景的分离； S3： 将图像的目标与背景分别输入到双通道自编码 器的不同通道， 由对应通道中的编码器 分别对目 标与背景提取图像特征后， 在双通道自编码器的 隐含层将两个通道分别提取的两个特征进行特 征融合， 最后将融合后的特征送入解码器进行模 型训练； S4： 在训练好的模型中使用重构误差判 别对输入的待检测样本进行异常行为检测， 得到 异常行为检测结果， 从而解决背景变化对异常行 为检测造成的不利影响， 使 得到的模 型通用性更 强， 易于部署到不同场景。 权利要求书3页 说明书10页 附图3页 CN 114913599 A 2022.08.16 CN 114913599 A 1.一种基于自动 编码器的视频异常行为检测方法， 其特 征在于， 包括以下步骤： 步骤S1： 对输入的视频进行等间隔下采样的预处 理； 步骤S2： 采用Vibe背景提取算法结合U ‑Net图像分割网络对预处理后的视频 图像序列 中的图像进行目标与背景的分离； 步骤S3： 将图像的目标与背景分别输入到双通道自编码器的不同通道， 由对应通道中 的编码器分别对目标与背 景提取图像特征后， 在双通道自编码器的 隐含层将两个通道分别 提取的两个特 征进行特征融合， 最后将融合后的特 征送入解码器进行模型训练； 步骤S4： 在训练好的模型中使用重构误差判别对输入的待检测样本进行异常行为检 测， 得到异常行为检测结果。 2.根据权利要求1所述的基于自动编码器的视频异常行为检测方法， 其特征在于， 步骤 S1具体为： 在输入的视频中， 每间隔T帧选取一帧组成采样视频图像序列， 其中 M为输 入的视频的总帧数， N 为采样视频图像序列的帧数。 3.根据权利要求1所述的基于自动编码器的视频异常行为检测方法， 其特征在于， 步骤 S2具体为： 步骤S21： 使用一组样本值集合{p1,p2,...,pn}作为像素模型， 且以pt(x)表示任一图像 中任一像素x在时间t的像素值； 步骤S22： 以pt(x)为中心， 定义一半径为R的球体SR(pt(x))， 将球体SR(pt(x))与样本值 集合{p1,p2,...,pn}取交集， 若交集的基数#高于预设阈值#min， 则将像素值pt(x)归类为背 景， 其中， 基数#具体为： #＝{SR(pt(x))∩{p1， p2，…， px}}    (1)； 步骤S23： 重复步骤S21～S22将图像中的每个像素点进分类得到对应图像的前景与背 景； 步骤S24： 将图像的前景送入U ‑Net网络， 其 中U‑Net网络包括特征提取部分和特征还原 部分； 步骤S25： U ‑Net网络的特征提取部分的卷积结构先对图像的前景进行两次卷积操作， 然后采用最大池化的方式进行下采样操作， 输出大小为 1/2×(H,W)的图像， 其中， 卷积结构 为3×3的卷积核， 其像素填充为0， 步长为1； 最大池化的步长为2； W为输入图像的宽， H为输 入图像的高； 步骤S26： 再重复执行步骤S25三次， 接着执行步骤S25中的两次卷积操作， 得到特征提 取后的特 征图； 步骤S27： 将特征提取后的特征图送入特征还原部分的解码器， 通过卷积操作、 上采样 操作与跳跃连接操作进行特征还原， 用以将特征图恢复到原始尺寸， 得到经过轮廓修正的 运动目标图像。 4.根据权利要求3所述的基于自动编码器的视频异常行为检测方法， 其特征在于， 步骤 S2中还包括背景模型更新策略， 具体为在选择样本值集合中要替换 的样本值时， 随机选取 一个样本值进行更新， 则样 本值在时刻t 不被更新的概率是(N ‑1)/N， 设时间是连续的， 那么 当t'的时间过去后， 样本值 仍然保留的概 率为权　利　要　求　书 1/3 页 2 CN 114913599 A 25.根据权利要求3所述的基于自动编码器的视频异常行为检测方法， 其特征在于， 步骤 S27中跳跃连接操作具体为将特征图的浅层特征和深层特征裁剪成相同尺寸， 然后将通道 数相加进行 特征融合， 以融合 其中的空间信息和语义信息 。 6.根据权利要求3所述的基于自动编码器的视频异常行为检测方法， 其特征在于， 步骤 S27中采用双线性插值法进行 上采样操作， 具体为： 步骤S271： 对于图像中任一点P＝(x,y)的像素值， 用已知四点的像素值在X方向上进行 线性插值， 其中， 已知四点分别为Q11＝(x1,y1)、 Q21＝(x2,y1)、 Q12＝(x1,y2)及Q22＝(x2,y2)， 得到： 步骤S272： 再在Y方向进行进行线性插值， 得到： 步骤S273： 将步骤S271得到的式(3)和(4)代入步骤S272得到的式(5)中， 得到双线性插 值的结果 为： 7.根据权利要求1所述的基于自动编码器的视频异常行为检测方法， 其特征在于， 步骤 S3采用的双通道自编码 器包括双编 码器、 隐含层及解码 器， 其中， 双编 码器包括上编码 器和 下编码器两个编码器， 其具体过程 为： 步骤S31： 设上编码器为h1， 下编码器h2， 输入的背景与目标分别为x1和x2， 其中， 图像的 背景输入到上编码器， 图像的目标输入到下编码器， 分别得到背景与目标的隐含特征z1和z2 为： z1＝h1(x1)    (7) z2＝h2(x2)    (8)； 步骤S32： 通过隐含层的特征融合函数m， 将背景与目标的隐含特征z1和z2融合成特征向 量z： z＝m(z1， z2)    (9)； 步骤S33： 将融合后的特 征向量z输入解码器， 并通过重构函数f得到 重构后的输出y为： y＝f(z)＝f(m(h1(x1)， h2(x2)))    (10) 其中， 损失函数为重建损失， 并使用均方误差作为损失函数， 假设有K个数据且分为r 组， 第i组的样本修 正方差为si2， 则全体样本的均方误差 MSE为： 权　利　要　求　书 2/3 页 3 CN 114913599 A 3