(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211043068.9 (22)申请日 2022.08.29 (71)申请人 西安交通大 学 地址 710049 陕西省西安市碑林区咸宁西 路28号 (72)发明人 何平　张凡　李慧斌　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 安彦彦 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) (54)发明名称 一种数据非平衡弱监督视频异常检测方法 及系统 (57)摘要 本发明公开了一种数据非平衡弱监督视频 异常检测方法及系统， 包括提取待测视频的视频 片段级的视频特征； 将视频片段级的视频特征通 过对抗训练模块获得段级异常分数； 将视频片段 级的视频特征通过聚焦训练模块获得片段级别 的异常分数； 将段级异常分数与异常分数进行融 合， 得到融合后的异常分数； 再与阈值进行对比， 将大于阈值的视频片段中的所有帧均视作异常， 小于阈值的视频片段中的所有帧均看作正常， 从 而实现数据非平衡弱监督视频异常检测与异常 的时间定位。 本发明通过融合对抗训练模块与聚 焦训练模块得到的与 片段级别的异常分数， 使 得 更易于学习正常与异常视频片段之间的差异， 对 异常事件检测更趋近于真实， 进而提升了视频异 常检测准确率。 权利要求书2页 说明书9页 附图2页 CN 115410126 A 2022.11.29 CN 115410126 A 1.一种数据非平衡弱监 督视频异常检测方法， 其特 征在于， 包括以下步骤： 提取待测视频的视频片段级的视频 特征； 将视频片段级的视频 特征通过对抗训练模块获得 段级异常 分数； 将视频片段级的视频 特征通过聚焦训练模块获得片段级别的异常 分数； 将通过对抗训练模块获得的段级异常分数与通过聚焦训练模块获得的片段级别的异 常分数进行融合， 得到融合后的异常 分数； 将融合后的异常分数与阈值进行对比， 将大于阈值的视频片段中的所有帧均视作异 常， 小于阈值的视频片段中的所有帧均看作正常， 从而实现数据非平衡弱监督视频异常检 测与异常的时间定位。 2.根据权利要求1所述的一种数据非平衡弱监督视频异常检测方法， 其特征在于， 通过 I3D网络提取待测视频的视频片段级的视频 特征。 3.根据权利要求1所述的一种数据非平衡弱监督视频异常检测方法， 其特征在于， 提取 待测视频的视频片段级的视频 特征具体包括以下步骤： 将每一个视频Xi分为N个连续且不重叠的时间片段Xi＝{xi1,...,xiN}， xi1为第一个时间 片段， xiN为第N个时间片段， 视频Xi中的所有片段根据视频级别标签 组成一个正包或 负包， 正包表示视频Xi中至少有一个异常时间片段， 负包表示视频Xi中的所有时间片段均为 正常； 然后以每一个视频Xi作为I3D网络的输入， I3D网络的输出原始的时空特征Zi＝ {zi1,...,ziN}∈RN×D， 每个视频Xi对应一个原始的时空特征Zi＝{zi1,...,ziN}∈RN×D， 从而完 成提取视频特征； 其中， N为视频片 段数， D为每个片 段特征的维数， zi1为第一个时间片段xi1 对应的原始的时空特征， ziN为第N个时间片段xiN对应的原始的时空特征， R为N ×D维的矩阵 向量。 4.根据权利要求1所述的一种数据非平衡弱监督视频异常检测方法， 其特征在于， 对抗 训练模块总的损失如下： LAT＝ λLclean+(1‑λ )Ladv  (11) 式中， LAT为对抗训练模块的总损失函数， λ为调节干净视频损失和对抗样本损失之间权 重的参数， Lclean为干净视频的总损失函数， Ladv为对抗样本的总损失函数。 5.根据权利要求4所述的一种数据非平衡弱监督视频异常检测方法， 其特征在于， 干净 视频的总损失函数如下： 式中， Lclean为干净视频的总损失函数， α, β和γ分别为不同的权重参数， 为干净视 频的铰链损失， 为干净视频的稀疏损失， 为干净视频的光滑损失。 6.根据权利要求4所述的一种数据非平衡弱监督视频异常检测方法， 其特征在于， 对抗 样本的总损失函数如下： 式中， Ladv为对抗样本的总损失函数， α, β 和γ分别为不同的权重参数， 为对抗样本权　利　要　求　书 1/2 页 2 CN 115410126 A 2的铰链损失， 为对抗样本的稀疏损失， 为对抗样本的光滑损失 为对抗样本 的交叉熵损失。 7.根据权利要求4所述的一种数据非平衡弱监督视频异常检测方法， 其特征在于， 聚焦 训练模块的损失函数如下： 式中， LFT为聚焦训练模块的总损失函数， α, β和γ分别为不同的权重参数， 为干净 视频的铰链损失， 为干净视频的稀疏损失， 为干净视频的光滑损失， LCS为代价 敏感损失。 8.根据权利要求7所述的一种数据非平衡弱监督视频异常检测方法， 其特征在于， 代价 敏感的损失函数如下： LCS＝‑ω(1‑yc)τylog(yc)‑(1‑ω)(yc)τ(1‑y)log(1‑yc)  (12) 式中， LCS为代价敏感损失， ω为控制异常视 频和正常视 频损失比例的权重系数， (1 ‑yc)τ 为控制难异常和易异常视频损失比例的权 重因子。 9.根据权利要求1所述的一种数据非平衡弱监督视频异常检测方法， 其特征在于， 融合 后的异常 分数通过 下式计算， sfusion＝sAT(if|sAT‑c|≥|sFT‑c|)， otherw ise sfusion＝sFT  (14) 其中， c是对抗训练和聚焦训练异常分数之间的判定阈值， sfusion是融合后的异常分数， sAT为通过对抗训练模块获得的视频片段级异常分数， sFT为通过聚焦训练模块获得的视频 片段级别的异常 分数。 10.一种数据非平衡弱监 督视频异常检测系统， 其特 征在于， 包括： 视频特征提取模块， 用于提取待测视频的视频片段级的视频特征， 并发送给段级异常 分数获得模块和片段级别的异常 分数获得模块； 段级异常分数获得模块， 用于将视频片段级的视频特征通过对抗训练模块获得段级异 常分数， 并发送给融合模块； 片段级别的异常分数获得模块， 用于将视频片段级的视频特征通过聚焦训练模块获得 片段级别的异常 分数， 并发送给融合模块； 融合模块， 用于将通过对抗训练模块获得的段级异常分数与通过聚焦训练模块获得的 片段级别的异常 分数进行融合， 得到融合后的异常 分数， 并发送给比较模块； 比较模块， 用于将融合后的异常分数与阈值进行对比， 将大于阈值的视频片段中的所 有帧均视作异常， 小于阈值的视频片段中的所有帧均看作正常， 实现数据非平衡弱监督视 频异常检测与异常的时间定位。权　利　要　求　书 2/2 页 3 CN 115410126 A 3