(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111639029.0 (22)申请日 2021.12.2 9 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 张翔　汤应祺　杨瑞菁　孟俊聪　 廖权　 (74)专利代理 机构 北京正华智诚专利代理事务 所(普通合伙) 11870 专利代理师 代维凡 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种机场场面监控视频变化检测系统及方 法 (57)摘要 本发明公开了一种机场场面监控视频变化 检测系统及方法， 涉及计算机视觉技术领域， 包 括第一通道级联模块、 残差神经网络编码器、 时 空注意力处理子系统、 第二通道级联模块、 特征 解码器和运动增强背景处理模块。 本发明有效利 用了传统的背景建模 方法构建背景模 型， 基于此 建立运动增强背景处理模块， 以生成参考背景 帧。 同时， 运动增强背景处理模块能够被检测结 果动态更新， 相比于单一的背景模型， 有效减少 了误差积累问题并对长 视频具有鲁棒 性。 权利要求书3页 说明书7页 附图3页 CN 114463670 A 2022.05.10 CN 114463670 A 1.一种机场场面监控视频变化检测系统， 其特征在于， 包括： 第一通道级联模块、 残差 神经网络编码 器、 时空注意力处理子系统、 第二通道级联模块、 特征解码 器和运动增强背 景 处理模块； 所述第一 通道级联模块和第二 通道级联模块用于拼接 输入的数据 序列； 所述第一通道级联模块的第 一输入端作为机场场 面监控视频变化检测系统 的输入端， 其第二输入端与运动增强背景 处理模块的输出端连接， 其输出端与 残差神经网络编 码器的 输入端连接； 所述残差神经网络编码器用于对输入的图像数据序列进行特征提取， 得到编码特征， 其输出端与时钟注 意力处理子系统的输入端连接， 其包括N个中间编 码层； 每个所述的中间 编码层的输出端均还与特 征解码器连接； N 为正整数； 所述时空注意力处理子系统用于提取编码特征的时空注意力数据， 并进行时空注意力 匹配运算， 得到 当前图像特征和平均相似特征图； 其第一输出端用于输出当前图像特征， 与 第二通道级联模块的第一输入端连接； 其第二输出端用于输出平均相似特征图， 与第二通 道级联模块的第二输入端连接； 所述第二 通道级联模块的输出端与特 征解码器的输入端连接； 所述特征解码器用于解码第二通道级联模块拼接的级联编码特征， 得到运动概率图； 其输出端与运动增强背景 处理模块的输入端连接， 并作为机场场面监控视频变化检测系统 的输出端； 所述运动增强背景处 理模块用于根据运动概 率图计算得到参 考背景帧。 2.根据权利要求1所述的机场场 面监控视频变化检测系统， 其特征在于， 所述 时空注意 力处理子系统包括： 匹配特征提取模块、 图像特征提取模块、 匹配特征存储模块、 图像特征 存储模块和平均相似特 征计算模块； 所述匹配特征提取模块用于根据残差神经网络编码器输出的编码特征， 提取得到当前 匹配特征； 其输入端与图像特征提取模块的输入端连接， 并作为时空注意力处理子系统的 输入端， 还与残差神经网络编码器的输出端连接； 其输出端分别与匹配特征存储模块的输 入端和平均相似特 征计算模块的输入端连接； 所述图像特征提取模块用于根据残差神经网络编码器输出的编码特征， 提取得到当前 图像特征， 其输出端作为时空注意力处理子系统的第一输出端， 分别与图像特征存储模块 的输入端和第二 通道级联模块的第一输入端连接； 所述匹配特征存储模块用于存储当前匹配特征之前的L个历史匹配特征， 其输出端与 平均相似特 征计算模块的输入端连接； 所述图像特征存储模块用于存储当前图像特征之前的L个历史图像特征， 其输出端与 平均相似特 征计算模块的输入端连接； 所述平均相似特征计算模块用于根据当前匹配特征、 L个历史匹配特征和L个历史图像 特征， 求解得到平均相似特征图； 其输出端作为时空注意力处理子系统的第二输出端， 并与 第二通道级联模块的第二输入端连接 。 3.根据权利要求2所述的机场场 面监控视频变化检测系统， 其特征在于， 所述特征解码 器包括： 第一残差块、 第一上采样模块和第一 提炼块至第N 提炼块； 所述第一残差块的输入端作为特征解码器的输入端， 并与第 二通道级联模块的输出端权　利　要　求　书 1/3 页 2 CN 114463670 A 2连接； 其输出端与第一 提炼块的第二输入端连接； 所述第一提炼块的第一输入端与残差神经网络编码器的第N中间编码层的输出端连 接； 其第二输入端与第一残差块的输出端连接； 所述第i提炼块的第一输入端与残差神经网络编码器的第N+1 ‑i中间编码层的输出端 连接； 其第二输入端与第i ‑1提炼块的输出端连接； i 为闭区间[2,N]内的正整数； 所述第N提炼块的输出端与第一上采样模块的输入端连接； 所述第一上采样模块的输出端作为特 征解码器的输出端。 4.根据权利要求3所述的机场场 面监控视频变化检测系统， 其特征在于， 所述第 一提炼 块至第N提炼块的结构均相同， 包括： 卷积模块、 第二残差块、 第二上采样模块、 加法器和第 三残差块； 所述卷积模块的输入端作为第一提炼块至第N提炼块的第一输入端， 其输出端与第二 残差块的输入端连接； 所述第二残差块的输出端与加法器的第一输入端连接； 所述第二上采样模块的输入端作为第一提炼块至第N提炼块的第二输入端， 其输出端 与加法器的第二输入端连接； 所述加法器的输出端与第三残差块的输入端连接； 所述第三残差块的输出端作为第一 提炼块至第N 提炼块的输出端。 5.根据权利要求4所述的机场场 面监控视频变化检测系统， 其特征在于， 所述平均相似 特征计算模块根据当前匹配特征、 L个历史匹配特征和L个历史图像特征， 求解得到平均相 似特征图的方法包括以下步骤： A1、 根据当前匹配特 征和L个历史匹配特 征， 通过下式计算得到L个相似矩阵： 其中， Mp为p时刻的相似矩阵， Kc为当前匹配特征， Kp为p时刻的匹配特征， c为当前匹配 特征对应的时刻， p为闭区间[c ‑L,c‑L+1,…,c‑2,c‑1]内的正整数， 为矩阵乘法运算符， softmax(·)为归一化指数函数； A2、 根据L个历史图像特 征和L个相似矩阵， 通过 下式计算得到L个相似特 征图： 其中， Sp为当前帧与p时刻帧的相似特 征图， Vp为p时刻历史图像特 征； A3、 求取L个相似特 征图的均值， 作为平均相似特 征图。 6.根据权利要求5所述的机场场 面监控视频变化检测系统， 其特征在于， 所述运动增强 背景处理模块通过下式根据运动概 率图计算得到参 考背景帧： 其中， t为时间标记符， bj,k,c为当前参考背景帧第j行第k列像素值， ε为常系数， wj,k,t为t 时刻运动概率图第j行第 k列像素值， bj,k,t为运动增强背景处理模块存储的t时刻参考背景 帧的第j行第k列像素值， m为 运动增强背景处 理模块存 储的历史参 考背景帧的数量。 7.一种机场场面监控视频变化检测方法， 其特征在于， 采用 如权利要求1至6任一项所权　利　要　求　书 2/3 页 3 CN 114463670 A 3