(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210524626.7 (22)申请日 2022.05.13 (71)申请人 电子科技大 学长三角研究院 （衢州） 地址 324000 浙江省衢州市柯 城区芹江东 路288号1幢18楼 (72)发明人 张翔　张志卓　杨瑞菁　蒋岚洁　 李宜航　 (74)专利代理 机构 北京正华智诚专利代理事务 所(普通合伙) 11870 专利代理师 李梦蝶 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06V 10/25(2022.01) G06V 10/28(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01) (54)发明名称 联合ADS-B信息的基于深度学习的机场场面 运动目标识别方法 (57)摘要 本发明公开了一种联合ADS ‑B信息的基于深 度学习的机场场面运动目标识别方法， 方法结合 了变化检测运动静止判断的思想和目标检测 中 特征提取 以及分类、 回归模块， 同时对变化检测 算法中基于时间直方图的背景建模方法进行改 进， 以获得更精确的背景图像； 采用航空器已有 的ADS‑B技术进行辅助训练， 增强特征提取能力， 改善检测结果。 综合变化检测算法和目标检测算 法的思想和优点。 权利要求书1页 说明书6页 附图3页 CN 114821441 A 2022.07.29 CN 114821441 A 1.一种联合ADS ‑B信息的基于深度学习的机场场 面运动目标识别方法， 其特征在于， 包 括如下步骤： S1、 对ADS ‑B信息进行解码， 利用飞机返回的三维数据及相机得位置将ADS ‑B数据对应 到二维图像中； S2、 对机场场 面监控数据集中的场面监视视频序列进行标注， 得到真实边界框， 同时选 取前十段视频序列为训练集， 后十段视频序列为测试集； S3、 构建运动目标识别网络， 利用所构建的运动目标识别网络 输出所估计的背景图像； S4、 将步骤S3得到的所估计的背景图像与当前帧图像作为运动目标识别网络计算目标 候选框的类别以及目标候选 框的边界信息； S5、 将S4得到的目标候选框类别和目标候选框的边界信息与S2标注的真实边界框进行 对比， 并利用交叉熵损失函数和smoothL1距离计算出 分类损失函数和回归损失函 数， 将两个 损失函数之和作为 运动估计网络的损失函数； S6、 将运动目标识别网络的损失函数反向传播进行学习， 得到训练好的运动估计网络， 并利用训练好的运动估计网络对机场 场面进行运动目标识别。 2.根据权利要求1所述的联合ADS ‑B信息的基于深度学习的机场场面运动目标识别方 法， 其特征在于， 所述S3中构建的运动目标识别网络包括级联的运动判断模块和目标检测 模块， 其中， 运动目标识别网络的输入为当前帧、 当前帧ADS ‑B解码后的位置信息和标号信 息、 当前帧的历史前3 0帧图像。 3.根据权利要求2所述的联合ADS ‑B信息的基于深度学习的机场场面运动目标识别方 法， 其特征在于， 所述S3中所估计的背景图像的计算方法为： 将最近历史帧图像输入运动判断模块， 连续通过多个多尺度特征接收快， 每个特征快 捕获大小为1 ×1、 3×3和5×5感受野的最大响应， 得到所估计的背景图像。 4.根据权利要求2所述的联合ADS ‑B信息的基于深度学习的机场场面运动目标识别方 法， 其特征在于， 所述目标检测模块包括依次级联的主干网络、 特征金字塔网络以及回归和 分类网络， 其中， 主干网络为ResNet网络， 用于计算整个输入图像的卷积特征； 特征金字塔 网络通过自上而 下的路径和横向连接增强所述目标检测模块； 回归和分类网络均为多尺度 卷积神经网络 。 5.根据权利要求2所述的联合ADS ‑B信息的基于深度学习的机场场面运动目标识别方 法， 其特征在于， 所述S5中分类损失函数和回归损失函数分别表示 为： 其中， ti＝{tx,ty,tw,th}表示锚点的坐标， 在训练阶段为预测的偏移量； 为与维度向 量相同的地面实况标签， 在训练阶段为地面实况的偏移量； pi为锚点是目标的概率； 为 分类损失函数； 为回归损失函数。权　利　要　求　书 1/1 页 2 CN 114821441 A 2联合ADS‑B信息的基于深度学习的机场 场面运动目标识别 方法 技术领域 [0001]本发明涉及机场目标识别领域， 具体涉及一种联合ADS ‑B信息的基于深度学习的 机场场面运动目标识别方法。 背景技术 [0002]近年来， 全球民航载客量持续增加， 机场结构日益复杂， 机场场面愈加拥挤， 管理 员对场区地面运动目标的目视监视难度逐渐增加， 人工指挥与管理的安全隐患越加明显。 为了满足自动化场面监视的需求， 通过多个摄像头拍摄， 覆盖整个机场场面区域的监控系 统被应用到现代机场场面监视中。 相比于其他的传感器而言， 计算机视觉技术拥有得天独 厚的优势， 原因在于视频 的传播信息的方式更加 直观和真实， 人眼能够直观的捕捉展示在 视频中的关键信息。 于是基于计算机视觉技术的机场智能化应用逐渐成为自动化场面监视 技术的主流。 基于计算机视觉技术获取 的视频数据信息量非常丰富， 在此基础上可以开发 诸如非法入侵提醒， 撞击预警等智能应用。 作为许多基于视频的智能应用的基础， 变化检测 和目标检测算法已在近些年有了 很大进展， 但在机场 场面监视应用时存在一定的局限性。 [0003]变化检测算法的目的是将图像序列或视频中发生空间位置变化的前景物体呈现 并标记出来， 传统的变化检测算法主要是利用背景减法技术， 利用少量的输入视频帧估计 出初始干净 的背景图像， 然后在估计的背景和输入视频帧之间进行像素分割， 并不断更新 背景模型。 在方法ViBe中， 提出了三种背景模 型更新策略:随机背 景样本替换来代表短期和 长期历史， 无记忆更新策略和通过背景样本传播的空间扩散策略， 这些策略已被最新的最 先进的变化检测技术广泛采用， 但传统的方法是无监督的， 算法的性能取决于所建立的背 景模型的质量， 在机场场景中， 由于光照、 阴影等因素导致背 景频繁变化， 影响检测结果。 近 年来， 大量的基于卷积神经网络(CNN)的有监督变化检测技术被提出。 基于卷积神经网络的 变化检测算法通过对输入图像多尺度特征进行编码， 然后使用转置卷积神经网络进行解 码， 实现特征到前景像素的概率映射， 并逐一判断每个像素属于前景还是背景， 虽然基于卷 积神经网络的变化检测算法精度相较于传统方法有了很大的提升， 并在AGVS(机场场面监 控数据集)中取得了良好的精度， 但这些方法比较复杂， 速度很慢， 很难在机场场面视频实 时监控中发挥作用。 [0004]作为计算机视觉中的经典任务， 目标检测任务一直是该领域的研究热点。 目标检 测的目的是找到具有不同几何形状的对象， 以及为每个检测到的对象分配一个准确的标 签。 这是一项具有挑战性的任务， 因为对象可以在自然图像中以任何比例、 形状和位置出 现， 而且同一类对象的外观可能非常不同。 传统的目标检测算法通常用滑动窗口的方式， 通 过SIFT， H OG等特征提取算法对每个窗口进 行特征提取， 之后对提取的特征利用机器学习算 法， 比如支持向量机等进 行分类， 最 终得到该窗口是否包含某一类物体。 这就导致传统目标 检测算法存在计算量比较大， 运算速度 慢， 常常会产生多个正确识别的结果的缺点； 在深度 学习快速发展的推动下， 研究人员设计了更加有效的目标检测算法， 目标检测算法可分为说　明　书 1/6 页 3 CN 114821441 A 3