(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210446373.6 (22)申请日 2022.04.26 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号 (72)发明人 孟庆松　孙庆轩　 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06T 5/20(2006.01) G06T 5/50(2006.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的道路车辆跟踪方法 (57)摘要 本发明公开了一种基于深度学习的道路车 辆跟踪方法， 涉及车辆跟踪技术领域； 它的跟踪 方法如下： 步骤一、 确定关键帧选取规则： 设定一 个光流阈值 Mth结合光流网络的输出用来判断相 邻帧能否作为一个稀疏的关键帧； 步骤二、 确定 神经网络类型： 在原Resnet ‑50网络中加入特征 金字塔； 步骤三、 确定图像去雾算法： 使用中值滤 波算法作为图像去雾算法； 本发 明能够识别并跟 踪公路上的多个车辆目标， 并实时更新显示目标 位置， 且能够实现图像的去雾处理； 提高了图像 的对比度， 能够满足对图像内不同位置、 不同尺 寸的目标车辆进行 特征提取的需要。 权利要求书1页 说明书5页 附图3页 CN 114897934 A 2022.08.12 CN 114897934 A 1.一种基于深度学习的道路车辆跟踪方法， 其特 征在于： 它的跟踪方法如下： 步骤一、 确定关键帧选取规则： 设定一个光流阈值Mth结合光流网络的输出用来判断相 邻帧能否作为 一个稀疏的关键帧； 为更好解释关键帧选取的方式， 在此定义： Ik为当前帧， Ik+1为Ik的后向相邻帧， F为光流 网络， f为图像特征， M为光流场， Mk～k+1则表示从当前帧到其后向相邻帧的光流场； Mk～k+1的值 由式(1)得到， 即： Mk～k+1＝F(Ik,Ik+1)    (1) 当Mk～k+1>Mth时， 判断Ik+1为关键帧； Mth选取得适当与否， 对整 个算法有很大影响； Mth取值 过小， 会导致关键帧数量增加， 虽然会使跟踪精度 上升， 但实时性会变差， 如果Mth取值为0， 则算法会退化为逐帧检测输出目标框的模式， 光流计算及关键 帧判定模块、 特征传播模块 失效； Mth取值过大， 会导致关键帧数量减少， 此时算法速度快而精度下降， 当Mth设定为无穷 大时， 算法只会将视频第一帧判定为关键帧， 第一帧后的特 征提取模块失效； 图像特征从Ik传播到Ik+1的过程由式(2)所示： fk+1＝W(fk,Mk～k+1)    (2) 特征图的传播方法采用双线性插值法， 式(2)中W(fk,Mk～k+1)函数是双线性插值函数， fk 为当前帧Ik的特征图， 其由特 征提取或由Ik‑1帧特征传播所 得， fk+1为Ik+1的特征图； 步骤二、 确定神经网络类型： 残差环节由两个通道 组成， 分别为恒等映射通道和由多层 卷积构成的残差映射通道； 残差映射通道对输入x进 行多次卷积运算之后输出结果F(x)， 这 里F(x)也被称作残差， 而恒等映射通道则会直接输出x， 最后的输出为y＝F(x)+x； 当 网络已 经迭代到最优后再继续加深网络深度时， 残差映射通道会因为梯度弥散现象逐渐迭代为0， 此时只剩下恒等映射 通道， 因此在理论上网络会一 直保持最优状态； 在原Resnet ‑50网络中加入特征金字塔， Resnet ‑50网络提取图像特征的过程是由浅层 特征逐层提取到高层特征， 在此过程中会产生多层次的特征图， 特征金字塔正是将不同层 次的特征图进行融合， 最后在一张特 征图上得到多尺度目标的特 征； 步骤三、 确定图像去雾算法： 使用中值滤波算法作为图像去雾算法。权　利　要　求　书 1/1 页 2 CN 114897934 A 2一种基于深度学习的道路车辆跟踪 方法 技术领域 [0001]本发明属于车辆跟踪技术领域， 具体涉及一种基于深度学习的道路车辆跟踪方 法。 背景技术 [0002]目前， 基于视频分析的车辆检测与跟踪面临以下几个问题： (1)、 车辆检测实时性 要求高， 由于高速公路交通流量检测和异常事件等车辆检测信息需要实时的反馈， 并且在 实时检测与反馈的基础上还要有一定的准确度， 因此对目标检测算法的速度和精度都要求 较高， 以确保及时的公路路况反馈； (2)、 车辆尺度多样， 由于道路场景中存在车辆由近及 远、 由远及近等车辆尺度变化的情况， 且车辆目标在图片的不同位置会有明显的形变， 同一 车辆目标在摄像头画面边缘位置会发生明显的大小形变， 会影响小目标的检测和跟踪精 度； (3)、 恶劣天气导致图像质量下降， 由于道路视频采集的场景一般都是户外露天环 境， 不 可避免的会受到雨天雾天等恶劣天气影响， 导致摄像头采集到的图像存在严重的噪声， 会 出现图像对比度下降， 细节丢失等现象。 发明内容 [0003]为解决现有的问题； 本发明的目的在于提供一种基于深度学习的道 路车辆跟踪方 法。 [0004]本发明的一种基于深度学习的道路车辆跟踪方法， 它的跟踪方法如下： [0005]步骤一、 确定关键帧选取规则： 设定一个光流阈值Mth结合光流网络的输出用来判 断相邻帧能否作为 一个稀疏的关键帧； [0006]为更好解释关键帧选 取的方式， 在此定义： Ik为当前帧， Ik+1为Ik的后向相邻帧， F为 光流网络， f为图像特征， M为光流场， Mk～k+1则表示从当前帧到其后向相邻帧的光流场； Mk～k+1 的值由式(1)得到， 即： [0007]Mk～k+1＝F(Ik,Ik+1)  (1) [0008]当Mk～k+1>Mth时， 判断Ik+1为关键帧； Mth选取得适当与否， 对整个算法有很大影响； Mth取值过小， 会导致关键帧数量增加， 虽然会使跟踪精度上升， 但实时性会变差， 如果Mth取 值为0， 则算法会退化为逐帧检测输出目标框的模式， 光流计算及关键帧判定模块、 特征传 播模块失效； Mth取值过大， 会导致关键帧数量减少， 此时算法速度快而精度下降， 当Mth设定 为无穷大时， 算法只会将视频第一帧判定为关键帧， 第一帧后的特 征提取模块失效； [0009]图像特征从Ik传播到Ik+1的过程由式(2)所示： [0010]fk+1＝W(fk,Mk～k+1)  (2) [0011]特征图的传播方法采用双线性插值法， 式(2)中W(fk,Mk～k+1)函数是双线性插值函 数， fk为当前帧Ik的特征图， 其由特 征提取或由Ik‑1帧特征传播所 得， fk+1为Ik+1的特征图； [0012]步骤二、 确定神经网络类型： 残差环节由两个通道组成， 分别为恒等映射通道和由 多层卷积构成的残差映射通道； 残差映射通道对输入x进行多次卷积运算之后输出结果F说　明　书 1/5 页 3 CN 114897934 A 3