(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211070668.4 (22)申请日 2022.09.02 (71)申请人 河海大学 地址 210024 江苏省南京市江宁区佛城西 路8号 (72)发明人 王连涛　王钦旭　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 孙永生 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 20/54(2022.01) (54)发明名称 一种视频中的多车辆跟踪方法 (57)摘要 本发明公开了一种视频中的多车辆跟踪方 法， 包括构建车辆检测与自监督视觉表征学习相 融合的深度神经网络模型， 构造实例和维度双重 对比的目标特征损失函数和目标检测损失函数， 将网络模型在无身份标签的目标检测数据集下 训练， 构造添加占位符机制的视觉相似性关联方 法； 将待进行多车辆跟踪的视频数据逐帧转化为 图像， 依次传入训练好的神经网络进行车辆的目 标检测和特征提取， 对相邻两帧图像间的所有车 辆特征进行关联匹配， 遍历 全部帧图像后得到检 测区域内所有车辆的跟踪结果。 本发 明减少了额 外计算开销， 提高了模型计算速度， 极大地降低 了构建目标跟踪数据集的成本， 避免车辆目标因 暂时遮挡消失又重新出现导致的跟踪不稳定， 使 多车辆跟踪更加准确。 权利要求书5页 说明书12页 附图4页 CN 115359407 A 2022.11.18 CN 115359407 A 1.一种视频中的多车辆跟踪方法， 其特 征在于， 包括如下步骤： 对采集的图像进行图像随机变换， 形成数据增强算法集 合 采用随机抽样的方法将图像数据集等分为若干个实例集Zi， 每个实例集都有对应的标 签集Ei， i∈{1,2, …T}， T为实例集个数； 从数据增强算法集合 中随机选取一种算法 对每个实例Zi,Ei进行变换， 获得样本集 合Z′i,E′i； 根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主 干网络模型， 成对提取两个样本集 合Zi和Z'i的特征矩阵， 记为hi和h'i； 根据样本集合的特征矩阵构建具有相同结构的分支网络， 分别对特征矩阵hi和hi′进行 预测， 得到热力图Fi和F'i， 中心偏移Oi和O'i， 目标大小Si和S'i； 根据相同结构的分支网络构建车辆检测与自监督视觉表征学习相融合的深度神经网 络模型的目标特征表征网络模型和投影层网络模型， 两个特征矩阵hi和h'i通过目标特征表 征网络得到目标特征表征Hi和H'i， 目标特征表征Hi和H'i经投影得到目标特征矩阵， 记为Li 和L'i； 将目标特征矩阵Li和L'i分别沿行列向量划分， 得到 实例特征和维度特征， 构建正、 负实 例特征对和相关、 无关维度特 征对； 通过余弦距离度量函数计算实例特征对 间的特征关系， 通过相关系数度量函数计算维 度特征对间的特征关系， 构造实例特征和维度特征双重对比损失函数作为目标特征损失函 数； 利用高斯模型将标签Ei,E'i中真实边界框信息映射为热力图 并计算标签目标中心 点偏移量 和目标大小 通过Focal  Loss损失函 数计算样本热力特征图Fi与 F'i与 之间的关系， 通过 损失 函数计算样 本中心点偏移量Oi与 O'i与 之间的关系和样本目标大小Si与 S'i与 之间 的关系， 根据计算的损失函数， 构 造目标检测损失函数， 并与样本维度双重对比损失函数构 成模型的目标检测与特 征计算的总损失函数； 根据目标检测与特征计算的总损失函数对构建的车辆检测与自监督视觉表征学习相 融合的深度神经网络模型进行训练； 视频数据集 包含N帧图像， 将第一帧图像I1送入经过训练的深度神经网络模型中， 得到相应的中心点位置P1、 边界框大小S1和目标的特征矩阵H1， 初始化所有目标的身份信息 和轨迹信息； 对连续两帧的图像的特征矩阵进行关联算法获得帧间目标的关联关系， 对于同一目标 进行轨迹更新， 对新出现的目标为 其初始化身份和轨 迹； 深度神经网络模型遍历完所有帧图像后最终 获得视频 数据的跟踪结果 2.根据权利要求1所述的一种视频中的多车辆跟踪方法， 其特征在于： 车辆检测与自监 督视觉表征学习相融合的深度神经网络模 型的主干网络模型为编码 器f(·)； 编码器f(·) 为由多层卷积神经网络组成的网络模 型， 编码器f(·)用于提取样本集合的嵌入表示， 计算 公式如下：权　利　要　求　书 1/5 页 2 CN 115359407 A 2B是样本集 合中的样本数量， D是嵌入向量的大小， 表示实数集。 3.根据权利要求1所述的一种视频中的多车辆跟踪方法， 其特征在于： 具有相同结构的 分支网络为预测头pj(·)， j＝{1,2,3},分别用于预测热力图、 中心偏移向量和目标 大小； 每个预测头pj(·)对特征图进行卷积核大小为3 ×3的卷积计算， 通过批次归一化层和 非线性激活函数计算后， 通过1 ×1的卷积计算得到样本集合的预测矩阵， 用来对样本集合 的嵌入表示进行 预测， 计算公式如下： I是样本热力特 征图的大小； J是样本目标中心点偏移向量预测的大小； K是样本目标尺寸预测的大小。 4.根据权利要求1所述的一种视频中的多车辆跟踪方法， 其特征在于： 目标特征表征网 络模型为目标 特征表征器c( ·)， 投影层网络模型为投影头g( ·)； 目标特征表征器c( ·)包括卷积神经网络和特征通道集合网络， 目标的特征表示为经 卷积计算所 得特征矩阵的目标中心点 坐标处所有通道的集 合， 计算公式如下： N是样本目标中心点的数量,D是 卷积计算所 得特征矩阵的通道数； 投影头g(·)包含三层全连接网络， 前两层 之后连接批次归一化层和非线性激活函数， 计算得到样本集 合的特征矩阵， 计算公式如下： M是样本输出目标 特征矩阵的大小。 5.根据权利要求1所述的一种视频中的多车辆跟踪方法， 其特征在于： 将两个特征矩阵 Li和L'i按行划分， 得到实例表示集合 t表示图像增 强算法， 其中1为不使用图像增强算法， i为实例索引， 从集合S中构造实例对 i＝j为 正对， i≠j为负对； 将两个特征矩阵Li和L 'i按列划分， 得到特征维度集合 p为维度索引， 从集合D中构造维度对 p＝k为 相关对， p≠k 为无关对。 6.根据权利要求1所述的一种视频中的多车辆跟踪方法， 其特征在于： 通过余弦距离度权　利　要　求　书 2/5 页 3 CN 115359407 A 3