(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111670920.0 (22)申请日 2021.12.31 (71)申请人 西安工业大 学 地址 710021 陕西省西安市未央区学府中 路2号 (72)发明人 黄姗姗　马龙　吴海波　杨静　 彭扬帆　徐玉　赵佳尧　杜江斌　 魏邹建　 (74)专利代理 机构 深圳倚智知识产权代理事务 所(普通合伙) 44632 代理人 霍如肖 (51)Int.Cl. G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/82(2022.01) (54)发明名称 一种实例感知主干网络训练方法 (57)摘要 本发明涉及一种实例感知主干网络训练方 法， 应用于多目标视觉跟踪， 包括网络模型预训 练和模型微调再训练， 其中网络模 型预训练具体 为： 将多目标跟踪数据集输入目标分类主干网络 执行正向传播生成 网络模型中间参数； 使用中间 参数执行反向传播更新中间参数； 执行反向传播 时通过增加实例感知分散约束并结合目标分类 主干网络原有的类间方差约束引导目标分类主 干网络同时增加类间间距和类内间距； 迭代执行 正向传播和反向传播得到最优目标分类主干网 络。 通过本发明提供的技术方案， 能实现实例类 间间距和类内间距同时增加， 提高了多目标视觉 跟踪的成功率和精度， 同时不改变原始主干网络 的网络结构、 训练数据和超参数， 使用极为便利。 权利要求书1页 说明书4页 附图2页 CN 114399661 A 2022.04.26 CN 114399661 A 1.一种实例感知主干网络训练方法， 应用于多目标视频跟踪， 其特征在于， 包括网络模 型预训练， 具体为： 将多目标跟踪数据集输入目标分类主干网络执 行正向传播 生成网络模型中间参数； 使用中间参数执行反向传播更新中间参数； 执行反 向传播时通过增加实例感知 分散约 束并结合目标分类主干网络原有的类间方差约束引导目标分类主干网络同时增加类间间 距和类内间距； 迭代执行正向传播和反向传播得到最优目标分类主干网络 。 2.如权利要求1所述实例感知主干网络训练方法， 其特征在于， 所述实例感知 分散约束 为类内方差约束， 所述类内方差约束用于引导目标分类主干网络对于同类目标输出具有较 大方差的分类向量， 以增 加同类目标的类内间距。 3.如权利要求2所述实例感知主干网络训练方法， 其特征在于， 所述类 内方差约束与类 内距离和正则化项共同构建类内损失函数。 4.如权利要求1所述实例感知主干网络训练方法， 其特征在于， 所述多目标跟踪数据集 为OTB‑2015、 LaSOT或UA V123。 5.如权利要求1所述实例感知主干网络训练方法， 其特征在于， 所述目标分类主干网络 为AlexNet、 VG G19或ResNet5 0。 6.如权利要求1所述实例感知主干网络训练方法， 其特征在于， 所述实例感知主干网络 训练方法采用t ‑SNE算法降维。 7.如权利要求1所述实例感知主干网络训练方法， 其特征在于， 所述实例感知主干网络 训练方法还包括模型微调再训练， 具体为： 对实际场景 的目标跟踪视频进行目标标定后再 对经过网络模型预训练的目标分类主干网络再次训练， 从而对模型参数进 行调优以使目标 分类主干网络适应实际场景的目标跟踪。权　利　要　求　书 1/1 页 2 CN 114399661 A 2一种实例感知主 干网络训练方 法 技术领域 [0001]本发明属于多目标跟踪技 术领域， 特别涉及一种实例感知主干网络训练方法。 背景技术 [0002]视觉跟踪是计算机视觉(CV)中的一项基本任务， 具有视频监控、 机器人技术和 人 机交互等应用， 其目的是根据第一帧图像中指 定的目标信息预测 后续视频帧中目标的位置 和形状。 在过去十几年中， 基于卷积神经网络(CNN)的视觉跟踪 取得了显著的进展。 然而， 由 于诸多因素， 设计高精度视觉跟踪器仍然是一项具有挑战性的任务， 其中最重要的因素之 一是来自相似目标的干扰(IST)。 在具有大量同类相似实例的场景中， IST经常导致跟踪器 漂移， 给视 觉跟踪带来很大困难。 [0003]现代视觉跟踪器的主流结构可分为特征提取主干网络、 特征融合模块和边界框预 测模块。 传统主干网络通常在图像分类框架下进行预训练， 这种训练方法鼓励主干网络只 提取不同类别实例的类间特征。 然而， 视觉跟踪不仅需要区分目标和属于其他类别的背景 杂波， 还需要区分属于同一类别目标的实例 。 这需要特征网络提取具有类间和类内实例区 分性的特 征。 发明内容 [0004]本发明的目的在于提供一种实例感知主干网络训练方法， 采用主流的目标分类主 干网络， 在不改变原始主干网络的网络结构、 训练数据、 超参数的基础上， 通过训练网络时 增加实例感知分散约束， 以解决现有主干网络不能提取同一类别实例的类内特征进行视觉 跟踪的缺陷。 [0005]本发明解决其 技术问题提供的技 术方案如下： [0006]本发明提供一种 实例感知主干网络训练方法， 应用于多 目标跟踪， 包括网络模型 预训练， 具体为： 将多目标跟踪数据集输入目标分类主干网络执行正向传播生成网络模型 中间参数； 使用中间参数执行反向传播更新中间参数； 执行反向传播时通过增加实例感知 分散约束并结合目标分类主干网络原有的类间方差约束引导目标分类主干网络同时增加 类间间距和类内间距， 提高了视觉跟踪的成功率和精度； 迭代执行正向传播和反向传播得 到最优目标分类主干网络 。 [0007]本发明的有益效果为： 本发明通过在原始主干网络具有类间区分约 束的基础上增 加实例感知分散约束， 引导 目标分类主干网络同时增加类间间距和类内间距， 从而提高了 视觉跟踪的成功率和精度； 同时， 所使用的主干网络不改变原始的网络结构、 初始化方法、 训练数据和超参数， 未增 加使用视 觉跟踪的工作负载， 使用方法极为便利。 附图说明 [0008]下面结合附图对本发明作进一 步说明。 [0009]图1是网络模型 预训练的方法流 程图。说　明　书 1/4 页 3 CN 114399661 A 3