(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221098970 0.2 (22)申请日 2022.08.18 (65)同一申请的已公布的文献号 申请公布号 CN 115100235 A (43)申请公布日 2022.09.23 (73)专利权人 哈尔滨工业大 学 （深圳） （哈尔滨 工业大学深圳科技创新研究院） 地址 518000 广东省深圳市西丽大 学城哈 工大园区 (72)发明人 何震宇　李高俊　田超　杨超　 (74)专利代理 机构 深圳市科吉华烽知识产权事 务所(普通 合伙) 44248 专利代理师 胡吉科 (51)Int.Cl. G06T 7/20(2017.01)G06T 7/70(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (56)对比文件 CN 114255514 A,202 2.03.29 CN 114298946 A,202 2.04.08 CN 110490136 A,2019.1 1.22 CN 105069768 A,2015.1 1.18 CN 114219824 A,202 2.03.22 US 2019228266 A1,2019.07.25 审查员 温兰兰 (54)发明名称 一种目标跟踪方法、 系统及存 储介质 (57)摘要 本发明提供了一种目标跟踪 方法、 系统及存 储介质， 目标跟踪方法包括预训练步骤、 训练步 骤和预测步骤， 在训练步骤中， 使用共享特征的 特征提取网络分别对模板图像和搜索图像进行 特征提取， 得到模板特征和搜索特征， 经过级联 自注意力 ‑跨注意力特征增强融合模块进行模板 特征和搜索特征的深层融合， 然后经过细节特征 增强模块进行多分支的特征细 节增强， 再进入跨 注意力特征模块做最终的特征融合后， 最后使用 一个跟踪头预测目标的坐标； 在整个训练过程 中， 采用基于全局和局部的知识蒸馏训练方法来 指导训练。 本发明的有益效果是： 本发明的目标 跟踪方法及系统具有较高的跟踪精度、 鲁棒性与 泛化能力。 权利要求书3页 说明书6页 附图1页 CN 115100235 B 2022.12.20 CN 115100235 B 1.一种目标跟踪方法， 其特 征在于， 包括如下步骤： 预训练步骤： 通过在热红外联合数据集上进行无需标签的预训练， 使得特征提取网络 具备更好的初始权 重参数； 训练步骤： 使用共享特征的特征提取网络分别对模板 图像和搜索图像进行特征提取， 得到模板特征和搜索特征， 经过级联自注意力 ‑跨注意力特征增强融合模块进行模板特征 和搜索特征 的深层融合， 然后经过细节特征增强模块进行多分支的特征细节增强， 最后使 用一个跟踪头预测目标的坐标； 在整个训练过程中， 采用基于全局和局部的知识蒸馏训练 方法来指导训练； 预测步骤： 使用共享特征的特征提取网络分别对模板 图像和搜索图像进行特征提取， 得到模板特征和搜索特征， 经过级联自注意力 ‑跨注意力特征增强融合模块进行模板特征 和搜索特征 的深层融合， 然后经过跨注意力特征模块进行特征细节增强， 最后使用一个跟 踪头判断当前帧中目标位置 。 2.根据权利要求1所述的目标跟踪方法， 其特征在于， 在所述训练步骤中， 使用随机混 合的红外+可 见光数据， 并动态调整可 见光与红外图像的比例。 3.根据权利要求1所述的目标跟踪方法， 其特征在于， 在所述训练步骤， 在大规模红外 数据集中作编码解码的无监 督训练， 为网络提供 更好的初始权 重参数。 4.根据权利要求2所述的目标跟踪方法， 其特征在于， 在所述训练步骤中， 动态调整可 见光与红外图像比例的实现方 式是： 如公式5 ‑1所示， 其中 表示神经网络， 其中 表示神经 网络的输入图像， 表示数据集， 其中 表示4个可见光数据集， 表示红外数据集， 为红外数据集占比， 值为每轮训练的迭代次数 的k倍， ； （5‑1） 。 5.根据权利要求1所述的目标跟踪方法， 其特征在于， 所述级联自注意力 ‑跨注意力特 征增强融合模块采用多头注意力作为基注意力层， 如式5 ‑2所示， 其中参数表示如下： 表 示多头注意力中第i个头的输出， Q、 K、 V分别表示查询矩阵、 键矩阵、 值矩阵， 其中 表示输 出映射矩阵， 分别表示多头注意力中第i个头 的查询映射矩阵、 键映射矩阵、 值映射矩阵， 其中 是 维实数矩阵， 表示为 ， ， 和 依次 表示为 ， ， ； 其中 为实数域， 为模型 维度、 键维度、 值维度， m表示输出维度值； 表示注意力头的数目；             (5‑2)。权　利　要　求　书 1/3 页 2 CN 115100235 B 26.根据权利要求5所述的目标跟踪方法， 其特 征在于， ， ， 。 7.根据权利要求1所述的目标跟踪方法， 其特征在于， 所述细节特征增强模块将进入跟 踪头之前的特征按照空间生成一个正态分布的二值向量， 其大小与当前的特征图大小一 致， 将特征向量 与M做点积， 生成新的特 征图。 8.根据权利要求1所述的目标跟踪方法， 其特征在于， 在所述训练步骤中， 通过多分支 特征相关约束与细节特征增强模块配合， 将特征按照通道分成N组,每组经过一个级联自注 意力‑跨注意力特征增强融合模块， 并在N组之 间计算相互的相似度； 在训练过程中， 特征除 原有分类损失和回归损失外， 额外在细节特征增强模块后加入一个相关性损失， 监督特征 学 习 更 多 的 细 节 特 征 ， 其 表 示 如 式 5 ‑3 所 示 ， 其 中 为 特 征 矩 阵 ， 表 示 为 ， 其中H与W为特征图的宽度和 高度， I为单位向量 且 ， R表示实域向量空间， 分别为大小HW， HWxN与NxN的实域向量 空间； 式中 表示特征矩阵A的转置矩阵， 为相关性损失函数， (5‑3)。 9.根据权利要求3所述的目标跟踪方法， 其特征在于， 在所述训练步骤， 大规模红外数 据集中作编码解码的无监督训练过程如下： 在模型结构上采用特征提取网络作为编码器， 使用4层自注意力层和512个节点的feedforward层的transformer作为解码器； 在数据上， 采用红外图像， 将目前的红外数据集均纳入无监督训练中； 在训练方式上， 将图像按照后续 的尺度变化分成 个子区域， 对图像中的子区域按照概率 随机使用114色素 值的色块代替， 将此替换后的图像作为特征提取网络的输入图像， 并将原始图像作为优化 目标， 优化约束采用均方误差损失函数如式5 ‑4所示， 其中 与 分别为复原后的图像 与原始图像， 表示3维实数向量空间， 3个维度大小分别为3、 H和W； (5‑4) 在跟踪任务中， 采用模型中的编码模型的参数作为特 征提取网络的初始参数。 10.根据权利要求1所述的目标跟踪方法， 其特征在于， 在所述训练步骤中， 基于全局和 局部的知识蒸馏训练方法是： 在指导训练过程中， 老师模型和学生模 型分别前向计算， 在级 联自注意力 ‑跨注意力特征增强模块的最后一层解码模块上进行特征模拟作为全局蒸馏， 即使用特征拟合约束来使用老师模型指导学生模型训练， 如式5 ‑5所示， 其中 表示特 征拟合约束， C、 H、 W分别为特征的通道数、 高和宽， 表示自适应的形状转换函数， 用于将学 生特征的形状转为和老师特征形状一致， T表示老师模型， S表示学生模型， 分别表 示老师和学生网络在向量空间中(k,i,j)位置的特征值； 在跟踪头中按照 分类分支确定前权　利　要　求　书 2/3 页 3 CN 115100235 B 3