(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210303609.0 (22)申请日 2022.03.24 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 郑四发　张创　吴浩然　许庆　 王建强　李克强　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/75(2022.01) (54)发明名称 基于多维注意力机制的联合检测与跟踪方 法、 装置及设备 (57)摘要 本申请涉及 多目标跟踪技术领域， 特别涉及 一种基于多维注意力机制的联合检测与跟踪方 法、 装置及设备， 其中， 方法包括： 对当前帧的当 前时刻图像进行特征提取与融合处理， 生成原始 特征图； 基于原始特征图， 生 成解耦特征图， 并利 用解耦特征执行预设检测任务和跟踪任务， 获取 当前帧的检测结果和跟踪目标特征； 以及以当前 帧的检测结果、 跟踪目标特征和历史轨迹中的目 标特征为输入， 构建多特征级联跟踪器， 生成最 终的检测和跟踪结果。 由此， 解决了在联合检测 和跟踪任务中不同尺度目标的跨时空提取问题 以及在不同任务中的特征解耦等问题， 通过构建 多特征级联跟踪器， 增强了跟踪算法在复杂场景 中的鲁棒 性。 权利要求书2页 说明书12页 附图4页 CN 114663812 A 2022.06.24 CN 114663812 A 1.一种基于多维注意力机制的联合检测与跟踪方法， 其特 征在于， 包括以下步骤： 对当前帧的当前时刻图像进行 特征提取与融合处 理， 生成原 始特征图； 基于所述原始特征图， 生成解耦特征图， 并利用所述解耦特征执行预设检测任务和跟 踪任务， 获取 所述当前帧的检测结果和跟踪目标 特征； 以及 以所述当前帧的检测结果、 所述跟踪目标特征和历史轨迹中的目标特征为输入， 构建 多特征级联跟踪器， 生成最终的检测 和跟踪结果。 2.根据权利要求1所述的方法， 其特征在于， 所述对当前帧的当前时刻图像进行特征提 取与融合处 理， 生成原 始特征图， 包括： 基于所述当前时刻图像进行 下采样， 得到多个初始特 征图； 对所述多个输出特征图中的部分初始特征图进行反卷积的上采样， 得到对应的上采样 特征， 并加和处理后， 得到多个加 和特征图； 对所述多个输出特征图和/或所述多个加和特征图进行通道注意力处理和位置注意力 处理， 得到多个注意力特 征图； 对所述多个注意力特 征图进行 卷积与上采样处 理， 得到所述原 始特征图。 3.根据权利要求1所述的方法， 其特征在于， 所述构建多特征级联跟踪器， 生成最终的 检测和跟踪结果， 包括： 输入所述当前帧的检测结果和跟踪目标 特征及所述历史轨 迹中的目标 特征； 对于每一个目标及所述历史轨迹 中的每一个轨迹， 考虑运动特征， 生成第 一成本矩阵， 对所述第一成本矩阵进行点匹配， 确定所述检测结果中已匹配上历史轨迹的第一集合与未 匹配的第二集合及所述跟踪目标特征中已匹配上历史轨迹的第三集合与未匹配的第四集 合； 对所述第二集合中每一个目标和所述第 四集合中每一条轨迹， 考虑运动特征， 计算每 一点对外观特征的相似度， 生成第二成本矩阵， 且对所述第二成本矩阵进 行点匹配， 确定所 述检测结果中已匹配上历史轨迹的第 五集合与未匹配的第六集合及所述跟踪目标特征中 已匹配上历史轨 迹的第七集 合与未匹配的第八集 合， 并生成新的轨 迹； 基于所述第一集合、 第三集合、 第五集合和第七集合的匹配成功 的点更新目标跟踪轨 迹， 生成更新后的轨迹， 并合并所述新的轨迹和所述更新后的轨迹， 生成当前时刻的跟踪 结 果。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述第 一集合、 第 三集合、 第五集 合和第七集 合的匹配成功的点更新目标跟踪轨 迹， 生成更新后的轨 迹， 包括： 若当前时刻有匹配的检测结果， 则基于相对应的目标或者轨迹中的相关信息进行更 新； 若所述当前时刻没有 匹配的检测结果， 则计算距离上一 时刻更新的时间差， 其中， 在所 述时间差大于或等于预设阈值时进行删除， 否则基于所述上一时刻进行 更新。 5.一种基于多维注意力机制的联合检测与跟踪装置， 其特 征在于， 包括： 第一生成模块， 用于对当前帧的当前时刻图像进行特征提取与融合处理， 生成原始特 征图； 获取模块， 用于基于所述原始特征图， 生成解耦特征图， 并利用所述解耦特征执行预设 检测任务和跟踪任务， 获取 所述当前帧的检测结果和跟踪目标 特征； 以及权　利　要　求　书 1/2 页 2 CN 114663812 A 2第二生成模块， 用于以所述当前帧的检测结果、 所述跟踪目标特征和历史轨迹中的目 标特征为输入， 构建多特 征级联跟踪器， 生成最终的检测 和跟踪结果。 6.根据权利要求5所述的装置， 其特 征在于， 所述第一 生成模块， 具体用于： 基于所述当前时刻图像进行 下采样， 得到多个初始特 征图； 对所述多个输出特征图中的部分初始特征图进行反卷积的上采样， 得到对应的上采样 特征， 并加和处理后， 得到多个加 和特征图； 对所述多个输出特征图和/或所述多个加和特征图进行通道注意力处理和位置注意力 处理， 得到多个注意力特 征图； 对所述多个注意力特 征图进行 卷积与上采样处 理， 得到所述原 始特征图。 7.根据权利要求5所述的装置， 其特 征在于， 所述第二 生成模块， 具体用于： 输入所述当前帧的检测结果和跟踪目标 特征及所述历史轨 迹中的目标 特征； 对于每一个目标及所述历史轨迹 中的每一个轨迹， 考虑运动特征， 生成第 一成本矩阵， 对所述第一成本矩阵进行点匹配， 确定所述检测结果中已匹配上历史轨迹的第一集合与未 匹配的第二集合及所述跟踪目标特征中已匹配上历史轨迹的第三集合与未匹配的第四集 合； 对所述第二集合中每一个目标和所述第 四集合中每一条轨迹， 考虑运动特征， 计算每 一点对外观特征的相似度， 生成第二成本矩阵， 且对所述第二成本矩阵进 行点匹配， 确定所 述检测结果中已匹配上历史轨迹的第 五集合与未匹配的第六集合及所述跟踪目标特征中 已匹配上历史轨 迹的第七集 合与未匹配的第八集 合， 并生成新的轨 迹； 基于所述第一集合、 第三集合、 第五集合和第七集合的匹配成功 的点更新目标跟踪轨 迹， 生成更新后的轨迹， 并合并所述新的轨迹和所述更新后的轨迹， 生成当前时刻的跟踪 结 果。 8.根据权利要求7所述的装置， 其特征在于， 所述基于所述第 一集合、 第 三集合、 第五集 合和第七集 合的匹配成功的点更新目标跟踪轨 迹， 生成更新后的轨 迹， 具体用于： 若当前时刻有匹配的检测结果， 则基于相对应的目标或者轨迹中的相关信息进行更 新； 若所述当前时刻没有 匹配的检测结果， 则计算距离上一 时刻更新的时间差， 其中， 在所 述时间差大于或等于预设阈值时进行删除， 否则基于所述上一时刻进行 更新。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑4任一项所 述的基于多维注意力机制的联合检测与跟踪方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑4任一项所述的基于多维注意力机制的联合检测与跟踪方 法。权　利　要　求　书 2/2 页 3 CN 114663812 A 3