(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210923835.9 (22)申请日 2022.08.02 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市杭州经济开发 区白杨街道 2号大街1 158号 (72)发明人 章天杰　黄晓峰　殷海兵　崔燕　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 谷波 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/75(2022.01) G06V 10/84(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种视觉跟踪系统、 方法、 介质及电子设备 (57)摘要 本公开涉及一种视觉追踪系统、 方法、 介质 及设备， 所述视觉追踪系统， 包括： 跟踪器； 还包 括： 决策器， 用于在所述跟踪器每一轮跟踪结束 后， 决定是否需要更新外观模板， 当需要更新外 观模板时， 更新所述跟踪器的外观模板； 计算优 化单元， 用于对 所述跟踪器和所述决策器的计算 流图进行优化。 本公开的方案提升了视觉目标跟 踪在现实场景下的准确性， 能应对物体形变、 遮 挡等复杂场景。 本公开的方案使得视觉目标跟踪 任务能在资源受限的硬件环境中运行， 降低了部 署视觉跟踪系统的成本 。 权利要求书1页 说明书9页 附图4页 CN 115393392 A 2022.11.25 CN 115393392 A 1.一种视 觉追踪系统， 包括： 跟踪器； 其特 征在于， 还 包括： 决策器， 用于在所述跟踪器每一轮跟踪结束后， 决定是否 需要更新外观模板， 当需要更 新外观模板时， 更新所述跟踪器的外观模板； 计算优化单 元， 用于对所述跟踪器和所述决策器的计算 流图进行优化。 2.根据权利要求1所述的系统， 其特 征在于， 所述决策器具体用于： 利用马尔科夫 决策对所述视觉追踪系统当前的运行的环境信 息进行决策参考， 以确定 是否需要更新外观模板， 其中， 所述环境信息由所述跟踪器的网络对模板图像和候选图像 进行相似度 度量的响应结果获得。 3.根据权利要求2所述的系统， 其特 征在于， 所述决策器还用于： 基于预测所述马尔科夫决策的预测结果框与真实数据框的交并比对所述马尔科夫决 策的决策 过程中是否需要更新外观模板进行激励。 4.根据权利要求1所述的系统， 其特 征在于， 所述计算优化单 元具体用于： 预先规划外 部计算硬件的内存， 预 先分配存 储空间以容纳中间结果； 对计算单 元的算子进行融合； 预先计算所述计算 流图中以静态确定的计算内容。 5.根据权利要求4所述的系统， 其特征在于， 所述对计算单元的算子进行融合具体包 括： 按照算子的输入输出之间的对应关系转换为对应的算子融合结果。 6.根据权利要求1～5任一项中所述的系统， 其特征在于， 所述跟踪器具体采用基于孪 生Siamese网络的跟踪器。 7.一种视觉追踪方法， 作用于如权利要求1～6任一项中所述的视觉追踪系统上， 其特 征在于， 所述方法包括： 从外部存储器读取优化后的计算 规则及对应参数至硬件内存中完成初始化； 读取输入视频 数据并进行 特征提取得到特征图像； 对于每一帧特 征图像， 利用所述跟踪器以所述计算 规则得到跟踪结果； 利用所述决策器根据所述跟踪结果进行判断是否需要更新外观模板的决策； 将当前跟踪结果输出并存 储。 8.根据权利要求7所述的方法， 其特征在于， 所述特征提取得到特征图像的过程循环执 行两次。 9.一种计算机存储介质， 其上存储有计算机程序指令， 其特征在于， 所述程序指令被处 理器执行时用于实现权利要求7～8任一项中所述的视 觉追踪方法对应的步骤。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 处理器执行计算机程序时实现权利要求7～8任一项中所述的视觉追踪方法对应的 步骤。权　利　要　求　书 1/1 页 2 CN 115393392 A 2一种视觉跟踪系统、 方 法、 介质及电子 设备 技术领域 [0001]本公开涉及计算机视觉技术领域， 更为具体来说， 本公开涉及一种视觉跟踪系统、 方法、 介质及电子设备。 背景技术 [0002]视觉目标跟踪是计算机视觉领域的重要研究方向之一， 普遍应用于自动驾驶、 交 通管理、 人机交互、 安防监控等领域。 例如： 在智能交通领域， 目标跟踪技术可用于交通流监 控、 车辆追踪等； 在自动 驾驶领域， 目标跟踪用于对跟踪车辆周围行人和其他车辆的运动轨 迹， 为车辆行进决策提供信息； 在军事 领域， 目标跟踪被应用于飞行器跟踪、 导 弹制导， 提升 武器现代化水平； 在人机交互领域， 目标跟踪可用于动作捕捉、 人脸追踪， 并以此为基础实 现实时美颜等丰富应用。 [0003]近年来， 基于深度学习技术的目标跟踪方法凭借其强大的特征提取和表示能力取 得了领先的性能， 其中最具代表 性的是基于Siamese网络的目标跟踪器， 该方法在跟踪过程 中通过外观模板来匹配跟踪对象， 并需要不断更新模板来 适应环境和对象的变化。 [0004]现有技术的部分方法以线性策略或人为设定的简单策略更新外观模板， 若目标在 跟踪过程中产生形变或被遮挡， 将会导致其展现出 的外观发生较大变化， 外观模板的参考 价值降低， 影响跟踪结果的准确性。 一些方法使用Q ‑Learning等手段在目标跟踪的过程中 进行在线决策， 但计算复杂度大， 无法在性能较弱的硬件平台上实时运行。 发明内容 [0005]为解决现有技 术的视觉追踪装置不能满足用户的需求的技 术问题。 [0006]为实现上述 技术目的， 本公开 提供了一种视 觉追踪系统， 包括： 跟踪器； 还 包括： [0007]决策器， 用于在所述跟踪器每一轮跟踪结束后， 决定是否需要更新外观模板， 当需 要更新外观模板时， 更新所述跟踪器的外观模板； [0008]计算优化单 元， 用于对所述跟踪器和所述决策器的计算 流图进行优化。 [0009]进一步， 所述决策器具体用于： [0010]利用马尔科夫决策对所述视觉追踪系统当前的运行的环境信息进行决策参考， 以 确定是否需要更新外观模板， 其中， 所述环境信息由所述跟踪器的网络对模板图像和候选 图像进行相似度 度量的响应结果获得。 [0011]进一步， 所述决策器还用于： [0012]基于预测所述马尔科夫决策的预测结果框与真实数据框的交并比对所述马尔科 夫决策的决策 过程中是否需要更新外观模板进行激励。 [0013]进一步， 所述计算优化单 元具体用于： [0014]预先规划计算单 元的内存， 预 先分配存 储空间以容纳中间结果； [0015]对外部计算硬件的算子进行融合； [0016]预先计算所述计算 流图中以静态确定的计算内容。说　明　书 1/9 页 3 CN 115393392 A 3