(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211108975.7 (22)申请日 2022.09.13 (71)申请人 上海高德威智能交通系统有限公司 地址 201821 上海市嘉定区云谷路59 9弄6 号620室J 1452 (72)发明人 吴昊　 (74)专利代理 机构 北京德琦知识产权代理有限 公司 11018 专利代理师 谢安昆　宋志强 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 10/80(2022.01) (54)发明名称 一种多相机目标检测跟踪方法、 装置 (57)摘要 本申请公开了一种多相机目标检测跟踪方 法， 该方法包括： 获取至少两路以上来自不同相 机的视频流图像数据， 其中， 每路视频流图像数 据至少包括重叠区域的 图像数据， 获取所述视频 流图像数据中重叠区域所在位置的视觉地图信 息， 将从每 路视频流图像数据的每 路图像帧中所 提取的特征点信息转换至视觉地图中， 以将每 路 图像帧特征点信息融合至同一视角下， 得到同一 视角下的融合信息， 其中， 每路图像帧中的每一 图像帧具有同时性， 基于所述融合信息， 进行目 标检测和跟踪。 本申请无需先产生单相机轨迹再 进行轨迹融合， 解决了多个单相机轨迹进行融合 时难以甄别和取舍的问题， 既避免轨迹融合所带 来的算力消耗， 又提高了目标检测和跟踪的准确 性和可靠性。 权利要求书3页 说明书10页 附图4页 CN 115457084 A 2022.12.09 CN 115457084 A 1.一种多相机目标检测跟踪方法， 其特 征在于， 该 方法包括： 获取至少两路以上来自不同相机的视频流图像数据， 其中， 每路视频流图像数据至少 包括重叠区域的图像数据， 获取所述视频流图像数据对应空间所在位置的视 觉地图信息， 将从每路视频流图像数据的每路图像帧中所提取的特征点信 息转换至视觉地图中， 以 将每路图像帧特征点信息融合至同一视角下， 得到同一视角下的融合信息， 其中， 每路图像 帧中的每一图像帧具有同时性， 基于所述融合信息， 进行目标检测 和跟踪。 2.如权利要求1所述的多相机目标检测跟踪方法， 其特征在于， 所述将从每路视频流图 像数据的每路图像帧中所提取的特 征点信息转换至 视觉地图中， 包括： 对于每路图像帧中的每一图像帧： 分别对该图像帧进行 特征提取， 得到该图像帧的特 征点信息和/或特 征图， 利用该图像帧所来源相机的投影矩阵， 将该图像帧的特征点投影至视觉地图中， 得到 该图像帧的同一视角下的投影特 征点信息， 将所述每路图像帧中所有图像帧的所述投影特 征点信息， 确定为所述融合信息， 其中， 投影矩阵用于表征相机图像中的像素点与视觉地图中的空间点之间映射关系的投影 矩阵； 所述基于所述融合信息， 进行目标检测 和跟踪， 包括： 基于所述每路图像帧中所有图像帧的所述投影特征点信息， 进行目标检测， 得到所述 每路图像帧中所有图像帧对应的同一视角下的目标检测结果， 将该目前检测结果确定为所 述每路图像帧的图像帧组的目标检测结果， 从各个图像帧组的目标检测结果中， 获取目标轨 迹数据， 其中， 各个图像帧组的目标检测结果为： 各个不同时间下的所述每路图像帧所有图像 帧所对应的同一视角下的目标检测结果。 3.如权利要求2所述的多相机目标检测跟踪方法， 其特征在于， 所述从各个图像帧组 的 目标检测结果中， 获取目标轨 迹数据， 包括： 对当前图像帧组的目标检测结果与历史图像帧组的目标检测结果的交集中的各个目 标检测结果， 进行 标记， 从各图像帧组的所 标记的目标检测结果中， 获取世界坐标系下的目标轨 迹数据。 4.如权利要求2或3所述的多相机目标检测跟踪方法， 其特征在于， 所述基于所述每路 图像帧中所有图像帧的所述投影特 征点信息， 进行目标检测， 包括： 基于所述投影特征点信息， 对预先初始化的目标特征进行搜索， 得到目标参考位置信 息， 利用每路图像帧所来源相机的投影矩阵， 将目标参考位置信 息分别反投影至每路图像 帧中， 以确定目标参 考位置在图像帧中的位置信息， 根据图像帧的位置信息， 获取对应目标的特 征， 得到目标的每路特 征， 融合目标的每路特 征， 得到目标的融合特 征， 基于所述投影特 征点信息， 对所述融合特 征进行搜索， 得到所述目标检测结果；权　利　要　求　书 1/3 页 2 CN 115457084 A 2其中， 目标检测结果包括： 同一视角下的全局位置信息、 目标尺寸、 以及置信度。 5.如权利要求4所述的多相机目标检测跟踪方法， 其特征在于， 所述基于所述投影特征 点信息， 对预 先初始化的目标 特征进行搜索， 得到目标参 考位置信息， 包括： 将所述投影特征点信息、 和预先初始化的目标检测向量输入至机器学习模型， 得到各 目标的参 考位置信息， 其中， 目标检测向量包括两个以上目标的目标 特征向量， 所述利用每路图像帧所来源相机的投影矩阵， 将目标参考位置信 息分别反投影至每路 图像帧中， 包括： 利用每路视频流图像所来源相机的投影矩阵， 将各目标的参考位置信 息分别反投影至 每路图像帧对应的特 征图中， 以确定各目标的参 考位置在特 征图中的位置信息， 所述根据图像帧的位置信息， 获取对应目标的特 征， 得到目标的每路特 征， 包括： 根据各目标 特征图中的位置信息， 获取 各目标对应的特 征。 6.如权利要求4所述的多相机目标检测跟踪方法， 其特征在于， 所述融合目标的每路特 征， 得到目标的融合特 征， 包括： 对每个目标， 分别进行 该目标的特 征融合， 得到该每 个目标的融合特 征， 所述基于所述投影特 征点信息， 对融合特 征进行搜索， 包括： 将每个目标的融合特征、 和所述投影特征点信息输入至机器学习模型， 得到所述目标 检测结果。 7.如权利要求6所述的多相机目标检测跟踪方法， 其特征在于， 所述对每个目标， 分别 进行该目标的特 征融合， 包括： 对于每个目标： 基于每路特 征图， 融合各 特征图中该目标的特 征， 得到第一融合特 征， 基于每路特征图， 融合各特征图中除同一目标之外的其他目标的特征， 得到第二融合 特征， 将第一融合特 征和第二融合特 征进行融合， 得到该目标的融合特 征； 该方法进一 步包括： 按照设定的置信度阈值， 对当前图像帧组的目标检测结果进行过滤， 得到有效目标检 测结果， 将所述有效目标检测结果增 加至下一图像帧组的初始化目标 特征集合中。 8.如权利要求7所述的多相机目标检测跟踪方法， 其特征在于， 所述对当前图像帧组 的 目标检测结果与历史图像 帧组的目标检测结果的交集中的各个目标检测结果， 进行标记， 包括： 如果当前图像帧组的有 效目标检测结果来自于初始化目标特征， 则赋予该有效目标检 测结果新的跟踪标识； 如果当前图像帧组的有效目标检测结果来自于上一图像帧组所加入的有效目标检测 结果， 则沿用上一图像帧所加入的有效目标检测结果的跟踪标识； 所述从各图像帧组所标记的目标检测结果中， 获取世界坐标系下的目标轨迹数据， 包 括： 将从各图像帧组所标记的目标检测结果中具有相同跟踪标识的目标检测结果， 确定为 该目标检测结果的目标轨 迹数据；权　利　要　求　书 2/3 页 3 CN 115457084 A 3