(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210562730.5 (22)申请日 2022.05.23 (71)申请人 江苏集萃深度感知技 术研究所有限 公司 地址 214135 江苏省无锡市新吴区菱湖大 道111号软件园天鹅座C座2 2层 (72)发明人 李保江　冯博询　杨德钲　王明明　 顾炎飚　岳玉涛　 (74)专利代理 机构 无锡市观知成专利商标代理 事务所 (特殊普通合伙) 32591 专利代理师 任月娜 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) G06T 7/277(2017.01) G01S 13/66(2006.01) G01S 13/86(2006.01) (54)发明名称 基于多信息融合的车辆追踪 方法、 装置及系 统 (57)摘要 本发明涉及智能汽车技术领域， 具体公开了 一种基于多信息融合的车辆追踪方法， 其中， 包 括： 分别获取目标车辆的初始点 云数据和视觉图 像信息， 其中初始点云数据为标定后的毫米波雷 达采集到的目标车辆的点云数据， 视觉图像信息 为标定后的视觉采集装置采集到的目标车辆的 图像信息； 对初始点云数据进行聚类处理后得到 雷达检测框， 以及对视觉图像信息进行目标检测 处理后得到视觉检测框； 将雷达检测框与视觉检 测框进行融合， 并根据融合结果确定主融合目 标； 对主融合目标进行优化处理， 得到目标车辆 的追踪结果。 本发明还公开了一种基于多信息融 合的车辆追踪装置及系统。 本发 明提供的基于多 信息融合的车辆追踪方法能够提高车辆追踪效 果。 权利要求书2页 说明书11页 附图3页 CN 114973195 A 2022.08.30 CN 114973195 A 1.一种基于多信息融合的车辆追踪方法， 其特 征在于， 包括： 分别获取目标车辆的初始点云数据和视觉图像信 息， 其中所述初始点云数据为标定后 的毫米波 雷达采集到的目标车辆的点云数据， 所述视觉图像信息为标定后的视觉采集装置 采集到的目标 车辆的图像信息； 对所述初始点云数据进行聚类处理后得到雷达检测框， 以及对所述视觉图像信 息进行 目标检测处 理后得到 视觉检测框； 将所述雷达检测框与所述视 觉检测框进行融合， 并根据融合结果确定主融合目标； 对所述主融合目标进行优化处 理， 得到目标 车辆的追踪结果。 2.根据权利要求1所述的方法， 其特征在于， 对所述初始点云数据进行聚类处理后得到 雷达检测框， 包括： 根据DBSCAN 算法对所述初始点云数据进行聚类处 理， 得到初始聚类结果； 根据极端学生化偏差异常检测算法对所述初始点云数据的聚类结果进行异常点检测， 得到最终聚类结果； 对所述最终聚类结果 生成包围框， 得到雷达检测框 。 3.根据权利要求1所述的方法， 其特征在于， 对所述视觉图像信 息进行目标检测处理后 得到视觉检测框， 包括： 根据视觉算法评测数据集训练图像 检测模型； 将所述图像 检测模型作为视 觉检测头对目标区域进行检测， 得到 视觉检测框 。 4.根据权利要求1至3中任意一项所述的方法， 其特征在于， 将所述雷达检测框与所述 视觉检测框进行融合， 并根据融合结果确定主融合目标， 包括： 将所述雷达检测框映射到所述视觉图像信息所对应的图像坐标空间， 得到映射检测 框； 将所述视觉检测框与 所述映射检测框进行融合， 并计算所述视觉检测框与 所述映射检 测框的融合交并比； 若所述融合交并比大于预设阈值， 则将所述视觉检测框与所述映射检测框的融合结果 确定为主目标； 若所述融合交并比不大于预设阈值， 则将所述视觉检测框作为第一次目标， 以及将所 述映射检测框作为第二次目标； 分别将所述主目标、 第 一次目标和第 二次目标与 所述目标车辆的已有行驶轨迹进行最 近邻数据关联处 理， 并根据关联 结果确定所述主融合目标。 5.根据权利要求4所述的方法， 其特征在于， 分别将所述主目标、 第一次目标和第二次 目标与所述目标车辆的已有行驶轨迹进行最近邻数据关联 处理， 并根据关联结果确定所述 主融合目标， 包括： 根据所述目标 车辆在当前时刻之前的所有行驶轨 迹数据确定 轨迹管理器； 将所述主目标、 第一次目标和第二次目标均 与所述轨 迹管理器进行目标匹配； 若与所述轨迹管理器进行目标匹配的目标满足第 一预设条件， 则确定该目标为所述主 融合目标， 其中所述第一预设条件包括： 所述 目标为所述主目标且与所述轨迹管理器存在 关联目标， 或者， 所述 目标为所述第一次目标和/或所述第二次目标， 且与所述轨迹管理器 存在关联目标；权　利　要　求　书 1/2 页 2 CN 114973195 A 2若与所述轨迹管理器进行目标匹配的目标满足第二预设条件， 则丢弃该目前， 其中所 述第二预设条件 包括： 所述目标不是 所述主目标， 且与所述轨 迹管理器不存在关联目标； 若与所述轨迹管理器进行目标匹配的目标满足第 三预设条件， 则结束对当前目标车辆 的追踪， 其中所述第三预设条件包括： 所述目标为所述主目标， 且与所述轨迹管理器不存在 未关联上的新目标； 若与所述轨迹管理器进行目标匹配的目标满足第四预设条件， 则将与 所述轨迹管理器 之间未关联上 的新目标加入所述轨迹管理器， 其中所述第四预设条件包括： 所述 目标为所 述主目标， 且与所述轨 迹管理器存在未关联 上的新目标。 6.根据权利要求1至3中任意一项所述的方法， 其特征在于， 对所述主融合目标进行优 化处理， 得到目标 车辆的追踪结果， 包括： 将所述主融合目标输入至卡尔曼 滤波器进行迭代处 理， 得到目标 车辆的追踪结果； 根据所述目标 车辆的追踪结果更新所述目标 车辆的当前状态。 7.根据权利要求6所述的方法， 其特征在于， 根据 所述目标车辆的追踪结果更新所述目 标车辆的当前状态， 包括： 计算卡尔曼滤波器的滤波增益； 根据所述滤波增益对所述目标车辆的追踪结果进行加权， 以更新所述目标车辆的当前 状态； 更新卡尔曼滤波器的误差协方差矩阵， 其中更新后的目标车辆的当前状态和更新后的 误差协方差矩阵用于下一次的卡尔曼 滤波。 8.根据权利要求1所述的方法， 其特征在于， 还包括在所述分别获取目标车辆的初始点 云数据和视 觉图像信息的步骤前进行的： 根据视觉检测装置坐标系与毫米波雷达坐标系的转换关系、 视觉检测装置坐标系与图 像坐标系的转换关系以及毫米波 雷达坐标系与图像坐标系的转换关系， 对毫米波 雷达和视 觉检测装置进行 联合标定 。 9.一种基于多信息融合的车辆追踪装置， 其特 征在于， 包括： 获取模块， 用于分别获取目标车辆的初始点云数据和视觉 图像信息， 其中所述初始点 云数据为标定后的毫米波 雷达采集到的目标车辆的点云数据， 所述视觉图像信息为标定后 的视觉采集装置采集到的目标 车辆的图像信息； 数据处理模块， 用于对所述初始点云数据进行聚类处理后得到雷达检测框， 以及对所 述视觉图像信息进行目标检测处 理后得到 视觉检测框； 融合模块， 用于将所述雷达检测框与所述视觉检测框进行融合， 并根据融合结果确定 主融合目标； 优化处理模块， 用于对所述主融合目标进行优化处 理， 得到目标 车辆的追踪结果。 10.一种基于多信 息融合的车辆追踪系统， 其特征在于， 包括： 视觉检测装置、 毫米波雷 达和权利要求9所述的基于多信息融合的车辆追踪装置， 所述视觉检测装置和所述毫米波 雷达均与所述基于多信息融合的车辆追踪装置通信连接， 所述视觉检测装置用于实时采集 目标车辆的图像信息， 所述毫米波雷达用于实时采集 目标车辆的点云数据， 所述基于多信 息融合的车辆追踪装置用于根据所述目标车辆的图像信息和目标车辆的点云数据进行融 合处理， 得到目标 车辆的追踪结果。权　利　要　求　书 2/2 页 3 CN 114973195 A 3