(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210536567.5 (22)申请日 2022.05.11 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 李颖　王伟达　杨超　项昌乐　 (74)专利代理 机构 成都方圆聿联专利代理事务 所(普通合伙) 51241 专利代理师 李鹏 (51)Int.Cl. G01S 7/48(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/26(2022.01) G06V 10/764(2022.01)G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/58(2022.01) (54)发明名称 基于相机图像驱动 的激光雷达点云目标检 测方法及系统 (57)摘要 本发明公开了基于相机图像驱动 的激光雷 达点云目标检测方法及系统， 所提出的两阶段三 维目标检测网络能够高效、 准确地从室内外场景 获取的图像与激光点云数据中检测三维目标。 阶 段一网络能够对基于图像检测结果反投影得到 的视锥体点 云中定位三维目标， 阶段二网络则基 于阶段一网络的结果优化检测框， 提升对被遮挡 或远距离物体的检测效果， 提出的上下文前景点 提取模块通过考虑目标上下文信息来增强检测 结果， 通过提取前景点一定范围内的背景点作为 上下文前景点， 显著提升目标检测结果， 通过融 合从二维图像中学习到的语义特征以及三维空 间中基于目标和目标上下文的信息， 可以实现提 升三维边界框预测的精度。 权利要求书2页 说明书8页 附图2页 CN 114966603 A 2022.08.30 CN 114966603 A 1.基于相机图像驱动的激光雷达点云目标检测方法， 其特 征在于， 所述方法包括： 对相机图像数据与激光雷达点云数据， 进行 预处理， 得到视锥体点云数据； 构建一阶段检测框预测网络， 并设计损 失函数对该网络进行优化， 利用优化后的一阶 段检测框预测网络对视锥体点云数据进行处 理， 得到目标三维检测框； 构建二阶段检测框优化网络， 并设计损 失函数对二阶段检测框优化网络进行优化， 利 用优化后的二阶段检测框优化网络对放大的所述目标三 维检测框内点云数据进行 处理， 得 到精确目标三维检测框， 即实现了对自动驾驶车辆行驶场景的目标检测。 2.根据权利要求1所述的基于相机图像驱动的激光雷达点云目标检测方法， 其特征在 于， 所述预处 理， 具体包括： 获取相机图像数据与激光雷达点云数据； 对所述图像数据进行目标检测处 理， 得到目标物的二维检测框； 基于目标物 的二维检测框， 利用相机坐标系与激光雷达坐标系的投影关系， 从激光雷 达点云数据中截取视锥体点云数据。 3.根据权利要求1所述的基于相机图像驱动的激光雷达点云目标检测方法， 其特征在 于， 采用装在无人驾驶车辆上的相机和激光雷达分别采集得到相机图像数据与激光雷达点 云数据。 4.根据权利要求1所述的基于相机图像驱动的激光雷达点云目标检测方法， 其特征在 于， 所述对视锥体点云数据进行处 理， 具体包括： 利用上下文前景点分割网络处 理视锥体点云数据， 得到目标 上下文前景点； 利用目标中心点及边界框预测网络处 理目标上下文前景点， 得到目标三维检测框 。 5.根据权利要求4所述的基于相机图像驱动的激光雷达点云目标检测方法， 其特征在 于， 利用上 下文前景点分割网络处 理视锥体点云数据， 具体包括： 利用点云 分割网络处 理视锥体点云数据， 得到目标 前景点和背景点； 利用相邻 搜索算法从背景点中收集目标上下文点， 并将目标前景点与收集的目标上下 文点融合， 得到目标 上下文前景点。 6.根据权利要求4所述的基于相机图像驱动的激光雷达点云目标检测方法， 其特征在 于， 利用目标中心点及边界框预测网络处 理目标上下文前景点， 具体包括： 利用目标中心点预测网络对目标 上下文前景点进行处 理， 得到目标 预估中心点 坐标； 基于该目标 预估中心点 坐标， 将所述目标 上下文前景点转换至目标坐标系； 利用边界框预测网络对转换坐标后的上 下文前景点进行处 理， 得到目标三维检测框 。 7.根据权利要求4所述的基于相机图像驱动的激光雷达点云目标检测方法， 其特征在 于， 所述对目标三维检测框进行处 理， 具体包括： 把放大的所述目标三维检测框内的点云数据作为 二阶段检测框优化网络的输入； 经过与一阶段相同的点云分割 网络、 目标中心点预测网络及边界框预测网络处理， 得 到精确目标三维检测框 。 8.根据权利要求1所述的基于相机图像驱动的激光雷达点云目标检测方法， 其特征在 于， 构建一阶段检测框预测网络， 设计包含点云分割、 中心点预测、 检测框预测及目标分类 的多任务损失函数， 具体为： Lmulti‑task＝Lseg+Lobjectnes s+Lcenter‑reg+Lbox；权　利　要　求　书 1/2 页 2 CN 114966603 A 2其中， Lseg为语义分割损失,Lcenter‑reg为检测框中心 点的回归损失， Lobjectness为目标分数 损失； Lbox＝Lcenter‑reg_box+Lang‑cls+20Langle‑reg+Lsize‑cls+20Lsize‑reg+10Lcorner； 其中， Lcenter‑reg_box为预测中心点的残差损失,Lang‑cls和Langle‑reg分别代表角度分类损失 和回归损失， Lsize‑cls和Lsize‑reg分别代表检测框的分类损失和回归损失， 角点损失Lcorner为 有预测框角点与真值框的角点 最小距离 。 9.根据权利要求1所述的基于相机图像驱动的激光雷达点云目标检测方法， 其特征在 于， 构建二阶段检测框优化网络， 设计与一阶段相同的包含点云分割、 中心点预测、 检测框 预测及目标分类的多任务损失函数， 具体为： Lmulti‑task＝Lseg+Lobjectnes s+Lcenter‑reg+Lbox； 其中， Lseg为语义分割损失,Lcenter‑reg为检测框中心 点的回归损失， 以及Lobjectness为目标 分数损失； Lbox＝Lcenter‑reg_box+Lang‑cls+20Langle‑reg+Lsize‑cls+20Lsize‑reg+10Lcorner； 其中， Lcenter‑reg_box为预测中心点的残差损失,Lang‑cls和Langle‑reg分别代表角度分类损失 和回归损失， Lsize‑cls和Lsize‑reg分别代表检测框的分类损失和回归损失， 角点损失Lcorner为 预测框角点与真值框的角点 最小距离 。 10.基于相机图像驱动的激光雷达点云目标检测系统， 其特 征在于， 所述系统包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个处理器 执行如权利要求1 ‑9任一所述的基于相机图像驱动的激光雷达点云目标检测方法。权　利　要　求　书 2/2 页 3 CN 114966603 A 3