(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111638147.X (22)申请日 2021.12.2 9 (71)申请人 中智行 （上海） 交通科技有限公司 地址 201403 上海市奉贤区金海公路6 055 号28幢1层 (72)发明人 乔倚松　王劲　 (74)专利代理 机构 上海凯玛顿知识产权代理事 务所(普通 合伙) 31359 专利代理师 谈倩 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于车路协同的全息数据自监督学习 方法 (57)摘要 本发明公开了一种基于车路协同的全息数 据自监督学习方法， 涉及道路交通技术领域， 通 过路边单元设备获得完整的全息数据； 采集路面 环境的全息数据， 人工标注少量的全息数据， 训 练感知检测模型； 通过时间同步， 点云匹配、 点云 拼接方式， 将同时刻同一路面上的无人驾驶车辆 传感器原始数据与路边单元的全息数据进行对 齐； 通过数据对齐， 在同一时空上的无人驾驶车 辆所感知 的传感器原始数据即可与通过路边单 元全息数据训练后的感知检测模型结果进行匹 配， 将路边单元的全息数据感知检测模型的检测 结果作为同一时空下无人驾驶车辆感知数据的 标注结果进行监督学习， 训练无人驾驶车辆端的 感知模型； 通过无人驾驶车辆在不同场景、 不同 时间下与路边单元全息数据进行自监督学习的 过程， 达到自动、 高效的模型迭代。 权利要求书2页 说明书4页 CN 114495035 A 2022.05.13 CN 114495035 A 1.一种基于车路协同的全息数据自监 督学习方法， 其特 征在于： 包括： S1、 通过路边单 元设备获得完整的全息数据； S2、 采集路面环境的全息数据， 人工标注的少量高质量全息数据； S3、 使用人工标注的少量高质量的标注数据， 训练深度学习人工神经网络； S4、 通过时间同步， 点云匹配、 点云拼接方式， 将同时刻同一路面上的无人驾驶车辆传 感器原始数据与路边单 元的全息数据进行对齐； S5、 通过数据对齐， 在同一时空上的无人驾驶车辆所感知的传感器原始数据即可与步 骤S2中基于 路边单元全息数据所训练的深度学习人工神经网络的感知检测结果进 行匹配， 将该路边单元 的全息数据检测结果作为同一时空下无人驾驶车辆感知数据的标注结果进 行监督学习， 训练无 人驾驶车辆端的感知模型； S6、 通过无人驾驶车辆在不同场景、 不同时间下与路边单元全息数据的检测结果进行 自监督学习的过程， 达 到自动、 高效的模型迭代。 2.根据权利要求1所述的一种基于车路协同的全息数据自监督学习方法， 其特征在于： 所述步骤S1， 在道路边布设路边感知系统， 通过时间同步、 传感器标定， 将不同设备和不同 类型的传感器的数据进行 数据层面的融合， 获得被覆盖范围内环境的全息数据信息 。 3.根据权利要求2所述的一种基于车路协同的全息数据自监督学习方法， 其特征在于： 所述路边感知系统包括相机、 激光雷达、 毫米波雷达 。 4.根据权利要求2所述的一种基于车路协同的全息数据自监督学习方法， 其特征在于： 所述步骤S1， 具体为： 通过GPS时间授时， 获得同一时刻下各个传感器的原始数据， 不同传感器的频率不同， 以100ms为一个时间窗口， 将相同时间窗口内的原 始数据， 作为同一时刻下的原 始数据； 通过使用同一时刻下的原始数据， 对不同路边单元的传感器进行标定， 获得不同传感 器之间的空间几何关系； 通过标定参数， 将不同传感器的数据进行数据 前融合， 通过多个路边单元， 将数据量成 倍扩充。 5.根据权利要求4所述的一种基于车路协同的全息数据自监督学习方法， 其特征在于： 传感器数据包括图像信息、 点云信息和毫米波信息 。 6.根据权利要求1所述的一种基于车路协同的全息数据自监督学习方法， 其特征在于： 所述步骤S2， 对少量路边单元的前融合数据进 行标注， 获得标注真值， 用这些真值训练一个 检测模型。 7.根据权利要求6所述的一种基于车路协同的全息数据自监督学习方法， 其特征在于： 检测模型的输入 包括点云信息、 图像信息、 radar信息 。 8.根据权利要求1所述的一种基于车路协同的全息数据自监督学习方法， 其特征在于： 所述步骤S4， 具体为： 通过GPS卫星授时， 使无人驾驶车辆上的传感器数据与路边单元传感器数据在同一个 时钟源下， 保证时间的统一 性； 以无人驾驶车辆自身定位信 息为初值， 将无人驾驶车辆上的点云数据与路边单元上全 息点云数据进行 数据对齐。 9.根据权利要求8所述的一种基于车路协同的全息数据自监督学习方法， 其特征在于：权　利　要　求　书 1/2 页 2 CN 114495035 A 2使用点云配准 技术， 在空间上将两片不同来源的点云数据进行拼接 。 10.根据权利要求1所述的一种基于车路协同的全息数据自监督学习方法， 其特征在 于： 所述步骤S5， 在路边单元融合数据上的标注框， 同时包含无人驾驶车辆的数据， 以路边 单元标注框为真值， 为无 人驾驶车辆的数据提供监 督信息。权　利　要　求　书 2/2 页 3 CN 114495035 A 3