(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211156746.2 (22)申请日 2022.09.22 (71)申请人 清华大学 地址 100084 北京市海淀区10 0084信箱82 分箱清华大学专利办公室 (72)发明人 杨蒙蒙　江昆　温拓朴　杨殿阁　 黄晋　唐雪薇　黄健强　 (74)专利代理 机构 北京纪凯知识产权代理有限 公司 11245 专利代理师 刘美丽 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/10(2017.01) G06T 7/13(2017.01) (54)发明名称 基于单目相机的标牌要素重建方法、 系统、 设备及介质 (57)摘要 本发明涉及一种基于单目相机的标牌要素 重建方法、 系统、 设备及介质， 包括： 获取单目图 像以及GNSS信号、 IMU信号和轮速信号； 将获取的 单目图像经过感知处理， 得到图像感知的地图元 素结果； 基于GNSS信号、 IMU信号和轮速信号获得 车辆六自由度信息； 基于图像感知的地图元素结 果与车辆 六自由度信息进行路侧标牌要素计算， 获得路侧标牌的三维信息。 本发 明能够仅仅使用 低成本的单目相机、 GNSS、 IMU实现标牌要素的重 建。 权利要求书2页 说明书7页 附图2页 CN 115526987 A 2022.12.27 CN 115526987 A 1.一种基于单目相机的标牌要素重建方法， 其特 征在于包括： 获取单目图像以及GNS S信号、 IMU信号和轮速信号； 将获取的单目图像经 过感知处 理， 得到图像感知的地图元 素结果； 基于GNSS信号、 IMU信号和轮速信号获得 车辆六自由度信息； 基于图像感知的地图元素结果与 车辆六自由度信 息进行路侧标牌要素计算， 获得路侧 标牌的三维信息 。 2.根据权利要去1所述的基于单目相机的标牌要素重建方法， 其特征在于， 单目图像中 需要包括道路边上的标牌。 3.根据权利要去1所述的基于单目相机的标牌要素重建方法， 其特征在于， 将 获取的单 目图像经 过感知处 理， 得到图像感知的地图元 素结果， 包括： 标牌感知， 用于获取 单目图像中标牌像素的掩膜数据； 边缘提取， 用于对标牌像素的掩膜数据进行边缘提取， 输出一系列在图像 中的控制点， 表示一个路侧标牌要素的闭合轮廓。 4.根据权利要去3所述的基于单目相机的标牌要素重建方法， 其特征在于， 标牌感知， 包括： 将单目图像进行缩放； 设置基于卷积神经网络的图像分割模型； 将单目图像输入到图像分割模型中， 通过搭载 图像分割模型的GPU/FPGA/AI芯片计算 单元进行该神经网络的前向计算， 得到图像中标牌像素的掩膜。 5.根据权利要去3所述的基于单目相机的标牌要素重建方法， 其特征在于， 基于图像感 知的地图元素结果与车辆六自由度信息进行路侧标牌要素计算， 获得路侧标牌的三维信 息， 包括： 根据路侧标牌要素的闭合轮廓以及车辆六自由度信息对标牌要素实例使用光流预测 在不同帧图像中的位置， 得到不同时刻下 标牌的闭合轮廓； 将多个时刻下标牌的闭合轮廓以及六自由度车辆位姿信息通过设置的模板信息进行 求解， 最终得到路侧标牌的三维信息 。 6.根据权利要去5所述的基于单目相机的标牌要素重建方法， 其特征在于， 将多个时刻 下标牌的闭合轮廓以及六自由度车辆位姿信息通过设置的模板信息进 行求解， 最 终得到路 侧标牌的三维信息， 包括： 定义标牌形状模板； 标识牌参数化， 包括形状参数和标牌的位置参数； 定义目标函数： 其中， 表示 投影到图像的像素位置， Rk,tk表示k时刻下相机的六自 由度位姿， Π表示针孔相机的投影模型， p表示闭合轮廓中， 与 最近的点， w 表示该点在世界坐标系中；权　利　要　求　书 1/2 页 2 CN 115526987 A 2使用L‑M优化算法对上述目标函数进行优化， 求取 标牌的形状参数和位置参数。 7.根据权利要去6所述的基于单目相机的标牌要素重建方法， 其特征在于， 定义标牌形 状模板， 包括矩形模板和圆形模板 。 8.一种基于单目相机的标牌要素重建系统， 其特 征在于包括： 信号获取模块， 被 配置为获取 单目图像以及GNS S信号、 IMU信号和轮速信号； 感知模块， 被 配置为将获取的单目图像经 过感知处 理， 得到图像感知的地图元 素结果； 定位模块， 被 配置为基于GNS S信号、 IMU信号和轮速信号获得 车辆的六自由度信息； 路侧标牌要素计算模块， 被配置为基于图像感知的地图元素结果与 车辆六自由度信 息 进行路侧标牌要素计算， 获得路侧标牌的三维信息 。 9.一种电子设备， 其特征在于， 包括计算机程序指令， 其中， 所述程序指令被处理器执 行时用于实现权利要求1～7任一项所述的基于单目相机的标牌要素重建方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序指令， 其中， 所述程序指令被处理器执行时用于实现权利要求1～7任一项所述的基于 单目相机的标牌要素重建方法。权　利　要　求　书 2/2 页 3 CN 115526987 A 3