(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210295464.4 (22)申请日 2022.03.24 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘区白杨街 道2号大街1 158号 申请人 国网河南省电力公司电力科 学研究 院　 国家电网有限公司 (72)发明人 吴秋轩　周忠容　曾平良　田杨阳　 毛万登　孟秦源　张波涛　袁少光　 耿俊成　赵健　吕强　仲朝亮　 罗艳斌　 (51)Int.Cl. G06T 11/00(2006.01) G06T 7/80(2017.01) G06V 10/80(2022.01)G06K 9/62(2022.01) (54)发明名称 基于激光SLAM和视觉融合的变电站语义地 图构建方法 (57)摘要 本发明公开了一种基于激光SLAM和视觉融 合的变电站语义地图构建方法， 包括如下步骤： S1‑1对深度相机进行内参标定以及激光雷达和 相机的外参联合标定； S1 ‑2、 对深度相机和激光 雷达获取的数据进行同步预处理； S2 ‑1通过激光 雷达采集的点云数据以及里程计信息进行运维 环境的地图建模； S2 ‑2、 获取深度相机的RGBD图 像， 通过深度学习进行目标识别， 以及场景信息 理解， 获取其语义信息； S2 ‑3、 进行坐标转换， 将 步骤S2‑2中识别的目标投影至栅格地图中， 为变 电站提供环境认知信息； S3、 重复步骤S2， 完成语 义地图的构建。 采用上述技术方案， 在建图过程 中， 对不同天气环境及光照条件适应性较高的优 点， 算法可有效去除激光运动畸变， 提高建图的 精度， 减小累积误差 。 权利要求书2页 说明书6页 附图2页 CN 114638909 A 2022.06.17 CN 114638909 A 1.一种基于激光SLAM和视觉融合的变电站语义地图构建方法， 其特征在于， 包括如下 步骤： S1、 传感器数据的采集和预处 理 S1‑1对深度相机进行内参标定以及激光雷达和相机的外参联合标定； S1‑2、 对深度相机和激光雷达获取的数据进行同步预处 理； S2、 变电站语义 地图模型的构建 S2‑1通过激光雷达采集的点云数据以及里程计信息进行运维环境的地图建模； S2‑2、 获取深度相机的RGBD图像， 通过深度学习进行目标识别， 以及场景信息理解， 获 取其语义信息； S2‑3、 进行坐标转换， 将步骤S2 ‑2中识别的目标投影至栅格地图中， 为变电站提供环境 认知信息； S3、 重复步骤S2， 完成语义 地图的融合构建。 2.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法， 其特 征在于， 所述步骤S1 ‑1中， 深度相机的内参标定方法如下： 确定标定板与实际标定板中特征 点之间的对应关系， 获取深度相机的内参和畸变系数。 3.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法， 其特 征在于， 所述步骤S1 ‑1中， 激光雷达和相机的外参联合标定方法如下： 通过寻找激光雷达检 测的三维点和对应的深度相机检测的二维点 来实现激光雷达和深度相机 外参联合标定 。 4.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法， 其特 征在于， 所述步骤S1 ‑2中， 首先确保激光雷达和深度相机在硬件上的时钟源统一； 然后使用 时间同步器进行处 理。 5.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法， 其特 征在于， 所述步骤S2 ‑1中， 首先， 根据激光雷达在高速旋转过程中不断发射激光束和获取反 射信息， 进而采集其变电站工作范围内障碍物的距离信息， 组合成空间点云信息， 经过滤波 处理、 地图拼合、 回环检测从而得到变电站地图信息， 最后根据得到的变电站 地图信息进 行 运维环境的地图建模。 6.根据权利要求5所述的基于激光SLAM和视觉融合的变电站语义地图构建方法， 其特 征在于， 所述运维环境的地图建模， 运用cartographer算法， 整个cartographer算法的数据 流过程是一开始从传感器出发采集激光雷达和里程计两种传感器数据， 每一帧激光雷达数 据会先经过滤波器进行降采样， 然后进入局部SLAM进行局部匹配获得相机位姿， 然后融合 里程计数据对位姿估计进行优化。 7.根据权利要求6所述的基于激光SLAM和视觉融合的变电站语义地图构建方法， 其特 征在于， 所述每一帧激光雷达数据还需进行运动过滤， 剔除位置移动距离过小或时间间隔 较近的点云数据， 若能够通过过滤就将这一帧扫描数据更新到子图中； 当子图构建完成不 再接收新的扫描数据时， 会将其加入到全局SLAM中形成全局约束用来参与后端的回环检 测。 8.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法， 其特 征在于， 所述步骤S2 ‑2中， 在获取深度相机RGBD图之后， 深度学习模块运用YOLO  v3算法， 可 以识别出物体的语义信息和它在图像中的位置， 再根据从深度相 机获取的图像深度信息，权　利　要　求　书 1/2 页 2 CN 114638909 A 2可以通过深度信息知道物体相对于深度相 机的角度、 位置， 其 目标的尺度信息则可采用场 景理解的方法。 9.根据权利要求8所述的基于激光SLAM和视觉融合的变电站语义地图构建方法， 其特 征在于， 所述场景 理解的方法为： 利用巡检环境长直的特性， 通过分析灭点与在灭点检测过 程中得到的水平、 垂 直及纵深方向的三个直线组之 间的关系， 得到了检测目标的特征线； 再 利用交比不变性与目标立方体的关系， 得到特定目标的几何参数， 从而实现坐标转换和地 图标注。 10.根据权利要求1所述的基于激光SLAM和视觉融合的变电站语义地图构建方法， 其特 征在于， 所述步骤S2 ‑3中， 经过运算能将像素平面坐标映射至成像平面， 式中(u,v,1)代表 目标在像素坐标系下的齐次坐标， u0和v0为像素坐标系原点与光轴的平移关系， Zc为深度相 机测量得到的物体深度信息， fx和fy为相机分别在x和y方向的焦距， 可通过 标定获取， 相机坐标系与机器人坐标系之间存在平移和旋转关系， 旋转矩阵R和平移矩阵T属于相 机外参， 可由人为设定， 经 过运算， 获取目标物体在机器人坐标系中的坐标表示， 通过坐标转换， 用不同颜色的立方体代表不同类型的检测目标， 立方体用MarkerArray 在地图上进行 标识， 即完成了语义 地图的构建。权　利　要　求　书 2/2 页 3 CN 114638909 A 3