(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210999273.6 (22)申请日 2022.08.19 (71)申请人 北京化工大 学 地址 100029 北京市朝阳区北三环东路15 号 (72)发明人 曹政才　谢红玉　张东　胡小博　 王伟　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 张慧 (51)Int.Cl. G01C 21/00(2006.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合动态目标感知的多机联合建图方 法 (57)摘要 本发明公开了一种融合动态目标感知的多 机联合建图方法， 属于三维视觉领域。 首先， 采用 基于YOLA CT和DeepSORT的多目标跟踪算 法， 在机 器人端对 连续采集的RGB图像帧进行潜在动态目 标跟踪， 并结合光流法分析目标运动状态， 进而 剔除动态特征点； 其次， 基于图像帧中的静态特 征点和IMU数据， 采用紧耦合的视觉惯性里程计 进行相机位姿跟踪， 并投影关键帧上的静态特征 点到三维空间， 从而增量式构建单机的静态子地 图； 再次， 在服务器端接收子地图数据和关键帧 数据以重建子地图， 并基于词袋模 型进行不同子 地图之间的回环检测； 最后， 基于位姿 图融合算 法在服务器端实现全局一致的相机位姿估计和 地图融合。 本发 明提升了多机协同视觉联合建图 方法在动态场景下的鲁棒性， 实现了全局一致的 地图构建。 权利要求书2页 说明书6页 附图3页 CN 115355901 A 2022.11.18 CN 115355901 A 1.一种融合动态目标感知的多机联合建图方法， 其特 征在于， 该 方法包括如下步骤： 步骤1： 融合动态目标感知的图像预处理 阶段， 该阶段连续采集RGB图像帧作为输入， 完 成对图像帧数据中动态干扰对象 的实例分割和持续跟踪， ORB特征点提取， 静态和 动态特征 点的区分， 并将图像帧和静态特 征点传输 到下一阶段； 步骤2： 利用机器人端连续获取的IMU传感器数据和预处理后的图像数据， 在机器人端 运行视觉惯性里程计实现当前时刻机器人位姿估计， 同时运行稀疏点云地图重建模块， 利 用机器人当前更新的关键帧Ki的位姿， 将当前关键帧中的静态特征点映射到子地图中， 实 现单机子地图增量式构建， 同时将新增的关键帧和新增的子地图数据通过WiFi传输到服务 器端； 步骤3： 服务器端全局一致的位姿关联和联合建图， 该阶段用于接收机器人端上传的子 地图和关键帧数据， 在服务器端重新恢复子地图， 并采用词袋模型进 行回环检测， 完成子地 图的优化和不同机器人之间的位姿关联， 生成全局地图。 2.根据权利要求1所述的一种融合动态目标感知的多机联合建图方法， 其特征在于， 步 骤1进一步包括如下步骤： 步骤1.1： 通过机器人上的相机连续获取RGB图像帧序列； 基于深度学习神经网络框架 YOLACT， 对图像帧中的潜在的随机动态干扰对象进行实例分割和预测 框提取， 并对图像帧 中分割的随机动态干扰对象覆盖掩膜； 动态干扰对象由图像帧中的像素级的实例分割表示 来表征； 步骤1.2： 提取图像帧中ORB特 征点， 计算特 征点的描述子； 步骤1.3： 基于步骤1.2提取的ORB特征点， 使用光流法提取图像帧中的动态特征点， 若 提取的动态特征点在步骤1.1中动态干扰对 象实例分割掩膜范围内， 则将其判断为表征随 机动态干扰对 象的动态特征点， ORB特征点中除了表征随机动态干扰对 象的动态特征点的 其他特征点即为静态特 征点。 3.根据权利要求1所述的一种融合动态目标感知的多机联合建图方法， 其特征在于， 步 骤2进一步包括如下步骤： 步骤2.1： 持续接收IMU和预处理后图像数据， 并将预处理后的图像帧和IMU数据时间戳 同步， 其中， 预 处理后图像数据指原始图像帧以及静态特征点； 从预 处理后的图像帧中选取 匹配到足够数量静态特征点的两个连续图像帧为初始关键帧K0和K1， 三角化两个初始关键 帧上的静态特 征点， 进而初始化子地图； 步骤2.2： 根据时间戳同步后的图像帧和IMU数据， 构建视觉惯性里程计， 估计机器人位 姿； 步骤2.3： 运行稀疏点云构建模块， 根据图像帧间的共视关系更新关键帧， 并利用更新 后关键帧Ki上的静态特征点和2.2估计得到的机器人位姿信息生成新的地图点， 将新的地 图点映射到三维的子地图中， 不断更新子地图； 步骤2.4： 将更新后的关键帧和更新后的子地图数据上传服 务器。 4.根据权利要求1所述的一种融合动态目标感知的多机联合建图方法， 其特征在于， 步 骤3进一步包括如下步骤： 步骤3.1： 持续接收机器人端的位姿和关键帧数据， 在服 务器端重新恢复子地图； 步骤3.2： 采用词袋模型进行回环检测， 将上传的关键帧数据和服务器端保存的关键帧权　利　要　求　书 1/2 页 2 CN 115355901 A 2序列进行匹配， 若当前上传的关键帧， 与匹配到的、 服务器中保存在关键帧序列中的关键 帧， 均在当前关键帧所在的子地图内， 则采用BA方法对子地图进行地图点和关键帧位姿的 优化； 若匹配到的关键帧不在当前上传关键 帧所在的子地图内， 则计算两个匹配关键帧之 间的三维变换关系， 通过该三维变换关系， 将子地图转换到同一坐标系 下， 生成全局 地图， 采用BA方法进行全局地图关键帧位姿优化和地图点优化； 步骤3.3： 对3.2生成的全局地 图进行冗余关键帧和地 图点的剔除， 遍历全局地 图范围 内的所有关键帧， 根据特征点的共视冗余度剔除冗余的关键帧和重复的地图点， 运行全局 BA方法， 优化并更新全局地图和机器人位姿。权　利　要　求　书 2/2 页 3 CN 115355901 A 3