(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110106801.6 (22)申请日 2021.01.27 (65)同一申请的已公布的文献号 申请公布号 CN 112767373 A (43)申请公布日 2021.05.07 (73)专利权人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 杨鑫　丁建川　尹宝才　杜振军　 朴海音　孙阳　 (74)专利代理 机构 大连理工大 学专利中心 21200 专利代理师 温福雪 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06F 30/27(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 107553490 A,2018.01.09 CN 111311685 A,2020.0 6.19 CN 1074782 20 A,2017.12.15 CN 111611869 A,2020.09.01 CN 111949032 A,2020.1 1.17 US 2016093052 A1,2016.0 3.31 薛峰.室内场景 下单目避障算法研究及系统 实现. 《中国优秀博硕士学位 论文全文数据库(硕 士) 工程科技 Ⅱ辑》 .2019, Lingping Gao 等.A Visi on-based Irregular Obstacle Avo idance Framew ork via Deep Reinforcement Learn ing. 《2021 IEEE/RSJ Internati onal Conference o n Intelligent Robots and System s (IROS)》 .2021, 审查员 刘蕾 (54)发明名称 一种基于单目相机的机器人室内复杂场景 避障方法 (57)摘要 本发明公开了一种基于单目相机的机器人 室内复杂场景避障方法， 属于机器人导航与避障 领域。 本发 明所述单目避障导航网络由环境感知 阶段和控制决策阶段组成， 具体包括深度预测模 块、 语义掩膜模块、 深度切片 模块、 特征提取指导 模块、 强化学习模块和数据增强。 该网络以单目 RGB图像作为输入， 获取语义深度图之后进行动 态最小池化操作获取 “伪激光”数据， 以此作为强 化学习的状态输入， 生成最终的机器人决策动 作。 本发明解决了机器人室内环境避障任务中， 难以充分感知复杂障碍物， 从而导致避障失败的 困难， 帮助机器人利用环境的语义信息， 去除冗 余像素的干扰， 从而进行高效的强化学习训练与 决策， 在不同场景 上具有有效性和适用性。 权利要求书2页 说明书5页 附图1页 CN 112767373 B 2022.09.02 CN 112767373 B 1.一种基于单目相机的机器人室内复杂场景避障方法， 其特征在于， 该方法包括以下 步骤： 步骤1、 加载机器人仿真模型与搭建训练测试仿真环境 为了解决复杂场景避障问题， 采用TurtleBot ‑ROS机器人的URDF模型作为实验机器人； 运用ROS‑Stage中的Block、 Cro ssing和Passing作为训练环境， 部署24个相同的TurtleBot ‑ ROS机器人用于分布式控制决策模块训练； 以ROS ‑Gazebo中的cafe环境作为测试场 景的背 景， 并手动加入Gazebo中的复杂障碍物， 用于测试整个视 觉系统的有效性； 步骤2、 获取语义深度图 从TurtleBot ‑ROS机器人搭载的单目相机获取RGB图像， 将其输入到Fastdepth深度预 测网络中获得当前视野下 的深度图； 选取深度图下半部分作为中间结果； 该结果中的地面 像素信息会干扰避障， 导致避障失败， 因此将RGB图像输入到CCNet语义分割模型中获取二 分类的语义分割掩膜， 其中0表示地面像素， 1表示背 景， 将语义分割掩膜与深度图进 行逐像 素相乘获取到语义深度图， 该语义深度图中每个像素 的值为当前视角的深度距离， 同时去 除有干扰的地 面深度数值； 步骤3、 深度切片与数据增强模块 对语义深度图中的深度值像素进行动态最小池化操作， 池化窗口大小为 （240， 1） ， 步长 为1， 每次池化操作选取窗口中的最小值作为输出对 象， 图像每列均进行池化操作， 得到的 结果为“伪激光”观测数据； 通过引入数据增强方式， 在训练时对虚拟环境的观测数据加以噪声干扰； 为了从训练 激光测量中识别出噪声边界， 假设如果矢量中两个相 邻值的差大于阈值0.5时， 则会存在交 界边界； 并通过窗口大小为 （1,8） 的线性内插法替换两个相邻端点周围的值； 同时， 对于所 有的“伪激光”观测数据， 自适应地添加方差为0.08的高斯白噪声； 步骤4、 控制决策阶段 获取到“伪激光”观测数据后， 将连续三个时刻的 “伪激光”置于三个通道内， 构成的张 量作为观测数据的输入， 使实验机器人有效感知动态障碍物在短暂时间上 的光流效果， 从 而对动态障碍物 做出正确的决策； 深度强化学习模块采用PP O算法， 网络结构由3层卷积层与3层全连接层构成； 为了使实 验机器人平稳地安全到达目标位置， 模态的输入包括三个部分： 观测数据、 目标点距离和速 度； 其中观测数据为步骤3得到的 “伪激光”观测数据， 目标点距离和速度由机器人机载里程 计获取； 使用特征提取指导层， 由3层卷积分别提取三种模态的数据特征并融合， 再经过 sigmoid激活获取 特征掩膜与“伪激光”观测数据点乘， 得到的结果送入深度强化学习模块； 将深度强化学习模块的第二个全连接层修改为LSTM层， 增加深度强化学习模块的时序 相关性， 使实验机器人根据整个路径中所有的观测来决策动作； 步骤5、 形成单目避障导 航网络并输出决策 结果 将步骤2、 3、 4拼接使得从单目的RGB相机获取输入图像， 处理后得到深度图与语义分割 掩膜， 点乘后进行裁剪， 经过动态最小池化操作 获取“伪激光”观测数据， 将连续三 帧的“伪 激光”观测数据与目标点距离和速度大小一并输入到深度强化学习模块中， 经过特征提取 指导层对“伪激光”观测数据中每一维度施加 不同的关注度， 通过多层卷积、 池化和全连接 之后， 利用LSTM层为整个路径增加时序相关性， 最后输出机器人当前时刻的决策动作， 从而权　利　要　求　书 1/2 页 2 CN 112767373 B 2达到自主避障与导 航的效果。权　利　要　求　书 2/2 页 3 CN 112767373 B 3