(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210622959.3 (22)申请日 2022.06.02 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区之江实 验室南湖总部 申请人 东南大学 (72)发明人 吴巍炜　方效林　项森伟　谢安桓　 凌波　傅忱忱　卢震　高勇　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 薛雨妍 (51)Int.Cl. G06T 7/50(2017.01) G06V 20/17(2022.01) G06V 40/10(2022.01)G06V 10/774(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 30/27(2020.01) G05D 1/10(2006.01) G06F 111/04(2020.01) (54)发明名称 基于单目景深预测和深度增强学习的无人 机森林探索系统 (57)摘要 本发明提供了一种基于单目景深预测和深 度增强学习的无人机森 林探索系统。 本发明逻辑 上主要包括四个部分， 景深预测识别优化、 增强 学习规则避障、 目标检测以及以RESTful服务形 式组建可扩展的感知、 计算、 控制无人机链路。 流 程上首先建立了针对森林场景的单目景深预测 模型， 并根据一种整图不确定度估计方法， 通过 对方差进行估计来表示景深预测模型结果的不 确定度， 解决了无人机飞行样例中景深预测失效 的问题； 然后构建在单目前向无人机硬件约束下 的以森林场景下的小型障碍物规避为规划目标 的避障模式； 最后使用PPO深度增强学习算法来 实现无人机避障及导航， 解决了策略训练后可能 出现的陷入局部最优区域的问题， 并通过部署轻 量级目标检测网络实现人员搜寻。 权利要求书4页 说明书9页 附图5页 CN 114943757 A 2022.08.26 CN 114943757 A 1.一种基于单目景深预测和深度增强学习的无人机森林探索系统， 其特征在于， 包括 以下步骤； 步骤1： 采用如下步骤定义针对密集森林场景的基于自监 督学习的单目景深 网络posen预测模型： 步骤2： 构建在单目前向无人机硬件约束下的以树木等森林场景下的小型障碍物规避 为规划目标的避障模式， 对步骤1中景深预测特点进行分析并设计一个基础但有效的森林 场景避障算法； 步骤3： 使用深度增强学习策略来解决解决基于自监督单目景深预测无人机避 障及导 航问题； 步骤4： 采用如下步骤定义基于自监 督学习的轻量型目标检测网络模型。 2.根据权利要求1所述的一种基于单目景深预测和深度增强学习的无人机森林探索系 统， 其特征在于， 所述 步骤1具体包括以下步骤； 步骤1‑1： 构建训练特定数据集， 数据集由实验用无人机在密集森林场景中行进时录制 的视频逐帧截取构建； 步骤1‑2： 对于实验用无人机拍摄的视频进行处理得到长度为N的图像序列， 将图像序 列中的当前帧作为t帧， 当前帧的下一帧作为待重建的下一帧t ′帧； 步骤1‑3： 将步骤1 ‑2中得到的当前帧t帧输入至已构造好的深度网络Dispnet中， 通过 全卷积网络后依次序叠加连接同尺寸的卷积层特征信息经过上采样， 最终输出深度信息 将步骤1‑2中得到的t帧和t ′帧输入至已构造好的相机位姿网络p osenet中， 得到估计摄 像头的两帧间沿X,Y,Z轴的平移和旋转共6个标量值， 直接使用卷积层和全连接层构建而 成， 而后基于该 六个标量 值基于此生成两帧间位姿变化估计矩阵 继而重建t ′帧； 步骤1‑4： 通过步骤1 ‑3中重建的两帧， 计算特定 像素区位重建损失 和深度平 滑损失 特定像素区位重建损失构建为： 以上公式 中， SSIM表示结构相似指数。 深度平 滑损失构建为： 最终整个模型完整损失函数为： 以上公式 中， 是滑损失的权 重； 步骤1‑5： 根据相对深度根据如下公式得到实际障碍物距离摄像头的绝对深度， 具体步骤为对实验中的20张非测试集陌生场景图片上多个潜 在障碍物进行取点， 并通过测距仪测量实际深度距离， 同时获取对应图片在此区域上像素权　利　要　求　书 1/4 页 2 CN 114943757 A 2深度估计的值， 基于此计算比例 的值， 并基于此 比例还原绝对深度并计算误 差； 步骤1‑6： 根据一种整图不确定度估计方法， 通过对方差进行估计来表示不确定度， 可 有效作为快速识别整图深度估计不确定度的指标； 根据SSIM和L 1loss组合比重计算θ， 判断 阈值β， 在无人机飞行过程中， 如果|运动感知信息S|>0or|当前控制信号C|>0， 根据It及 It‑1， 计算两图平均差距 基于网络模型估计It的深度 和位姿变动 重建 计算重建区域与原图区位 平均差距 从而得到计算 不确定度 3.根据权利要求1所述的一种基于单目景深预测和深度增强学习的无人机森林探索系 统， 其特征在于， 所述 步骤2具体包括如下： 步骤2‑1： 从步骤1获得当前感知图像和来自无人机的运动感知信息S， 确定链接无人机 避障系统链接宽度为w， 固定前进速率s， 可行向量W， 根据无人机大小初始化滑动窗口大小 o， 靠近阈值Unco nfid， 超时阈值Out time， 重定向阈值Redirect； 步骤2‑2： 判定当前位置Pnow与目标位置Ptar的距离， 若小于靠近阈值Near， 则循环结 束， 否则向下依次执 行； 步骤2‑3： 将当前感知图像It经过步骤1获得单目景深预测图 及位姿矩阵 截 取估计图 中间区域Area并计算不确定度Runconfid， 若不确定度Runconfid大于不确定度阈值 Runconfid， 则当前等待时间+1， 且判定等待时间t， 若t大于等待超时阈值Outtime， 则告警等待 人工处理或降落， 并返回步骤2 ‑2； 步骤2‑4： 压缩Area为一维向量， 低于阈值Danger的标记在W向量中， 平 滑化处理； 步骤2‑5： 将bias进行w次遍历， 在W中滑动o窗口寻找可行Yaw窗口并标记， 若不存在可 行域， 将Yaw角顺时针旋转一个FOV， 否则可行Yaw中用min(Yawtarget,Yawnext)加权选择 Yaw， 并旋转至此； 步骤2‑6： 以固定 速率s向前 行进； 步骤2‑7： 判定重定向阈值Redirect＝＝0and  cos(行进方向， 目标方向)小于零， 则将 Yawtarget赋值给Yaw， 且Redirect赋值 为30； 步骤2‑8： 重置Redirect ‑＝1， 等待超时值e＝0， W向量所有元 素重置， 执行步骤2‑2。 4.根据权利要求1所述的一种基于单目景深预测和深度增强学习的无人机森林探索系 统， 其特征在于， 所述 步骤3具体包括如下： 步骤3‑1： 获得每次的环境状态st和奖励r输入到增强学习决策模型中， 初 始化策略模型权　利　要　求　书 2/4 页 3 CN 114943757 A 3