(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210550796.2 (22)申请日 2022.05.18 (71)申请人 深圳市边界智控科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区高新南七道011号高新 工业村T3 栋A座416 (72)发明人 张蒙　钱劭晨　翁海敏　 (74)专利代理 机构 深圳市精英创新知识产权代 理有限公司 4 4740 专利代理师 刘杰 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/26(2022.01)G06T 17/00(2006.01) G01S 17/933(2020.01) (54)发明名称 基于视觉及雷达的无人机着陆点检测方法 及相关设备 (57)摘要 本发明公开了基于视觉及雷达的无人机着 陆点检测方法及相关设备。 该方法包括采集无人 机下方环 境的场景图像作为输入图像； 对输入图 像进行目标检测处理和语义分割处理， 得到无人 机下方环 境的目标检测结果和语义分割结果； 根 据目标检测结果判断无人机下方环境是否存在 障碍物， 以及， 根据语义分割结果判断无人机下 方环境的环 境类型； 采集无人机雷达设备的点云 数据， 并根据点云数据进行三维建模， 得到无人 机下方环 境的高程图； 基于高程图确定无人机下 方环境是否平坦； 若无人机下方环境平坦， 环境 类型为预设的着陆所属类型， 且不存在障碍物， 则判定无人机下方环境适合着陆。 该方法使无人 机具备自主降落能力， 适应更多复杂地形和应用 场景。 权利要求书3页 说明书9页 附图8页 CN 114842361 A 2022.08.02 CN 114842361 A 1.一种基于 视觉及雷达的无 人机着陆点检测方法， 其特 征在于， 包括： 采集无人机下方环境的场景图像作为输入图像； 将所述输入图像输入预训练 的多任务网络模型进行目标检测处理和语义分割处理， 得 到无人机下方环境的目标检测结果和语义分割结果； 根据所述目标检测结果判断无人机下方环境是否存在障碍物， 以及， 根据所述语义分 割结果判断无 人机下方环境的环境类型； 采集无人机雷达设备的点云数据， 并根据所述点云数据对地理环境进行三维建模， 得 到无人机下方环境的高程图； 计算所述高程图每一块 区域的高程方差， 并根据 所述高程方差判断无人机下方环境是 否平坦； 若无人机下方环境平坦， 环境类型为预设的着陆所属类型， 且不存在障碍物， 则判定无 人机下方环境适合着陆。 2.根据权利要求1所述的基于视觉及雷达的无人机着陆点检测方法， 其特征在于， 所述 多任务网络模型的预训练过程， 包括： 采集无人机在不同天气、 不同光照强度和不同环境背景中下方环境的场景图像作为样 本图像； 采用标注工具对所述样本图像的障碍物及环境类型进行 标注， 得到标签图像； 以编码器 ‑解码器的形式构建所述多任务网络模型， 并将所述标签图像输入所述编码 器进行多维度特 征的提取， 得到不同维度的融合特 征； 将不同维度的所述融合特征输入所述解码器的目标检测模块进行目标检测处理， 得到 目标检测结果； 以及， 将最小维度的融合特征输入所述解码器的语义分割模块进行语义分 割处理， 得到语义分割结果； 根据预设检测损 失函数计算所述目标检测结果和标签图像的检测损 失， 以及， 根据预 设分割损失函数计算所述语义分割结果和标签图像的分割损失， 并根据所述检测损失和分 割损失优化所述多任务网络模型的网络参数。 3.根据权利要求2所述的基于视觉及雷达的无人机着陆点检测方法， 其特征在于， 所述 编码器包括CSPNet网络和PAN融合网络， 所述将所述标签图像输入所述编码器进行多维度 特征的提取， 得到不同维度的融合特 征， 包括： 将所述标签图像输入所述CSPNet网络分别进行不同维度的特征提取， 得到不同维度的 输入特征； 将不同维度的所述输入特征输入所述PAN融合网络分别进行不同维度的特征融合处 理， 得到不同维度的所述融合特 征。 4.根据权利要求3所述的基于视觉及雷达的无人机着陆点检测方法， 其特征在于， 所述 CSPNet网络包括两个第一卷积模块、 一个第一瓶颈模块、 一个第一卷积模块、 一个第二瓶颈 模块、 一个第三卷积模块、 一个第三瓶颈模块、 一个第四卷积模块、 一个空间金字塔池化模 块和一个第四瓶颈模块， 所述将所述标签图像输入 所述CSPNet网络分别进 行不同维度的特 征提取， 得到不同维度的输入特 征， 包括： 将所述标签图像依次输入两个所述第一卷积模块进行 卷积处理， 得到第一卷积特 征； 将第一卷积特征输入第 一瓶颈模块进行处理， 先分别经过两个卷积块得到两个第 一分权　利　要　求　书 1/3 页 2 CN 114842361 A 2支特征， 其中一个第一分支特征经过N组子瓶颈模块的处理后， 处理结果和另一个第一分支 特征进行拼接处 理， 再通过 卷积块对拼接结果进行通道变化， 得到第一输入特 征； 将所述第一输入特 征输入第二卷积模块进行 卷积处理， 得到第二卷积特 征； 将第二卷积特征输入第 二瓶颈模块进行处理， 先分别经过两个卷积块得到两个第 二分 支特征， 其中一个第二分支特征经过N组子瓶颈模块的处理后， 处理结果和另一个第二分支 特征进行拼接处 理， 再通过 卷积块对拼接结果进行通道变化， 得到第二输入特 征； 将所述第二输入特 征输入第三卷积模块进行 卷积处理， 得到第三卷积特 征； 将第三卷积特征输入第 三瓶颈模块进行处理， 先分别经过两个卷积块得到两个第 三分 支特征， 其中一个第三分支特征经过N组子瓶颈模块的处理后， 处理结果和另一个第三分支 特征进行拼接处 理， 再通过 卷积块对拼接结果进行通道变化， 得到第三输入特 征； 将所述第三输入特 征输入第四卷积模块进行 卷积处理， 得到第四卷积特 征； 将第四卷积特征输入空间金字塔池化模块进行池化处理， 再将池化结过输入第四瓶颈 模块进行处理， 先分别经过两个卷积块得到两个第四分支特征， 其中一个第四分支特征经 过N组子瓶颈模块的处理后， 对处理结果和另一个第四分支特征进 行拼接处理， 再通过卷积 块对拼接结果进行通道变化， 得到第四输入特 征。 5.根据权利要求4所述的基于视觉及雷达的无人机着陆点检测方法， 其特征在于， 所述 PAN融合网络包括第一上采样模块、 第二上采样模块、 第三上采样模块、 第一下采样模块、 第 二下采样模块和第三下采样模块， 所述将不同维度的所述输入特征输入所述PAN融合网络 分别进行不同维度的特 征融合处 理， 得到不同维度的所述融合特 征， 包括： 将所述第四输入特征输入所述第 一上采样模块进行上采样处理， 对上采样处理后的第 四输入特 征和所述第三输入特 征进行拼接， 得到第一 拼接结果； 将所述第一拼接结果输入所述第 二上采样模块进行上采样处理， 对上采样处理后的第 一拼接结果和所述第二输入特 征进行拼接， 得到第二 拼接结果； 将所述第二拼接结果输入所述第 三上采样模块进行上采样处理， 对上采样处理后的第 二拼接结果和所述第一输入特 征进行融合处 理， 得到第一融合特 征； 将所述第三拼接结果输入所述第 一下采样模块进行下采样处理， 对下采样处理后的第 三拼接结果和第二 拼接结果进行融合处 理， 得到第二融合特 征； 将所述第一融合特征输入所述第 二下采样模块进行下采样处理， 对下采样处理后的第 一融合特 征和第一 拼接结果进行融合处 理， 得到第三融合特 征； 将所述第二融合特征输入所述第 三下采样模块进行下采样处理， 对下采样处理后的第 二融合特 征和第四输入特 征进行融合处 理， 得到第四融合特 征。 6.根据权利要求2所述的基于视觉及雷达的无人机着陆点检测方法， 其特征在于， 所述 检测损失函数如下： LA＝aL1+bL2+cL3， 式中， LA表示所述检测损失， L1表示类别损失， L2表示定位损失， L3表示置信度损失， a、 d、 c表示权重系数。 7.根据权利要求6所述的基于视觉及雷达的无人机着陆点检测方法， 其特征在于， 所述 多任务网络模型的模型损失函数如下： L总＝α LA+β LB，权　利　要　求　书 2/3 页 3 CN 114842361 A 3