(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210402919.8 (22)申请日 2022.04.18 (71)申请人 安徽农业大 学 地址 230036 安徽省合肥市蜀山区长江西 路130号安徽农业大 学 申请人 合肥综合 性国家科 学中心人工智能 研究院 （安徽省人工智能实验室） (72)发明人 刘立超　薛晨　方旭　陈黎卿　 张春岭　王韦韦　 (74)专利代理 机构 北京保识知识产权代理事务 所(普通合伙) 11874 专利代理师 姚天健 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/56(2022.01)G06V 20/58(2022.01) G06T 7/80(2017.01) G06T 7/73(2017.01) G06T 5/50(2006.01) G06T 3/40(2006.01) G06N 3/08(2006.01) G05D 1/00(2006.01) G01S 15/931(2020.01) H04L 67/025(2022.01) H04N 5/232(2006.01) H04N 5/247(2006.01) G06V 10/82(2022.01) (54)发明名称 一种基于全景视觉的农业机械远程辅助驾 驶系统及方法 (57)摘要 本发明公开了一种基于全景视觉的农业机 械远程辅助驾驶系统及方法， 属于无人驾驶农业 机械技术领域。 本发明所提出的远程辅助驾驶农 业机械系统可以更好地驾驶农业机械， 具体实现 远程辅助 驾驶农业机械的方法包括： 当农业机械 自动驾驶时遇到复杂环境而无法做出判断时， 农 业机械立刻停止运行， 并向远程控制室发送驾驶 状态切换指令； 驾驶员将农业机械由自动驾驶状 态切换为远程手动驾驶状态； 执行相应指令， 对 农业机械进行远程驾驶操作； 当农业机械可以判 断周围环 境时， 驾驶员再将农业机械驾驶状态切 换为自动驾驶。 本发明可以很好地解决农业机械 遇到复杂环 境而无法做出判断的情况下， 能够有 效切换为手动驾驶， 从而保证农业机械的安全运 行。 权利要求书4页 说明书8页 附图3页 CN 114782810 A 2022.07.22 CN 114782810 A 1.一种基于全景视觉的农业机械远程辅助驾驶系统， 包括农业机械本体(10)和远程控 制室， 其特征在于： 所述农业机械本体(10)上安装有鱼眼摄像机(1)和超声波雷达(2)， 所述 鱼眼摄像机(1)和超声波雷达(2)均设置有 六个， 分别固定安装在农业机械本体(10)的正前 方、 左前方、 右前方、 正后方、 左后方、 右后方； 所述农业机械本体(10)上还固定安装有指令 接收装置、 指令发送装置和驾驶状态切换装置； 所述远程控制室与农业机械本体(10)之间 进行通信连接， 所述远程控制室中安装有远程驾驶装置， 所述远程驾驶装置包括有方向盘 (3)、 油门踏板(4)、 档位(5)、 座椅(6)、 手刹(7)、 刹车踏板(8)、 离合器踏板(9)、 操作台(11)、 切换按钮(12)、 状态指示灯和全 景屏幕(16)， 所述状态指示灯包括黄灯(13)、 绿灯(14)和红 灯(15)。 2.根据权利要求1所述的一种基于全景视觉的农业机械远程辅助驾驶系统， 其特征在 于， 所述远程控制室中还安装有远程驾驶系统， 所述远程驾驶系统与远程驾驶装置相匹配， 所述远程驾驶系统包括有信息获取模块、 信号发送模块、 信号接 收模块和驾驶状态切换模 块； 所述信息获取模块， 与鱼眼摄像机(1)相匹配， 通过接收由六个鱼眼摄像机(1)组成的 全景拍摄系统拍摄的3 60°全景照片来获取农业机 械本体(10)驾驶 位置及周边环境情况； 所述信号发送模块， 与指令发送装置相匹配， 当农业机械本体(10)的自动驾驶系统工 作状态需要切换时， 通过信号发送模块向远程控制室发送驾驶状态切换信号； 所述信号接收模块， 与指令接收装置相匹配， 用于接收农业机械本体(10)向远程控制 室发送的驾驶状态切换信号； 所述驾驶状态切换模块， 与驾驶状态切换装置相匹配， 用于响应驾驶状态切换制定， 将 农业机械本体(10)由自动驾驶状态切换至远程手动驾驶状态。 3.根据权利要求1 ‑2中任一所述的一种基于全景视觉的农业机械远程辅助驾驶系统所 使用的一种基于全景视 觉的农业机 械远程辅助驾驶方法， 其特 征在于， 包括以下步骤： S1、 在农业机械本体(10)的正前方、 左前方、 右前方、 正后方、 左后方、 右后方上安装鱼 眼摄像机(1)和超声 波雷达(2)， 并将其调整好角度； S2、 通过农业机械本体(10)上固定安装的六个鱼眼摄像机(1)采集农业机械本体(10) 周围的环境状态， 确保每个鱼眼摄像机(1)都能检测到60 °画面， 实现360 °无死角无盲区拍 摄， 鱼眼摄像机(1)的俯仰视场角为0～60 °， 前后视场角为0～180 °， 然后通过全景拼接算法 将六张鱼眼摄 像机(1)拍摄的原 始图像合并为 一张全景鸟瞰图； S3、 获得全景图像后利用超声 波雷达(2)来检测农业机 械本体(10)周围的障碍物信息； S4、 利用YOLO  V5算法对障碍物进行目标检测， YOLO  V5的输入使用拼接数据增强来提 高目标检测精度； S5、 当农业机械本体(10)遇到复杂情况而无法做出判断时， 将农业机械本体(10)由自 动驾驶状态切换为远程手动驾驶状态， 切换为远程手动驾驶状态后， 远程控制室中的驾驶 员开始执行相应指 令， 对农业机械本体(10)进行远程驾驶操作， 可以识别判断后， 再将驾驶 状态切换为自动驾驶状态运行。 4.根据权利要求3所述的一种基于全景视觉的农业机械远程辅助驾驶方法， 其特征在 于， 所述S2中提到的获取清晰的全景鸟瞰图， 具体包括以下步骤： A1、 采用张正友标定方法， 得到六台鱼眼摄像机(1)的内部参数矩阵和畸变系数， 利用权　利　要　求　书 1/4 页 2 CN 114782810 A 2所得的内部参数矩阵和畸变系数得到畸变图像中像素的位置， 然后 将像素位置的对应关系 保存在像素映射表中； A2、 通过所述A1中的像素映射表获得未扭曲的图像后， 对其进行透视变换， 所述透视变 化更进一 步地包括以下步骤： A2.1、 提取 未扭曲图像中地 面特征点的坐标(x， y)； A2.2、 根据所述A 2.1中获得的坐标信息设置特 征点在鸟瞰图像中的坐标(X， Y)； A2.3、 利用多组特 征点得到 透视变换矩阵； A2.4、 使用所述A 2.3中所得的透视变换矩阵更新像素映射表， 透 视变换公式如下： 其中， 为特征点在鸟瞰图像 中的坐标， 为透视变换矩阵， 为未扭曲 图像中地 面特征点的坐标； A3、 在所述A2中提到的透视变换中， 人工定义地面上特征点的位置， 根据位置对应关系 平移或旋转鸟瞰图形， 然后经 过线性变换， 生成全景鸟瞰图像； A4、 将图像处 理为光均衡图像， 经 过处理后， 相邻图像的重 叠区域满足的关系式如下： 其中， R1、 G1、 B1和R2、 G2、 B2是两幅图像重叠部分中R、 G、 B的平均值； X1、 Y1、 Z1和X2、 Y2、 Z2是 对应于两个图像的R、 G、 B值的处 理系数； A5、 所得的六张图像 中共有12个重叠区域， 处理完12个重叠区域， 基于最小二乘法得到 相应的处理系 数， 将所有处理系 数应用于相应的鸟瞰图中， 最终得到一张光均衡全景鸟瞰 图。 5.根据权利要求3所述的一种基于全景视觉的农业机械远程辅助驾驶方法， 其特征在 于， 所述S3中提到的利用超声波雷达(2)来检测农业机械本体(10)周围的障碍物信息， 具体 包括以下操作： B1、 分别对超声波雷达(2)和鱼眼摄像机(1)进行了标定； 超声波雷达(2)校准包括雷达 信号强度校准和安装角度校准， 其中信号强度通过信号反射强度的增益调整来完成， 安装 角度由支架决定； 鱼眼摄像机(1)的标定利用内部参数矩阵得到外部参数矩阵， 棋盘格图案 作为辅助工具； B2、 利用所述B1中所得的标定结果实现坐标对准； 在此过程中， 每个超声波雷达(2)检 测到的信号 强度根据农业机械本体(10)坐标系进 行旋转和平移； 在获得鸟瞰图像与农业机 械坐标系之间的转换关系后， 进行图像融合操作， 将视觉超声雷达图像和全景鸟瞰图像融 合为全景数据融合图像。 6.根据权利要求3所述的一种基于全景视觉的农业机械远程辅助驾驶方法， 其特征在 于， 所述S4中提到的利用YOLO  V5算法对障碍物进行目标检测， 具体包括以下操作：权　利　要　求　书 2/4 页 3 CN 114782810 A 3