(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211109274.5 (22)申请日 2022.09.13 (71)申请人 南昌工程学院 地址 330099 江西省南昌市高新区天祥大 道289号 (72)发明人 王红星　邱舒鑫　李兵　刘青　 万智超　吕凌波　 (74)专利代理 机构 西安铭泽知识产权代理事务 所(普通合伙) 61223 专利代理师 梁静 (51)Int.Cl. A01D 46/30(2006.01) B25J 9/08(2006.01) B25J 9/16(2006.01) B25J 11/00(2006.01)B25J 15/08(2006.01) (54)发明名称 一种智能水果采摘机器人的控制方法及控 制系统 (57)摘要 本发明公开了一种智能水果采摘机器人的 控制方法及控制系统， 其中智能水果采摘机器人 的控制方法包括以下步骤： 构建待采摘农场的实 时三维地图及环境地图信息； 规划搭载有用于采 摘的采摘机械臂的移动机器人的运动路径； 根据 不同的待采摘水果的深度图像特征信息， 构建 YOLOv4深度网络模型； 利用YOL Ov4深度网络模型 对该图像信息进行对待采摘的水果的图像信息 目标识别， 获取待采摘水果的中心点坐标信息； 根据待采摘水果的中心点坐标信息以及所规划 的移动机器人的运动路径， 控制移动机器人运动 到目标位置， 并控制移动机器人上的采摘机械臂 进行抓取采摘。 本发明实现了高精度获取目标图 像的中心坐标信息， 实现对待采摘水果进行高精 度定位抓取。 权利要求书2页 说明书7页 附图3页 CN 115299245 A 2022.11.08 CN 115299245 A 1.一种智能水果采摘机器人的控制方法， 其特 征在于， 包括以下步骤： 构建待采摘农场的实时三维地图及环境 地图信息； 根据待采摘农场的实时三维地图及环境地图信 息， 规划搭载有采摘 机械臂的移动机器 人在待采摘农场移动时的运动路径； 根据不同的待采摘水果的深度图像特 征信息， 构建YOLOv4深度网络模型； 实地拍摄获取目标位置处的待采摘的水果的图像信息， 并利用YOLOv4深度网络模型对 该图像信息进行目标识别， 获取待采摘水果的中心点 坐标信息； 根据待采摘水果的中心点坐标信 息以及所规划的移动机器人的运动路径， 控制移动机 器人运动到目标位置， 并控制移动机器人 上的采摘机 械臂对该 水果进行抓取采摘。 2.根据权利要求1所述的一种智能水果采摘 机器人的控制方法， 其特征在于： 所述构建 待采摘农场的实时三维地图， 包括： 根据待采摘农场的场景以及待采摘农场中存在的障碍物， 利用三维物理仿真平台 Gazebo构建所述待采摘农场的实时三维地图。 3.根据权利要求2所述的一种智能水果采摘 机器人的控制方法， 其特征在于： 所述构建 环境地图信息， 包括： 利用移动机器人 上搭载的激光雷达获取待采摘农场的环境 地形的点云数据； 对点云数据进行树莓派处理， 并利用gmapping算法得到待采摘农场的二维栅格形式的 环境地图信息 。 4.根据权利要求3所述的一种智能水果采摘 机器人的控制方法， 其特征在于： 所述根据 待采摘农场的实时三 维地图及环境地图信息， 规划搭载有采摘机械臂的移动机器人在待采 摘农场移动时的运动路径， 包括： 根据环境地图信息， 利用ROS三维可视化工Rviz对移动机器人的运动进行模拟仿真， 并 规划搭载有采摘机 械臂的移动机器人的运动路径； 通过将所规划的运动路径与 所述实时三维地图进行联合仿真， 对所规划的运动路径进 行改进、 优化； 所述运动路径包括移动机器人的避障运动路径以及 在进行采摘时的移动运动路径。 5.根据权利要求1所述的一种智能水果采摘 机器人的控制方法， 其特征在于： 所述根据 不同的待采摘水果的深度图像特 征信息， 构建YOLOv4深度网络模型， 包括： 获取不同的待采摘水果的单模态图像数据以及多模态图像数据； 利用一部分所述单模态图像数据以及多模态图像数据， 构建多模态注意力融合网络， 并采用多尺度特 征融合增 加多模态 注意力融合网络的感受野； 对所述多模态注意力融合网络进行图像深度 特征提取， 并使用注意力 机制自适应地对 图像深度特 征通道进行 标定； 将所标定的所述图像深度特 征与可见光融合， 构建融合后的多模态 注意力融合网络； 利用另一部分所述单模态图像数据以及多模态图像数据， 训练融合后的多模态注意力 融合网络得到 YOLOv4深度网络模型。 6.根据权利要求4所述的一种智能水果采摘 机器人的控制方法， 其特征在于： 所述利用 ROS三维可视化工具Rviz， 模拟仿真搭载有采摘机械臂的移动机器人的避障运动 路径以及 在进行采摘时的移动运动路径， 包括：权　利　要　求　书 1/2 页 2 CN 115299245 A 2利用所述移动机器人上设有的惯性测量单元以及轮式里程计分别获取所述移动机器 人的运动数据； 利用卡尔曼滤波算法， 将所述移动机器人的运动数据以及所述移动机器人上搭载的激 光雷达获取的待采摘农场的环境 地形的点云数据进行融合； 根据融合后的数据， 利用SLAM算法构建所述移动机器人的运动地图， 并对运动中的所 述移动机器人进行定位； 根据融合后的数据， 对所述移动机器人进行路径规划。 7.根据权利要求6所述的一种智能水果采摘 机器人的控制方法， 其特征在于： 所述根据 融合后的数据， 利用SLAM算法构建所述移动机器人的运动地图， 并对运动中的所述移动机 器人进行定位， 包括： 利用Cartographer算法构建移动机器人运动时的地图； 利用AMCL算法对移动机器人进行定位。 8.根据权利要求6所述的一种智能水果采摘 机器人的控制方法， 其特征在于： 所述根据 融合后的数据， 对移动机器人进行路径规划， 包括： 利用启发式搜索的A*算法对移动机器人的全局运动路径进行规划； 采用TEB算法对移动机器人的局部运动路径进行规划。 9.根据权利要求1所述的一种智能水果采摘 机器人的控制方法， 其特征在于： 所述根据 待采摘水果的中心 点坐标信息以及所规划的移动机器人的运动路径， 控制移动机器人运动 到目标位置， 并控制移动机器人 上的采摘机 械臂进行抓取采摘， 包括： 根据待采摘水果的中心点 坐标信息建立 运动学方程； 将运动学 方程进行运动学逆解； 利用ROS系统同时控制所述移动机器人进行移动及所述所述采摘机械臂进行抓取运 动， 使所述移动机器人移动到待采摘水果处， 并使所述采摘机 械臂抓取待采摘水果。 10.一种智能水果采摘机器人的控制系统， 其特 征在于： 包括： 地图信息构建模块， 用于构建待采摘农场的实时三维地图及环境 地图信息； 运动路径获取模块， 用于根据待采摘农场的实时三维地图及环境地图信息， 规划搭载 有采摘机 械臂的移动机器人在待采摘农场移动时的运动路径； 模型构建模块， 用于根据不同的待采摘水果的深度图像特征信息， 构建YOLOv4深度网 络模型； 识别模块， 用于实地拍摄获取目标位置处的待采摘的水果的图像信息， 并利用YOLOv4 深度网络模型对该图像信息进行目标识别， 获取待采摘水果的中心点 坐标信息； 采摘执行模块， 用于根据待采摘水果的中心点坐标信 息以及所规划的移动机器人的运 动路径， 控制移动机器人运动到目标位置， 并控制移动机器人上 的采摘机械臂对该水果进 行抓取采摘。权　利　要　求　书 2/2 页 3 CN 115299245 A 3