(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110295688.0 (22)申请日 2021.03.19 (65)同一申请的已公布的文献号 申请公布号 CN 112884825 A (43)申请公布日 2021.06.01 (73)专利权人 清华大学 地址 100084 北京市海淀区清华园1号 专利权人 烟台清科嘉机 器人联合研究院有 限公司 (72)发明人 刘辛军　李子豪　叶彦雷　李鹏　 谢福贵　刘魁　吕春哲　 (74)专利代理 机构 北京中索 知识产权代理有限 公司 11640 专利代理师 胡大成 (51)Int.Cl. G06T 7/60(2017.01) G06T 7/90(2017.01) G06F 30/27(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 119/14(2020.01) (56)对比文件 CN 111080693 A,2020.04.28 CN 112223338 A,2021.01.15 CN 112405570 A,2021.02.26 CN 111590611 A,2020.08.28 CN 110450153 A,2019.1 1.15 CN 108555901 A,2018.09.21 WO 202019016 6 A1,2020.09.24 杨傲雷等.基 于深度卷积网络的多目标动态 三维抓取位姿检测方法. 《仪 器仪表学报》 .2019, (第12期),全 文. Joe Watso n等.Real-W orld, Real-Time Robotic Graspi ng with Convolutional Neural Netw orks. 《Lecture N otes in Computer Science》 .2017, 审查员 王佳 (54)发明名称 基于深度学习模型的抓取方法及装置 (57)摘要 本申请公开了一种基于深度学习模型的抓 取方法及装置， 用于夹持器抓取目标物 体， 包括： 建立目标物体集合的属性集合数据、 2D数据集和 不规则物体点云数据集； 根据所述2D数据集和所 述不规则物体点云数据集， 分别训练2D深度学习 模型和点 云深度学习模型； 通过所述2D深度学习 模型确定待抓取的目标物体； 根据所述属性集合 数据、 所述点云深度学习模型， 计算所述目标物 体的抓取点位姿数据、 夹持器的开合尺寸数据和 夹持器夹持所述目标物体的压力阈值； 根据所述 属性集合数据、 所述抓取点位姿数据、 所述开合 尺寸数据和所述压力阈值， 抓取所述目标物体放 置在指定位置。 通过结合目标物体属性和深度学 习模型实现夹持器的精准抓取， 从而提升抓取成功率。 权利要求书3页 说明书8页 附图1页 CN 112884825 B 2022.11.04 CN 112884825 B 1.基于深度学习模型的抓取 方法， 用于 夹持器抓取目标物体， 其特 征在于， 包括： 建立目标物体集 合的属性 集合数据、 2D数据集和不 规则物体点云数据集； 根据所述2D数据集和所述不规则物体点云数据集， 分别训练2D深度 学习模型和点云深 度学习模型； 通过所述2D深度学习模型确定待抓取的目标物体； 根据所述属性集合数据、 所述点云深度学习模型， 计算所述目标物体的抓取点位姿数 据、 夹持器的开 合尺寸数据和夹持器夹持所述目标物体的压力阈值； 根据所述 抓取点位姿数据和所述 开合尺寸数据， 对所述目标物体进行抓取； 根据所述属性 集合数据， 确定所述目标物体的刚度数据； 当所述刚度数据为刚体时， 获取夹持器抓取 所述目标物体时的夹持反馈数据； 当所述夹持反馈数据达 到预设值时， 将抓取的所述目标物体放置在指定位置； 其中， 所述夹持反馈数据达到预设值至少包括夹持器抓取所述目标物体时的压力数据 达到所述压力阈值、 实际夹持开 合尺寸数据符合所述 开合尺寸数据范围中的一项； 或当所述刚度数据为软体时， 获取夹持器抓取 所述目标物体时的夹持压力数据； 利用深度相机识别夹持器上的夹持物， 得到识别结果； 当所述夹持压力数据达到所述压力 阈值， 同时所述识别结果符合预设条件时， 将抓取 的所述目标物体放置在指定位置； 其中， 所述预设条件为深度相机识别到 夹持器上存在物体。 2.根据权利要求1所述的抓取方法， 其特征在于， 建立目标物体集合的属性集合数据、 2D数据集和不 规则物体点云数据集， 具体包括： 根据所有需要抓取的目标物体， 建立目标物体集 合的属性 集合数据； 采集所有需要抓取的目标物体的RGB图片和深度图片； 对所述RGB图片中的物体进行类别标注， 生成2D数据集； 根据所述属性 集合数据、 所述深度图片和所述2D数据集， 生成不 规则物体点云数据集； 其中， 所述属性 集合数据包括刚度数据、 尺寸数据和形状数据。 3.根据权利要求1所述的抓取方法， 其特征在于， 根据所述2D数据集和所述不规则物体 点云数据集， 分别训练2D深度学习模型和点云深度学习模型， 具体包括： 采用2D深度神经网络对所述2D数据集进行训练， 得到2D深度学习模型； 采用3D深度神经网络对所述不规则物体点云数据集进行训练， 得到点云深度学习模 型； 其中， 所述2D深度神经网络包括Mask  R‑CNN或者YOLOv3中的任意 一种； 所述3D深度神经网络包括Po intNet++。 4.根据权利要求1所述的抓取方法， 其特征在于， 通过所述2D深度 学习模型确定待抓取 的目标物体， 具体包括： 利用深度相机拍摄观察区内的所有物体的图像， 得到待识别图像； 调用所述2D深度学习模型处 理所述待识别图像， 生成处 理结果； 根据所述处 理结果， 确定待抓取的目标物体。 5.根据权利要求1所述的抓取方法， 其特征在于， 根据所述属性集合数据、 所述点云深 度学习模型， 计算所述 目标物体的抓取点位姿数据、 夹持器的开合尺寸数据和夹持器夹持权　利　要　求　书 1/3 页 2 CN 112884825 B 2所述目标物体的压力阈值， 具体包括： 根据所述属性 集合数据， 确定所述目标物体的形状数据和刚度数据； 当所述形状数据为规则时， 根据所述物体属性集合数据， 获取所述目标物体的尺寸数 据； 通过深度相机获取 所述目标物体的深度信息数据； 根据所述尺寸数据和所述深度信 息数据， 计算所述目标物体的抓取点位姿数据和夹持 器的开合尺寸数据； 根据所述刚度数据， 计算夹持器夹持所述目标物体的压力阈值。 6.根据权利要求1所述的抓取方法， 其特征在于， 根据所述属性集合数据、 所述点云深 度学习模型， 计算所述 目标物体的抓取点位姿数据、 夹持器的开合尺寸数据和夹持器夹持 所述目标物体的压力阈值， 具体包括： 根据所述属性 集合数据， 确定所述目标物体的形状数据和刚度数据； 当所述形状数据为不规则时， 调用所述点云深度学习模型匹配所述目标物体， 得到匹 配结果； 根据所述匹配结果， 计算所述目标物体的抓取点 位姿数据和夹持器的开 合尺寸数据； 根据所述刚度数据， 计算夹持器夹持所述目标物体的压力阈值。 7.根据权利要求1 ‑6中任一项所述的抓取方法， 其特征在于， 还包括对抓取到指定位置 的目标物体进行检测， 具体包括： 通过深度相机和所述2D深度学习模型检测所述目标物体。 8.一种基于深度学习模型的抓取装置， 配合权利要求1所述基于深度学习模型的抓取 方法， 以实现夹持器抓取目标物体， 其特 征在于， 包括： 数据模块， 用于建立目标物体集合的属性集合数据、 2D数据集和不规则物体点云数据 集； 训练模块， 用于根据所述2D数据集和所述不规则物体点云数据集， 分别训练2D深度学 习模型和点云深度学习模型； 识别模块， 用于通过 所述2D深度学习模型确定待抓取的目标物体； 计算模块， 用于根据 所述属性集合数据、 所述点云深度学习模型， 计算所述目标物体的 抓取点位姿数据、 夹持器的开 合尺寸数据和夹持器夹持所述目标物体的压力阈值； 抓取模块， 用于根据 所述属性集合数据、 所述抓取点位姿数据、 所述开合尺寸数据和所 述压力阈值， 抓取 所述目标物体放置在指定位置； 抓取模块用于根据所述属性集合数据、 所述抓取点位姿数据、 所述开合尺寸数据和所 述压力阈值， 抓取 所述目标物体放置在指定位置， 具体用于： 根据所述 抓取点位姿数据和所述 开合尺寸数据， 对所述目标物体进行抓取； 根据所述属性 集合数据， 确定所述目标物体的刚度数据； 当所述刚度数据为刚体时， 获取夹持器抓取 所述目标物体时的夹持反馈数据； 当所述夹持反馈数据达 到预设值时， 将抓取的所述目标物体放置在指定位置； 其中， 所述夹持反馈数据达到预设值至少包括夹持器抓取所述目标物体时的压力数据 达到所述压力阈值、 实际夹持开 合尺寸数据符合所述 开合尺寸数据范围中的一项； 或当所述刚度数据为软体时， 获取夹持器抓取 所述目标物体时的夹持压力数据；权　利　要　求　书 2/3 页 3 CN 112884825 B 3