(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211005547.1 (22)申请日 2022.08.22 (71)申请人 山西讯龙 科技有限公司 地址 030051 山西省太原市山西综改示范 区太原学府园区长治路227号高新国 际大厦A座1 1层1号房间 申请人 北京中科讯龙 科技有限公司 　 太原科技大 学　 山西讯龙智能科技有限公司 (72)发明人 杨帆　 (74)专利代理 机构 太原九得专利代理事务所 (普通合伙) 14117 专利代理师 李艳 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于分割识别的三维机械臂自动抓取 方法和装置 (57)摘要 本发明一种基于分割识别的三维机械臂自 动抓取方法和装置， 包括： S10、 通过手 眼标定算 法确定待抓取物体在机械臂末端法兰盘坐标系 下的单位坐标信息； S2 0、 通过深度相机获取待 抓 取物体的画面图像， 并将该画面图像输入已训练 好的分割识别算法中， 对待抓取物体进行分割识 别， 输出像素级分割识别结果： S30、 根据分割识 别结果计算待抓取物体中心点坐标， 计算出抓取 顺序数组； S40、 根据待抓取物 体在机械臂末端法 兰盘坐标系下的单位坐标信息及分组排序结果， 依次控制机械臂抓取物体； 本发 明通过将手眼标 定算法和分割识别算法相结合， 从而完成机械臂 的自动抓取， 可节约成本， 提高了生产效率。 权利要求书3页 说明书8页 附图4页 CN 115157269 A 2022.10.11 CN 115157269 A 1.一种基于分割识别的三维机 械臂自动抓取 方法， 其特 征在于： 包括： S10、 通过手眼标定算法确定待抓取物体在机械臂末端法兰盘坐标系下的单位坐标信 息； S20、 通过深度相机获取待抓取物体的画面图像， 并将该画面图像输入已训练好的分割 识别算法中， 对待抓取物体进行分割识别， 输出像素级分割识别结果： S30、 根据分割识别结果计算待抓取物体中心点 坐标， 计算出抓取顺序数组； S40、 根据待抓取物体在机械臂末端法兰盘坐标系下的单位坐标信息及 分组排序结果， 依次控制机 械臂抓取物体。 2.根据权利要求1所述的一种基于分割识别的三维机械臂自动 抓取方法， 其特征在于： 所述通过深度相机获取待抓取物体的画 面图像， 并将该画面图像输入已训练好的分割识别 算法中， 对抓取物体进行分割识别， 输出像素级分割识别结果， 具体包括： S201、 通过深度相机获取当前摄像头画面图像并保存， 并计算待抓取物体的物理长度 Al、 物理宽度Aw和物理高度Ah； S202、 将获取到的画面图像输入已训练好的分割识别算法中， 对待抓取物体进行分割 识别， 输出像素级分割识别结果， 即物体种类Pc、 每个物体的掩码Pm， 物体像素长度Pl、 物体 像素宽度Pw、 物体像素高度Ph。 3.根据权利要求2所述的一种基于分割识别的三维机械臂自动 抓取方法， 其特征在于： 所述根据分割识别结果计算待抓取物体中心点 坐标， 计算出抓取顺序数组； 具体包括： S301、 对分割识别结果进行解码， 输出物体的掩码Pm； S302、 对输出的掩码信息进行重心计算， 计算出该物体掩码的表示重心Gi； 通过该重心 来代表物体中心点坐 标Ci(i≥0)； 根据Pm进行最小 外接矩形计 算， 输出该掩码 表示的矩形框 Bi， 该矩形框表示物体的像素边框； S303、 根据待抓取物体的物理长度Al、 物理宽度Aw、 物理高度Ah和物体像素边框Bi计算实 际距离与像素距离的比例， 依据该比例关系和实际物体信息， 通过A ′l＝Al/Pl×Pl,A′w＝Al/ Pl×Pw,A′h＝Al/Pl×Ph计算出物体像素长宽高对应的物理长度A'l、 物理宽度A'w和物理高度 A'h， 将此数据与实际物理信息进行对比去除尺寸异 常物体信息， 即将其从中心点坐标数组 Ci(i≥0)和像素边框数组Bi中删除； S304、 将步骤S303输出的中心点坐标数组Ci(i≥0)和 像素边框数组Bi输入到自定义的 NMS算法中， 去除重IOU值大于设定阈值的中心点； S305、 对处理后的中心点 坐标Ci(i≥0)进行分组排序。 4.根据权利要求3所述的一种基于分割识别的三维机械臂自动 抓取方法， 其特征在于： 所述自定义的NMS算法步骤如下： S3041、 对输入的像素边框数组Bi按照置信度从大到小排序； S3042、 从像 素边框数组Bi中取第一个 元素B0， 计算元素B0与像素边框数组Bi中剩余所有 边框的IOU值， 当剩余元素中某个边框与元素B0的IOU值大于设定阈值时， 则将该元素从像 素边框数组Bi中删除， 并删除其对应的中心点 坐标从中心点 坐标数组Ci(i≥0)中删除； S3043、 将元 素B0从像素边框数组Bi中删除并保存至新的数组out_l ist中； S3044、 当像素边框数组Bi为空时， 输出out_l ist和Ci(i≥0)。 5.根据权利要求4所述的一种基于分割识别的三维机械臂自动 抓取方法， 其特征在于：权　利　要　求　书 1/3 页 2 CN 115157269 A 2所述对处 理后的中心点 坐标Ci(i≥0)进行分组排序， 包括： S3051、 声明一个空数组result_l ist和一个空数组l ist； S3052、 从中心点坐标数组Ci(i≥0)中取第一个， 计算元素C0与中心点坐标数组Ci(i≥ 0)中剩余元素y坐标的差值， 当元素C0坐标与剩余元素y的坐标差值小于设定阈值时， 则将 该元素从中心点 坐标数组Ci(i≥0)中删除， 同时将该 元素添加到list中； S3053、 将元素C0从中心点 坐标数组Ci(i≥0)中删除， 将元 素C0添加到list中； S3054、 对list中 的元素按照 x坐标大小从小到大进行排序， 将list添加到result_list 中； S3055、 当中心点 坐标数组Ci(i≥0)为空时， 输出result_l ist。 6.根据权利要求1所述的一种基于分割识别的三维机械臂自动 抓取方法， 其特征在于： 所述通过手眼标定算法确定待抓取物体在机械臂末端法兰盘坐标系下的单位坐标信息， 具 体包括： S101、 以机械臂底座中心建立机械臂底座坐标系， 以机械臂末端法兰盘中心建立机械 臂末端法兰盘坐标系， 以相机光圈中心建立相机坐标系， 以标定 板中心建立标定 板坐标系； S102、 在保证深度相机能够清晰拍摄标定板的前提下移动机械臂， 任意选择三个线性 不相关的标定点， 记录此时机械臂 位姿和机械臂末端法兰盘坐标系到机械臂底座坐标系的 转换矩阵 S103、 再次移动 机械臂， 任意选择三个线性不相关的标定点， 记录此时机械臂位姿和机 械臂末端法兰盘坐标系到 机械臂底座坐标系的转换矩阵 S104、 根据两次获取的位姿关系计算求得相机坐标系到机械臂末端法兰盘坐标系的转 换矩阵。 7.根据权利要求6所述的一种基于分割识别的三维机械臂自动 抓取方法， 其特征在于： 所述在保证深度相机能够清晰拍摄标定板的前提下移动机械臂， 任意选择三个线性不相关 的标定点， 记录此时机械臂 位姿和机械臂末端法兰盘坐标系到机械臂底座坐标系的转换矩 阵 具体包括： S1021、 深度相机检测出 标定点在标定 板坐标系下的坐标位置 S1022、 根据深度相机标定获取此 时的相机变换外参矩阵， 即从标定板坐标系到相机坐 标系的转换矩阵 S1023、 根据机械臂位姿获取此时机械臂末端法兰盘坐标系到机械臂底座坐标系的转 换矩阵 8.根据权利要求6所述的一种基于分割识别的三维机械臂自动 抓取方法， 其特征在于： 所述再次移动机械臂， 任意选择三个线性不相关的标定点， 记录此时机械臂位姿和机械臂 末端法兰盘坐标系到 机械臂底座坐标系的转换矩阵 具体包括： S1031、 再次移动机 械臂， 深度相机检测出 标定点在标定 板坐标系下的坐标位置 S1032、 根据深度相机标定获取此 时的相机变换外参矩阵， 即从标定板坐标系到相机坐 标系的转换矩阵 权　利　要　求　书 2/3 页 3 CN 115157269 A 3