(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211160460.1 (22)申请日 2022.09.22 (71)申请人 北京理工华汇智能科技有限公司 地址 102629 北京市大兴区中关村科技园 区大兴生物医药产业基地永旺西路26 号院6号楼四层5 07室 (72)发明人 张伟民　熊凌轩　杨宇航　徐毅　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 万慧华 (51)Int.Cl. B25J 9/16(2006.01) B25J 11/00(2006.01) G06T 1/00(2006.01) G06T 7/70(2017.01) (54)发明名称 一种基于机器视觉的钢筋 绑扎方法及系统 (57)摘要 本发明涉及一种基于机器视觉的钢筋绑扎 方法及系统。 该方法包括根据深度相机的视野参 数以及钢筋操作面的尺寸参数确定深度相机在 钢筋操作面的拍摄点的坐标； 在第一拍摄点， 利 用深度相机获取待绑扎钢筋的图像信息； 根据所 述图像信息确定钢筋交叉点的像素坐标； 对钢筋 交叉点进行排序， 确定钢筋绑扎规划路线； 根据 钢筋绑扎规划路线控制机械臂依次进行钢筋绑 扎； 第一拍摄点的钢筋绑扎的任务完成后， 获取 下一拍摄点的图像信息， 返回所述根据所述图像 信息确定钢筋交叉点的像素坐标的步骤， 直至完 成所有拍摄点的钢筋绑扎的任务。 本发明能够避 免钢筋交叉点重复绑扎、 漏绑的问题， 并且能够 提高钢筋 绑扎效率。 权利要求书3页 说明书7页 附图4页 CN 115464652 A 2022.12.13 CN 115464652 A 1.一种基于机器视觉的钢筋绑扎方法， 所述钢筋绑扎方法应用于桁架式钢筋绑扎机器 人， 所述桁架式钢筋绑 扎机器人中机械臂末端搭载深度相机； 其特征在于， 所述钢筋绑 扎方 法包括： 根据深度相机的视野参数以及钢筋操作面的尺寸参数确定深度相机在钢筋操作面的 拍摄点的坐标； 在第一拍摄点， 利用深度相机获取待绑扎钢筋的图像信息； 所述图像信息包括： RGB图 像和深度图像； 根据所述图像信息确定钢筋交叉点的像素坐标； 对钢筋交叉点进行排序， 确定钢筋 绑扎规划路线； 根据钢筋 绑扎规划路线控制机 械臂依次进行钢筋 绑扎； 第一拍摄点的钢筋绑扎的任务完成后， 获取下一拍摄点的图像信息， 返回所述根据所 述图像信息确定钢筋交叉点的像素坐标的步骤， 直至 完成所有拍摄点的钢筋 绑扎的任务。 2.根据权利要求1所述的一种基于机器视觉的钢筋绑扎方法， 其特征在于， 所述根据 所 述图像信息确定钢筋交叉点的像素坐标， 之后还 包括： 根据所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢筋交叉点的像素坐标确 定像素值差； 判断所述像素值差是否小于像素阈值； 若小于， 则确定所述钢筋交叉点已完成绑扎， 并删除所述钢筋交叉点； 若大于等于， 则确定所述钢筋交叉点未完成绑扎， 并将所述钢筋交叉点加入到未绑扎 交叉点列表。 3.根据权利要求1所述的一种基于机器视觉的钢筋绑扎方法， 其特征在于， 所述对钢筋 交叉点进行排序， 确定钢筋 绑扎规划路线， 具体包括： 将所有待排序的钢筋交叉点添加到集 合Q中； 对集合Q中的全部钢筋交叉点按照x轴坐标 大小进行升序排列； 将集合Q中的第一个钢筋交叉点的x轴坐标作为 参考值， 遍历排序后的钢筋交叉点； 若被遍历的钢筋交叉点的x轴坐标与第一个钢筋交叉点的x轴坐标之差的绝对值小于 设定像素值， 则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点同一横向钢筋条上 的钢筋交叉点； 将同一横向钢筋条 上的钢筋交叉点作为 一组； 若当前组数是奇数组钢筋交叉点， 则将对应的钢筋交叉点按照y轴坐标进行升序排列 依次添加到绑扎 规划路线R中； 若当前组数是偶数组钢筋交叉点， 则将对应的钢筋交叉点按照y轴坐标进行降序排列 依次添加到绑扎 规划路线R中； 将当前组的钢筋交叉点从集合Q中剔除， 并返回所述将集合Q中的第 一个钢筋交叉点的 x轴坐标作为参考值， 遍历排序后的钢筋交叉点的步骤， 直至集合Q为空集合， 确定出钢筋绑 扎规划路线。 4.根据权利要求1所述的一种基于机器视觉的钢筋绑扎方法， 其特征在于， 所述根据钢 筋绑扎规划路线控制机 械臂依次进行钢筋 绑扎， 具体包括： 根据所述深度相机的参数将所述钢筋绑扎规划路线中钢筋交叉点的像素坐标转换为权　利　要　求　书 1/3 页 2 CN 115464652 A 2相机坐标系下的坐标； 获取机械臂位置信息； 根据机械臂位置信息， 将相机坐标系下的钢筋交叉点坐标转换为世界坐标系下的坐 标。 5.一种基于机器视觉的钢筋绑扎系统， 所述钢筋绑扎系统应用于权利要求1 ‑4中任意 一项所述的一种基于 机器视觉的钢筋 绑扎方法； 其特 征在于， 所述钢筋 绑扎系统包括： 拍摄点的坐标确定模块， 用于根据深度相机的视野参数以及钢筋操作面的尺寸参数确 定深度相机在钢筋操作面的拍摄点的坐标； 图像信息获取模块， 用于在第 一拍摄点， 利用深度相机获取待绑扎钢筋的图像信 息； 所 述图像信息包括： RGB图像和深度图像； 钢筋交叉点的像素坐标确定模块， 用于根据所述图像信息确定钢筋交叉点的像素坐 标； 钢筋绑扎规划路线确定模块， 用于对钢筋交叉点进行排序， 确定钢筋 绑扎规划路线； 钢筋绑扎模块， 用于根据钢筋 绑扎规划路线控制机 械臂依次进行钢筋 绑扎； 钢筋绑扎的任务完成模块， 用于第一拍摄点的钢筋绑扎的任务完成后， 获取下一拍摄 点的图像信息， 返回所述根据所述钢筋交叉点的像素坐标确定模块， 直至完成所有拍摄点 的钢筋绑扎的任务。 6.根据权利要求5所述的一种基于 机器视觉的钢筋 绑扎系统， 其特 征在于， 还 包括： 像素值差确定模块， 用于根据 所述钢筋交叉点的像素坐标以及已绑扎交叉点列表中钢 筋交叉点的像素坐标确定像素值差； 第一判断模块， 用于判断所述像素值差是否小于像素阈值； 钢筋交叉点删除模块， 用于若小于， 则确定所述钢筋交叉点已完成绑扎， 并删除所述钢 筋交叉点； 未绑扎交叉点列表更新模块， 用于若大于等于， 则确定所述钢筋交叉点未完成绑扎， 并 将所述钢筋交叉点加入到未绑扎交叉点列表。 7.根据权利要求5所述的一种基于机器视觉的钢筋绑扎系统， 其特征在于， 所述钢筋绑 扎规划路线确定模块具体包括： 集合Q确定单元， 用于将所有 待排序的钢筋交叉点添加到集 合Q中； 第一排序单元， 用于对集 合Q中的全部钢筋交叉点按照x轴坐标 大小进行升序排列； 钢筋交叉点遍历单元， 用于将集合Q中的第一个钢筋交叉点的x轴坐标作为参考值， 遍 历排序后的钢筋交叉点； 分组单元， 用于若被遍历的钢筋交叉点的x轴坐标与第 一个钢筋交叉点的x轴坐标之差 的绝对值小于 设定像素值， 则将所述被遍历的钢筋交叉点确定为与第一个钢筋交叉点同一 横向钢筋条 上的钢筋交叉点； 将同一横向钢筋条 上的钢筋交叉点作为 一组； 绑扎规划路线第一更新单元， 用于若当前组数是奇数组钢筋交叉点， 则将对应的钢筋 交叉点按照y轴坐标进行升序排列依次添加到绑扎 规划路线R中； 绑扎规划路线第二更新单元， 用于若当前组数是偶数组钢筋交叉点， 则将对应的钢筋 交叉点按照y轴坐标进行降序排列依次添加到绑扎 规划路线R中； 钢筋绑扎规划路线确定单元， 用于将当前组的钢筋交叉点从集合Q中剔除， 并返回所述权　利　要　求　书 2/3 页 3 CN 115464652 A 3