(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210833431.0 (22)申请日 2022.07.14 (71)申请人 杭州新松机 器人自动化有限公司 地址 311200 浙江省杭州市萧 山区萧山临 江高新技术产业园区纬七路20 00号 (72)发明人 王浩吉　杨永帅　程欢　安金明　 蔡欢　刘翠苹　骆栋凯　李邦宇　 (74)专利代理 机构 杭州杭诚专利事务所有限公 司 33109 专利代理师 俞润体 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种复合机器人三维视觉伺服控制装置及 其控制方法 (57)摘要 本发明公开了一种复合机器人三维视觉伺 服控制装置及其控制方法， 所述方法包括： 当目 标物体开始运动后， 启动所述第一工业相机和第 二工业相机； 判断目标物体是否进入投影区域， 如果是， 则启动所述工业投影仪； 所述工业投影 仪在目标物体上投射出带有彩色条纹编码的结 构光； 获取带有结构光栅的目标物体图片； 将获 得的带有结构光栅的目标物体图片进行处理， 提 取图像中的彩色条纹编码； 将所述编码进行解 码， 并通过映射矩阵计算出目标物体的三维信 息； 复合机器人手臂根据三维信息对目标物体进 行抓取。 采用该方法， 由基于色彩条纹的结构光 的视觉来引导机器人手臂运动， 可以使复合机器 人作业更加灵活， 实现复杂工件的抓取和装配 。 权利要求书1页 说明书4页 附图1页 CN 115401686 A 2022.11.29 CN 115401686 A 1.一种复合机器人三维视 觉伺服控制装置， 其特 征在于， 包括： 投影模块： 固定于复合机器人机械臂末端， 用以向投影区域投射带有彩色条纹编码的 结构光； 影像感测模块:包括固定于复合机器人机械臂末端的至少两个工业相机， 用以采集目 标物体影像信息， 标定目标物体位置； 获取带有彩色条纹编码的结构光的目标物体影像信 息； 并将上述采集信息传送给处 理器； 伺服控制模块： 根据标定的目标物体位置调整复合机器人机械臂位置和角度， 使目标 物体居于投影区域内； 处理器： 输出第一控制信号到影像感测模块获取目标物体的标定信息， 判定目标物体 进入投影区域后输出第二控制 信号至伺服控制模块调整复合机器人机械臂 位姿， 输出第三 控制信号至投影模块向投影区域投射带有彩色条 纹编码的结构光； 输出第四控制 信号至影 像感测模块 获取带有彩色条纹编码的结构光的目标物体影像信息； 对目标物体影像信息上 的彩色条纹编 码解码获取目标物体三 维信息； 控制复合机器人机械臂根据目标物体三维信 息进行抓取动作。 2.根据权利要求1所述的一种复合机器人三维视觉伺 服控制装置， 其特征在于， 所述影 像感测模块根据所述第一控制 信号采集第一目标区域的目标物体影像区域， 第一目标区域 包括投影区域还 包括投影区域以外的区域。 3.根据权利要求1或2所述的一种 复合机器人三维视觉伺服控制装置， 其特征在于， 所 述处理器仅处 理对应上述投影区域内的带有彩色条纹编码的结构光的目标物体 影像信息。 4.根据权利要求3所述的一种复合机器人三维视觉伺 服控制装置， 其特征在于， 所述带 有彩色条纹编码的结构光采用彩色条纹伪随机序列空域编码图案 。 5.根据权利要求4所述的一种复合机器人三维视觉伺 服控制装置， 其特征在于， 影像感 测模块仅有两个工业相机， 所述投影模块设置在所述影 像感测模块的两个工业相机之间。 6.一种复合机器人三维视觉伺服控制方法， 其特征在于， 应用于如上述权利要求1~5任 一项所述的一种复合机器人三维视 觉伺服控制装置， 该 方法包括： 标定目标物体位置， 影像感测模块根据所述第一控制信号采集的标物体影像信息， 判 断目标物体进入投影区域的比例， 若投影区域内目标物体像素占投影区域像素第一百分比 及以上， 则标定为目标物体进入投影区域， 若投影区域内标定物体像素低于第一百分比， 则 标定为目标物体没有 进入投影区域。 7.根据权利要求6所述的一种复合机器人三维视 觉伺服控制方法， 其特 征在于， 包括： 启动复合机器人， 驱动复合机器人运动到预定位置后， 开启影像感测模块， 对影像感测 模块的工业相机进行参数 标定。 8.根据权利要求7所述的一种 复合机器人三维视觉伺服控制方法， 其特征在于， 包括： 启动影像感测模块后减小伺服控制模块对复合机器人机 械臂的控制增益。 9.根据权利要求8所述的一种复合机器人三维视觉伺 服控制方法， 其特征在于， 包括对 目标物体 影像信息上的彩色条纹编码解码， 并通过映射矩阵计算目标物体三维信息 。 10.根据权利要求9所述的一种复合机器人三维视觉伺服控制方法， 其特征在于， 所述 结构光由红色、 绿色、 蓝 色、 青色、 品红色及黄 色组成； 其颜色编码分别为红色1、 绿色2、 蓝 色 3、 青色4、 品红色5及黄色6 。权　利　要　求　书 1/1 页 2 CN 115401686 A 2一种复合 机器人三维视觉伺服控制装 置及其控制方 法 技术领域 [0001]本发明涉及机械手控制领域， 尤其涉及一种复合机器人三维视觉伺服控制装置及 其控制方法。 背景技术 [0002]在工业自动化装配和分拣操作 中， 需要由视觉来获取目标 图像， 并对图像进行处 理以提取目标 的位置信息， 由位置信息来引导复合机器人机械臂， 对其进行控制实现安装 和抓取工作， 这种技术被称为视觉伺服技术。 机器人视觉伺服是一种利用视觉信息对机器 人运动实施反馈控制的重要方法， 与传统控制方法相比， 能提供更高的设计灵活性、 任务精 度以及智能化水平。 与基于标定的运动学视觉伺服方法相比， 无标定动态视觉伺服方法无 需对系统参数进行精确标定从而 避免了精确标定的繁琐性和困难性。 [0003]现有视觉伺服技术中， 有场景视觉系统和混合视觉系统。 场景视觉系统中工业摄 像机固定在场景中的某处； 其缺点是不能灵活的获取四周的信息。 混合视觉系统中在机器 人手臂上安装一工业摄像机的同时， 在场景中也固定安装一工业摄像机。 通过两个工业摄 像机获得的目标位置信息精度较差， 得到的信息也 不够准确。 发明内容 [0004]本发明是为了克服现有技术的工业自动化装配和 分拣机械臂对目标位置定位精 度较差， 获取位置信息不准确的问题， 提供一种定位准确度高的复合机器人三维视觉伺服 控制装置及其控制方法。 [0005]为实现上述目的， 本发明采用以下技 术方案： 一种复合机器人三维视 觉伺服控制装置， 包括： 投影模块： 固定于复合机器人机械臂末端， 用以向投影区域投射带有彩色条纹编 码的结构光； 影像感测模块:包括固定于复合机器人机械臂末端的至少两个工业相机， 用以采 集目标物体影像信息， 标定目标物体位置； 获取带有彩色条纹编码的结构光的目标物体影 像信息； 并将上述采集信息传送给处 理器； 伺服控制模块： 根据标定 的目标物体位置调整复合机器人机械臂位置和角度， 使 目标物体居于投影区域内； 处理器： 输出第一控制信号到影像感测模块获取目标物体的标定信息， 判定目标 物体进入投影区域后输出第二控制信号至伺服控制模块调整复合机器人机械臂 位姿， 输出 第三控制 信号至投影模块向投影区域投射带有彩色条纹编 码的结构光； 输出第四控制 信号 至影像感测模块 获取带有彩色条纹编 码的结构光的目标物体影像信息； 对目标物体影像信 息上的彩色条纹编 码解码获取目标物体三维信息； 控制复合机器人机械臂 根据目标物体三 维信息进行抓取动作。 可以实现复合机器人机械臂相对于目标物体较高精度的定位， 以实 现准确的抓取或装配。说　明　书 1/4 页 3 CN 115401686 A 3