(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211032772.4 (22)申请日 2022.08.26 (71)申请人 上海电机学院 地址 200240 上海市闵行区江川路690号 (72)发明人 方若愚　蔡骋　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 廖程 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于多目视觉的双机械臂抓握系统控 制方法 (57)摘要 本发明涉及一种基于多目视觉的双机械臂 抓握系统控制方法， 包括： 搭建拟人型双机械臂， 拟人型双机械臂设置有多个关节舵机以及用于 控制各关节舵机工作状态的开发板； 构建三目视 觉识别分析系统， 三目视觉识别分析系统包括用 于采集目标物 不同视觉图像的三目视觉相机， 三 目视觉相机连接至处理器， 处理器用于进行图像 识别分析， 以及计算输出双机械臂各关节舵机的 控制指令； 处理器将控制指令传输给开发板， 进 而相应控制双机械臂完成对目标物的抓握操作。 与现有技术相比， 本发明能够实现对目标物的精 准定位及识别， 能够控制双机械臂 针对不同目标 物进行高效准确的单臂抓握操作或双臂协同抓 握操作。 权利要求书3页 说明书9页 附图9页 CN 115194774 A 2022.10.18 CN 115194774 A 1.一种基于多目视 觉的双机 械臂抓握系统控制方法， 其特 征在于， 包括以下步骤： S1、 搭建拟人型双机械臂， 所述拟人型双机械臂设置有多个关节舵机以及用于控制各 关节舵机 工作状态的开发板； S2、 构建三目视觉识别分析系统， 所述三目视觉识别分析系统包括用于采集目标物不 同视觉图像的三目视觉相 机， 所述三 目视觉相 机连接至处理器， 所述处理器用于进行图像 识别分析， 以及计算输出双机 械臂各关节舵机的控制指令； S3、 处理器将控制指令传输给开发板， 进而相应控制双机械臂完成对目标物的抓握操 作。 2.根据权利要求1所述的一种基于多目视觉的双机械臂抓握系统控制方法， 其特征在 于， 所述步骤S1具体包括以下步骤： S11、 根据人体关节划分， 将机 械臂的设计分为肩关节、 肘关节和腕关节； 为模仿人体 手臂的运动， 在每 个关节设置2个关节舵机用来分摊2个自由度； S12、 根据扭矩计算公式以及测量的关节长度， 计算出每个关节舵机对应的扭力数值， 以完成关节舵机的选型； S13、 将各关节舵机对应连接 至开发板， 以从开发板 接收相应控制指令 。 3.根据权利要求1～2任一所述的一种基于多目视觉的双机械臂抓握系统控制方法， 其 特征在于， 所述关节舵机具体采用磁编码纵向舵机 。 4.根据权利要求1～2任一所述的一种基于多目视觉的双机械臂抓握系统控制方法， 其 特征在于， 所述 开发板具体为URT ‑1开发板。 5.根据权利要求1所述的一种基于多目视觉的双机械臂抓握系统控制方法， 其特征在 于， 所述步骤S2中处 理器的具体工作过程包括： S21、 对三目视觉相机采集的图像进行实例分割， 以实现对图像 中目标物的识别以及提 取出待抓取目标的掩膜； S22、 针对提取 出的掩膜， 利用图像一阶矩计算出目标物质心像素坐标； 利用图像二阶矩计算出目标物的主轴与主轴方向角； S23、 利用三目立体视觉的空间坐标转换关系， 将目标物质心的像素坐标转换为空间坐 标， 同时根据主轴方向角计算出需要双机 械臂协同抓握的抓握点 位置； S24、 构建逆向运动学表， 结合主从控制原理， 计算得到双机械臂各关节舵机的控制指 令。 6.根据权利要求5所述的一种基于多目视觉的双机械臂抓握系统控制方法， 其特征在 于， 所述步骤S21具体是采用Mask ‑RCNN算法对三目视 觉相机采集的图像进行实例分割： 经过Mask ‑RCNN算法处理后的图像， 图像中显示有目标物体的置信框以及Mask ‑RCNN中 的mask分支、 有覆盖目标的mask； 导出mask分支中覆盖目标物体的掩膜， 修改mask矩阵颜色为白色255， 非目标物体设置 为黑色0； 将mask矩阵导出为jpg格式； 利用Open ‑cv内置库对处 理后的jpg图片进行图像预处 理操作； 对预处理后的图片进行灰度处理， 之后对灰度图像进行二值化处理， 通过设置阈值， 使 得图像mask部分为完整的连通状态， 同时使得图像中目标物与背景之间存在明显分割。权　利　要　求　书 1/3 页 2 CN 115194774 A 27.根据权利要求6所述的一种基于多目视觉的双机械臂抓握系统控制方法， 其特征在 于， 所述步骤S22具体包括以下步骤： S221、 利用图像矩， 根据包裹目标物体的掩膜， 求取二维平面下目标的质心： 其中， xi为掩膜上第i个点， n 为掩膜上总的点数； S222、 将二值图像像素综合表示为m00， 计算目标掩模图像的一阶矩m10和m01， 以确定灰 度图像的灰度中心： S223、 对于躺倒放置的目标物体， 在进行抓取时， 利用图像二阶矩计算目标物体的主轴 以及主轴方向角： 利用目标物体的主轴以及主轴方向角， 即可确定出双机 械臂的末端作用器旋转角度。 8.根据权利要求7所述的一种基于多目视觉的双机械臂抓握系统控制方法， 其特征在 于， 所述步骤S23具体包括以下步骤： S231、 求取相机内参数： 采集标定 图像， 通过调节相机的角度， 使得相机的视野能够覆盖整个待抓取的区域方 位， 之后调节相机的焦距以及亮度； 从三个视角的相机各拍摄多张标定板的图像， 同时保证每张图像中的标定板相差设定 的位姿； 根据真实标定 板的尺寸数值， 求得相机的内参矩阵； S232、 在标记完相机内参后， 利用三目立体视 觉进行坐标转换： 三目立体视觉模型由三台摄像机组成， 这三台摄像机的光轴分别成设定角度， 利用C1、 C2、 C3三台摄像机在成像平面上投影； 理想情况下， C1和C2组成的双目系统的测 量值、 C1和C3组成的双目系统的测 量值以及C2 和C3组成的双目系统的测量值， 都应该与被测点P的实际坐标重合， 即O1P1、 O2P2、 O3P3交于空 间中的点P也就是被测点P， 但在真实场景下， 双目系统存在一定误差， 测量值P1、 P2、 P3与被 测点P的实际坐标并不是完全重合， 而是相交于空间三个不同的点， 即O1P1、 O2P2、 O3P3两两相 交的点， 因此真实被测点P需通过双目视 觉的定位 算法求出； 基于双目视觉测量系统的误差， 利用三目视觉融合求解被测物空间三维坐标， 坐标转 换表达式变为齐次变换 形式：权　利　要　求　书 2/3 页 3 CN 115194774 A 3