(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210925672.8 (22)申请日 2022.08.02 (71)申请人 深圳微美 机器人有限公司 地址 518048 广东省深圳市福田区梅林街 道梅都社区中康路136号深圳新一代 产业园2栋417 (72)发明人 朱祥　何超　 其他发明人请求 不公开姓名　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 帅梦媛 (51)Int.Cl. B25J 9/16(2006.01) A61B 34/30(2016.01) A61B 34/10(2016.01)A61B 17/00(2006.01) (54)发明名称 机器人控制方法、 系统、 计算机设备、 存储介 质 (57)摘要 本申请涉及一种机器人控制方法、 系统、 计 算机设备、 存储介质。 所述方法包括： 获取从两个 不同方位对目标部位进行拍摄所得到的双目自 然图像； 识别双目自然 图像中的各关键对象， 并 获取各关键对象分别在相机坐标系中的第一坐 标； 分别将各第一坐标转换到机器人坐标系中， 得到各关键对象分别在机器人坐标系中的第二 坐标； 根据至少一个第二坐标获取路径轨迹， 路 径轨迹用于控制机器人按照路径轨迹执行预设 操作。 采用本方法无需手动调整机器人姿态， 能 够降低机器人的操作难度并提高机器人的工作 效率。 权利要求书3页 说明书14页 附图15页 CN 115179294 A 2022.10.14 CN 115179294 A 1.一种机器人控制方法， 其特 征在于， 所述方法包括： 获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像， 并获取所述双目自 然图像中的各关键对象的双目匹配结果， 根据各所述关键对象的双目匹配结果确定视觉里 程计； 根据视觉里程计确定相机坐标系， 并获取各所述关键对象分别在相机坐标系中的第 一 坐标； 分别将各第 一坐标转换到机器人坐标系中， 得到各所述关键对象分别在机器人坐标系 中的第二 坐标； 基于目标操作需求获取约束条件， 根据至少一个第 二坐标和所述约束条件进行非线性 二次规划， 得到路径轨迹， 所述路径轨迹用于控制 机器人按照所述路径轨迹执行与所述 目 标操作需求对应的预设操作。 2.根据权利要求1所述的方法， 其特征在于， 所述获取所述双目自然图像中的各关键对 象的双目匹配结果， 包括： 对所述左目图像进行特征提取， 以识别所述左目图像中各关键对象分别对应的左目特 征点； 对所述右目图像进行特征提取， 以识别所述右目图像中各关键对象分别对应的右目特 征点； 基于双目标定参数， 对至少一个左目特征点以及至少一个右目特征点进行双目匹配， 得到至少一个特征点对， 将至少一个特征点对作为所述双目匹配结果； 所述特征点对包括 一个左目特 征点和一个右目特 征点。 3.根据权利要求1所述的方法， 其特征在于， 所述根据视觉里程计确定相机坐标系， 包 括： 根据所述视觉里程计获取双目相机空间位姿信 息， 并根据 所述双目相机空间位姿信 息 确定所述相机坐标系。 4.根据权利要求1所述的方法， 其特征在于， 所述获取各所述关键对象分别在相机坐标 系中的第一 坐标， 包括： 在所述相机坐标系中， 通过三角测量计算各关键对象对应的深度信息； 根据所述深度信 息获取各关键对象在所述相机坐标系中的三维坐标， 将所述三维坐标 作为所述第一 坐标。 5.根据权利要求1所述的方法， 其特征在于， 所述分别将各第 一坐标转换到机器人坐标 系中， 得到各 所述关键对象分别在机器人坐标系中的第二 坐标， 包括： 根据双目相机和机器人的位置关系确定手眼标定参数； 所述双目相机是拍摄所述双目 自然图像的相机； 基于所述手眼标定参数确定第 一坐标转换矩阵， 根据所述第 一坐标转换矩阵对各第 一 坐标进行计算， 得到与各第一坐标分别对应的第二坐标， 作为各所述关键对 象分别在机器 人坐标系中的第二 坐标。 6.根据权利要求1所述的方法， 其特征在于， 所述基于目标操作需求获取约束条件， 根 据至少一个第二 坐标和所述约束条件进行非线性 二次规划， 得到路径轨 迹， 包括： 根据至少一个第二 坐标建立轨 迹函数， 以及获取轨 迹分段数；权　利　要　求　书 1/3 页 2 CN 115179294 A 2对所述轨 迹函数关于时间求 导， 得到轨迹导数通项式； 根据所述轨 迹分段数和所述约束条件， 获取 所述轨迹导数通项式对应的轨 迹多项式； 基于所述目标操作需求构建所述轨迹多项式的目标函数和边界条件； 基于所述目标函 数、 所述边界条件和所述约束条件， 求 解所述轨 迹多项式， 得到所述路径轨 迹。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 根据所述路径轨迹控制机器人执行预设操作， 所述根据 所述路径轨迹控制机器人执行 预设操作， 包括： 根据所述路径轨迹 中的各第 二坐标分别确定一组机器人关节参数； 所述一组机器人关 节参数包括多个子关节参数， 所述子关节参数用于控制所述机器人的各关节运动； 根据至少一组机器人关节参数控制所述机器人的各关节运动， 以实现所述机器人按照 所述路径轨 迹执行预设操作。 8.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 根据目标部位的双目自然图像获取 所述相机坐标系中的靶标坐标； 根据所述靶标坐标确定靶标位姿偏差； 根据所述靶标位姿偏差修 正所述第二 坐标； 所述根据至少一个第二坐标和所述约束条件进行非线性二次规划， 得到路径轨迹， 包 括： 根据至少一个修正后的第 二坐标和所述约束条件进行非线性二 次规划， 得到修正后的 路径轨迹。 9.根据权利要求1至8中任一项所述的方法， 其特 征在于， 所述方法还 包括： 按照预设周期检测所述机器人的运行参数； 在所述运行参数满足预设故障条件的情况 下， 获取所述运行参数对应的故障类型； 根据所述故障类型对所述机器人 执行相应类别的停机操作。 10.一种计算机设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。 12.一种机器人控制系统， 其特 征在于， 所述系统包括： 控制台车， 用于获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像， 并 获取所述双目自然图像中的各关键对象的双目匹配结果， 根据各所述关键对象的双目匹配 结果确定视觉里程计； 根据视觉里程计确定相 机坐标系， 并获取各所述关键对 象分别在相 机坐标系中的第一坐标； 分别将各第一坐标转换到机器人坐标系中， 得到各所述关键对 象 分别在机器人坐标系中的第二坐标； 基于目标操作需求获取约束条件， 根据至少一个第二 坐标和所述约束条件进行非线性 二次规划， 得到路径轨 迹； 机械臂， 其安装于所述控制台车上， 用于按照所述路径轨迹执行与所述目标操作需求 对应的预设操作； 以及 末端执行机构， 其安装于所述机械臂的末端， 用于随所述机械臂运动， 按照所述路径轨 迹执行与所述目标操作需求对应的预设操作。 13.根据权利要求12所述的系统， 其特 征在于， 所述系统还 包括：权　利　要　求　书 2/3 页 3 CN 115179294 A 3