(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111397930.1 (22)申请日 2021.11.24 (65)同一申请的已公布的文献号 申请公布号 CN 113822253 A (43)申请公布日 2021.12.21 (73)专利权人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 武晋　孙涛　 (74)专利代理 机构 天津盛理知识产权代理有限 公司 12209 代理人 赵瑶瑶 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06Q 10/04(2012.01)G06T 5/00(2006.01) G06T 7/246(2017.01) G06T 7/73(2017.01) (56)对比文件 CN 107643752 A,2018.01.3 0 CN 111256722 A,2020.0 6.09 CN 10972685 3 A,2019.0 5.07 CN 103170973 A,2013.0 6.26 审查员 邵娜娜 (54)发明名称 一种人机协作方法及系统 (57)摘要 本发明提供了一种人机协作方法及系统， 一 方面， 所述方法包括： S1， 通过第一相机获取协作 场景图像； S2， 基于协作场景图像判断协作场景 类型； S3， 通过第二相机获取人体动作图像； S4， 基于所述人体动作图像获取人体手部的起始位 置； S5， 基于所述协作场景类型获取人体手部的 终点位置； S6， 基于所述起始位置和所述终点位 置对人体手部的移动轨迹进行预测， 获得预测轨 迹； S7， 基于所述预测轨迹获取机器人的规划路 径。 另一方面， 本发明还提供了相应的系统用于 实现所述方法。 本发明使机器人的路径规划系统 能够感知协作场景和操作者的任务意图， 并基于 这些预测执行相应的预期运动， 实现机器人与机 器人使用者之间的流畅、 高效的协作。 权利要求书2页 说明书6页 附图1页 CN 113822253 B 2022.02.18 CN 113822253 B 1.一种人机协作方法， 其特 征在于， 包括： S1， 通过第一相机获取协作场景图像； S2， 基于协作场景图像判断协作场景类型； S3， 通过第二相机获取 人体的动作图像； S4， 基于所述动作图像获取 人体的手部的起始位置； S5， 基于所述场景类型获取 人体的手部的终点 位置； S6， 基于所述起始位置和所述终点位置对人体的手部的移动轨迹进行预测， 获得预测 轨迹； S7， 基于所述预测轨 迹获取机器人的规划路径； 所述基于协作场景图像判断协作场景类型， 包括： 获取所述协作场景图像的特 征信息； 将所述特征信 息与场景数据库中预存的场景类型特征信 息进行匹配， 获取协作场景图 像的特征信息对应的场景类型； 所述获取 所述协作场景图像的特 征信息， 包括： 将所述协作场景图像转换为灰度图像； 对所述灰度图像进行亮度调节处 理， 获得调节图像； 对所述调节图像进行降噪处 理， 获得降噪图像； 对所述降噪图像进行图像分割处 理， 获得前景图像； 使用预设的特 征获取算法获取 所述前景图像中包 含的特征信息； 所述将所述协作场景图像转换为灰度图像， 包括： 通过如下函数对转换 过程进行建模： 上述函数中， F(s)表示转换过程建模函数， α、 β、 δ表示预设的权重系数， α+β+δ＝1， grayu表示灰度图像中的所有像素点组成的集合， F'(s)表 示grayu中包含的像素点s的像素 值， 即为待求解的像素值， Gst(s)表示grayu中包含的像素点s在红色分量图像中对应的像 素点的像素值， 红色分量图像为协作场景图像在RGB颜色空间的红色分量的图像， ghu表示 像素点s的预设大小的邻域中的像素点的集合； Gst(t)表 示ghu中的像素点在红色分量图像 中对应的像素点的像素值， η(s)和 η(t)分别表示像素点s和像素点t在分量η对应的图像中 的像素值； 获取使得 F(s)最小时F'(s)的值， 将F'(s)的值作为像素点s的灰度值。 2.根据权利要求1所述的一种人机协作方法， 其特征在于， 所述第二相机包括双目RGB 相机或TOF相机或结构光相机 。 3.根据权利要求1所述的一种人机协作 方法， 其特征在于， 所述基于所述动作图像获取 人体的手部的起始位置， 包括： 对所述动作图像进行图像识别处 理， 获取所述动作图像中的手部区域的像素点；权　利　要　求　书 1/2 页 2 CN 113822253 B 2基于动作图像中包含的深度信息获取所述手部区域的像素点在全局坐标系中的三维 空间坐标； 计算所有属于手部区域的像素点的像素点的平均三维空间坐标， 将所述平均三维空间 作为人体的手部的起始位置 。 4.一种人机协作系统， 其特征在于， 包括第一相机模块、 第一图像处理模块、 第二相机 模块、 第二图像处 理模块、 终点获取模块、 轨 迹预测模块和路径规划模块； 所述第一相机模块用于通过第一相机获取协作场景图像； 所述第一图像处 理模块用于基于协作场景图像判断协作场景类型； 所述第二相机模块用于通过第二相机获取 人体的动作图像； 所述第二图像处 理模块用于基于所述动作图像获取 人体的手部的起始位置； 所述终点获取模块用于基于所述场景类型获取 人体的手部的终点 位置； 所述轨迹预测模块用于基于所述起始位置和所述终点位置对人体的手部的移动轨迹 进行预测， 获得 预测轨迹； 所述路径规划模块用于基于所述预测轨 迹获取机器人的规划路径； 所述基于协作场景图像判断协作场景类型， 包括： 获取所述协作场景图像的特 征信息； 将所述特征信 息与场景数据库中预存的场景类型特征信 息进行匹配， 获取协作场景图 像的特征信息对应的场景类型； 所述获取 所述协作场景图像的特 征信息， 包括： 将所述协作场景图像转换为灰度图像； 对所述灰度图像进行亮度调节处 理， 获得调节图像； 对所述调节图像进行降噪处 理， 获得降噪图像； 对所述降噪图像进行图像分割处 理， 获得前景图像； 使用预设的特 征获取算法获取 所述前景图像中包 含的特征信息； 所述将所述协作场景图像转换为灰度图像， 包括： 通过如下函数对转换 过程进行建模： 上述函数中， F(s)表示转换过程建模函数， α、 β、 δ表示预设的权重系数， α+β+δ＝1， grayu表示灰度图像中的所有像素点组成的集合， F'(s)表 示grayu中包含的像素点s的像素 值， 即为待求解的像素值， Gst(s)表示grayu中包含的像素点s在红色分量图像中对应的像 素点的像素值， 红色分量图像为协作场景图像在RGB颜色空间的红色分量的图像， ghu表示 像素点s的预设大小的邻域中的像素点的集合； Gst(t)表 示ghu中的像素点在红色分量图像 中对应的像素点的像素值， η(s)和 η(t)分别表示像素点s和像素点t在分量η对应的图像中 的像素值； 获取使得 F(s)最小时F'(s)的值， 将F'(s)的值作为像素点s的灰度值。权　利　要　求　书 2/2 页 3 CN 113822253 B 3