(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111656936.6 (22)申请日 2021.12.3 0 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 陶波　唐晶　龚泽宇　尹周平　 (74)专利代理 机构 华中科技大 学专利中心 42201 代理人 孔娜 (51)Int.Cl. G06T 7/70(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06F 17/16(2006.01) (54)发明名称 一种基于轻量级卷积神经网络的抓取位姿 检测方法及设备 (57)摘要 本发明属于机器人抓取位姿检测相关技术 领域， 其公开了一种基于轻量级卷积神经网络的 抓取位姿检测方法及设备， 包 括以下步骤： (1)基 于网络收敛性指标构建模型； (2)基于包含待抓 取物体RGB‑D信息和抓取位姿检测框的抓取数据 集来训练模型； (3)基于 未知物体的RGB ‑D图像及 模型得到抓取质量特征图、 抓取角度特征图及抓 取宽度特征图； (4)索引抓取质量最大的位置， 基 于此确定抓取角度及夹爪宽度， 继而确定机器人 的抓取姿态； (5)计算获得机器人坐标系下的机 器人抓取位姿。 该模型参数量及浮点计算数目 少， 能够在计算和存储资源受限的边缘计算设备 上实现未知 物体的实时抓取位姿估计， 赋能基于 边缘计算设备的针对未知物体的机器人抓取领 域。 权利要求书2页 说明书7页 附图3页 CN 114332209 A 2022.04.12 CN 114332209 A 1.一种轻量级卷积神经网络的抓取位姿检测方法， 其特 征在于， 该 方法包括以下步骤： (1)基于网络收敛性指标构建轻量级卷积神经网络模型； (2)对包含待抓取物体RGB ‑D信息和抓取位姿检测框的抓取数据集进行增强操作， 基于 增强后的包含抓取物体RGB ‑D信息和抓取位姿检测框的抓取数据集来训练轻量级 卷积神经 网络模型； (3)将所获取的、 未知物体的RGB ‑D图像信息输入训练好的轻量级卷积神经网络模型， 以得到RGB ‑D图像对应的抓取质量特 征图、 抓取角度特 征图及抓取宽度特 征图； (4)索引抓取质量特征图中的抓取质量最大的位置， 同时基于抓取角度特征图及抓取 宽度特征图确定抓取角度及夹爪宽度， 继而确定图像坐标系下机器人的抓取姿态； (5)基于图像坐标系与机器人坐标系之间的转换关系及图像坐标系下机器人的抓取姿 态计算获得机器人坐标系下的机器人抓取位姿。 2.如权利要求1所述的轻量级卷积神经网络的抓取位姿检测方法， 其特征在于： 未知物 体的RGB‑D图像是通过本地的深度相机获取的。 3.如权利要求1所述的轻量级卷积神经网络的抓取位姿检测方法， 其特征在于： 所述轻 量级卷积神经网络模型由一个9*9卷积层、 三个3*3MBconv块、 两个5*5MBconv块、 两个4*4反 卷积层和一个9*9反卷积层顺次连接构成。 4.如权利要求1所述的轻量级卷积神经网络的抓取位姿检测方法， 其特征在于： 网络收 敛性指标的计算公式为： 其中， 对应于普通卷积层和反卷积层的网络收敛性指标， 对应于残差 块的网络收敛性指标， 对应于MBconv块的网络收敛性指标。 5.如权利要求 4所述的轻量级卷积神经网络的抓取位姿检测方法， 其特 征在于： 其中， d是卷积层的深度， 为每层卷积层的维度， L是对应残差块或者MBconv块的个 数， 为残差块中非shortcut通路的放缩系数， ηSE为MBconv块中SE层内非shortcut通路的 放缩系数， ηMB为MBconv块中非shor tcut通路的放缩系数。 6.如权利要求1所述的轻量级卷积神经网络的抓取位姿检测方法， 其特征在于： 训练过权　利　要　求　书 1/2 页 2 CN 114332209 A 2程中使用的损失函数为： 其中： 式中， 是第i张图片上的第k个抓取真实值， 是模型对于第i张图片上的第k个抓取 的预测。 7.如权利要求1所述的轻量级卷积神经网络的抓取位姿检测方法， 其特征在于： 图像坐 标系下机器人的抓取姿态为： Gr＝(Q， P， Φr， Wr) 其中， Q是机器人抓取质量分数， P＝(x， y， z)是机器人坐标系下机器人最优抓取位置的 中心， Φr是机器人末端抓取姿态在机器人坐标系中的转角， Wr是机器人末端执行器在机器 人坐标系中所张开的角度。 8.如权利要求1所述的轻量级卷积神经网络的抓取位姿检测方法， 其特征在于： 从图像 坐标系到相机坐标系间机器人抓取的转换关系为: Gr＝Trc(Tci(Gi)) 其中， Trc是从相机坐标系到机器 人坐标系的转换矩阵， Tci是从RGB‑D坐标系到相机坐标 系的转换矩阵； 其中， Gi＝(Q， S， Φi， Wi) 其中， Q是机器人抓取质量分数， S＝(u， v)是RGB ‑D图像坐标系下机器人最优抓取位置 的中心， Φi是机器人末端抓取姿态在图像坐标系中的转角， Wi是机器人末端执行器在图像 坐标系中所张开的角度。 9.一种计算机可读存储介质， 其特征在于： 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处理器执行时实现如权利要求1～8任一项 所述的轻量级 卷积神经网络 的抓取位姿检测方法。 10.一种轻量级卷积神经网络的抓取位姿检测设备， 其特征在于， 包括如权利要求9所 述的计算机可读存储介质以及处理器， 处理器用于调用和处理计算机可读存储介质中存储 的计算机程序。权　利　要　求　书 2/2 页 3 CN 114332209 A 3