(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210876315.7 (22)申请日 2022.07.25 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 付宜利　顾建军　李恩博　朱世强　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 陈洁 (51)Int.Cl. B25J 9/16(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种杂乱环境机器人6自由度抓取姿态 生成 方法 (57)摘要 本发明属于机器人抓取与操作技术领域， 公 开了一种杂乱环境机器人6自由度抓取姿态生成 方法， 包括S1： 训练数据集生成； S2： 神经网络训 练； S3： 预测结果转换到抓取姿态 齐次矩阵。 本发 明是一种端到端的6自由度抓取姿态生成方法， 即输入场景点云直接输出场景中每个物体的多 样密集的成功的抓取姿态。 姿态的多样性可以保 证机器人在考虑避障与运动学约束时仍能更够 满足抓取； 具体执行时选择网络预测的指向点概 率最大的且机器人有运动学解的抓取姿态执行； 不需要长时间的采样过程与抓取姿态评估过程， 相比于3‑4自由度的抓取姿态更具有通用性； 提 出的新的抓取姿态表示方法只需要预测gi＝ (qi,ai,θi,di)四个量， 且不需要向量间正交约 束， 更有利于神经网络的学习。 权利要求书2页 说明书5页 附图2页 CN 115366095 A 2022.11.22 CN 115366095 A 1.一种杂乱 环境机器人6自由度抓取姿态生成方法， 其特 征在于， 包括如下步骤： S1： 训练数据集 生成； S2： 神经网络训练； S3： 预测结果 转换到抓取姿态齐次矩阵。 2.根据权利要求1所述的杂乱环境机器人6自由度抓取姿态生成方法， 其特征在于， 所 述S1包括如下 具体步骤： 使用仿真环境对合成的物体进行抓取姿态采样， 仿真场景包含一张桌子， 桌面上随机 散落放置1至12个物体， 在重力作用下静态稳定； 使用对映采样， 在物体网格表面采样任意 一点设为平行夹爪的第一个接触点， 在该点与点处的法向量可以获得圆锥体， 在圆锥内采 样一条线， 该线于物体网格的交点为第二个接触点， 随后根据在两接触点中间的中心点与 直线做均匀旋转采样， 去除与夹爪发生碰撞的姿态和与夹爪手指之 间的空间没有交集的姿 态， 重复以上步骤直到获得足够多的抓取姿态候选， 在仿 真环境下对获得的候选姿态评估， 对在每个候选姿态下的夹爪闭合手指直到达到力的阈值或者手指 完全闭合了， 最后执行一 个晃动动作:夹爪首先沿着其接近方向上下移动， 然后围绕与手指移动关节轴平行 的直线 旋转， 通过测试物体是否仍然与两个手指接触来记录抓取成功， 获得抓取姿态集合G＝ {g1…gn}， g＝(q,a, θ,d)。 3.根据权利要求1所述的杂乱环境机器人6自由度抓取姿态生成方法， 其特征在于， 所 述S2包括如下 具体步骤： S21： 数据预处 理： 对S1生成的数据集进行抓取姿态映射： 数据集中物体都是网格， 从单一视角获取桌面 网格场景点云 对于每个点标注是否时 抓取成功的 指向 点 其中qj∈P是物体网格的成功抓取姿态的指向点， r是 最大半径， P+＝{pi|si＝1}表示指向点的集 合， S22： 构建神经网络结构： 基于PointNet++网络结构构建U形神经网络； 该网络的输入是从单一视角场景中随机 选取的20000个点， 输出是对2048个点预测的抓取姿态即g＝(q,a, θ,d)， 网络包含四个预测 头， 通过一维卷积实现， 分别预测每个点的输出： 是否是 成功抓取的指向点 指向点处 的接近向量 抓取方向向量的转角 和手抓原点与指向点的偏移量 S23： 几何损失计算与数据训练： 对每个点进行是否是抓取成功的指向点预测， 使用二值2交叉熵损失函数， 反向传播误 差最大的k个点的误差lbce,k， 在夹爪上方选取5个3D点 来表示夹爪姿态， 将这些点 根据真实值和预测值进行旋转平 移坐标变换计算几何损失： 只对预测是成功抓取指向点的抓取姿态进行误差反向传播：权　利　要　求　书 1/2 页 2 CN 115366095 A 2总体误差为 l＝α lbce,k+β lg； 使用Adam优化器进行参数优化， 点云坐标被转化到相机坐标系下， 在训练过程中加入 数据增强算法给点云添加高斯噪声 使算法更 具有鲁棒 性。 4.根据权利要求1所述的杂乱环境机器人6自由度抓取姿态生成方法， 其特征在于， 所 述S3包括如下 具体步骤： 根据旋转平 移定义将预测输出 结果g＝(q,a, θ,d)转变为齐次矩阵: g＝(Rg,tg)∈SE(3)； Rg＝[b c a]； tg＝‑da， 其中c＝a ×b， Rg,tg分别是夹爪的旋转矩阵与平移向量， d是指向点q到夹爪坐标原点o 的偏移距离， q为场景点云中的一个(x， y， z)三维点， 向量b是平行夹爪手指的运动方向， 方 向只需要人为指定即可， 因夹爪本质上是一种对称结构， 指定的方向只要最终符合右手坐 标系即可， 向量a是夹爪接近方向， 向量b利用桌面法向量表示， 当桌面法向量n与a不平行 时， n与a可 以构建一个平面， 该平面的法向量为l， 则b与l之间存在向量夹角 θ， b被表示为 当n与a平行时 ， 定义夹 角θ为桌面坐标系X 轴与b之间的 夹 角， 5.根据权利要求4所述的杂乱环境机器人6自由度抓取姿态生成方法， 其特征在于， 所 述向量a是预测的结果， 只需要进行向量积计算， 若平行则有1 ‑abs(n·a)< ε， ε是一个小量， 取1e‑6。权　利　要　求　书 2/2 页 3 CN 115366095 A 3