(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211141890.9 (22)申请日 2022.09.20 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、 38层 (72)发明人 李学龙　王栋　谢恺怡　 (74)专利代理 机构 上海智晟知识产权代理事务 所(特殊普通 合伙) 31313 专利代理师 李镝的 (51)Int.Cl. G06T 7/73(2017.01) G06T 1/00(2006.01) G06T 17/00(2006.01) G06N 3/04(2006.01) B25J 13/08(2006.01)B25J 18/00(2006.01) (54)发明名称 基于光电触觉传感器的目标主动探测方法 及系统 (57)摘要 本发明涉及机器人主动探测技术领域， 提出 一种基于光电触觉传感器的目标主动探测方法 及系统， 该方法包括下列步骤： 模拟光电触觉传 感器与物体模型的接触信息图像以生成触觉信 息数据集， 其中所述触觉信息数据集包括触觉信 息及其对应的物 体位姿； 由第一光电触觉传感器 与物体接触以生成第一接触信息图像， 其中所述 第一接触信息图像包括第一触觉信息； 由特征提 取模块根据所述第一触觉信息和所述触觉信息 数据集生成所述物体与所述第一光电触觉传感 器接触处的表 面形状点云； 重复所述第一光电触 觉传感器和所述特征提取模块执行的动作以生 成所述物体的局部稠 密点云； 以及由物体姿态估 计模块根据所述局部稠密点云进行点云重建以 生成所述物体的6D姿态信息 。 权利要求书2页 说明书5页 附图1页 CN 115511962 A 2022.12.23 CN 115511962 A 1.一种基于光电触觉传感器的目标主动探测方法， 其特 征在于， 包括下列步骤： 模拟光电触觉传感器与物体模型的接触信 息图像以生成触觉信 息数据集， 其中所述触 觉信息数据集包括触觉信息及其对应的物体位姿； 由第一光电触觉传感器与物体接触以生成第 一接触信 息图像， 其中所述第 一接触信 息 图像包括第一触觉信息； 由特征提取模块根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述 第一光电触觉传感器接触处的表面形状点云； 生成所述物体的多个所述表面形状点云以生成所述物体的局部稠密点云； 以及 由物体姿态估计模块根据所述局部稠密点云进行点云重建 以生成所述物体的6D姿态 信息。 2.根据权利要求1所述的基于光电触觉传感器的目标主动探测方法， 其特征在于， 所述 第一触觉信息包括RGB信息， 由特征提取模块根据所述第一触觉信息和所述触觉信息数据 集生成所述物体与所述第一 光电触觉传感器接触处的表面形状点云包括下列步骤： 根据所述RGB信息生成所述第一 光电触觉传感器的表面形变信息； 根据所述第一触觉信息和所述触觉信息数据集确定所述物体的位姿； 以及 根据所述表面形变信息以及所述位姿生成所述物体与所述第一光电触觉传感器接触 处的表面形状点云。 3.根据权利要求1所述的基于光电触觉传感器的目标主动探测方法， 其特征在于， 还包 括： 对所述触觉信息数据集进行 数据预处 理以生成训练数据集以及测试 数据集； 以及 通过所述训练数据集以及所述测试数据集对所述特征提取模块以及所述物体姿态估 计模块进行训练和 测试。 4.根据权利要求1所述的基于光电触觉传感器的目标主动探测方法， 其特征在于， 还包 括： 根据所述6D姿态信息指导机 械臂与所述物体进行 下游交互任务。 5.根据权利要求1所述的基于光电触觉传感器的目标主动探测方法， 其特征在于， 在仿 真环境下模拟光电触觉传感器与 物体模型的接触信息图像以生成触觉信息数据集， 并且在 所述触觉信息数据集上叠加， 真实的光电触觉传感器的背景和噪声。 6.根据权利要求2所述的基于光电触觉传感器的目标主动探测方法， 其特征在于， 所述 第一光电触觉传感器包括RGB  LED模块以及相机模块， 其中所述相机模块拍摄所述物体在 与第一光电触觉传感器接触时的LED所 呈现的颜色变化以生成所述第一触觉信息 。 7.根据权利要求6所述的基于光电触觉传感器的目标主动探测方法， 其特征在于， 所述 特征提取模块包括编码网络以及解码网络， 其中所述编码网络基于卷积神经网络， 所述解 码网络包括多个上采样层。 8.一种基于光电触觉传感器的目标主动探测系统， 其特征在于， 运行权利要求1 ‑7之一 所述的基于光电触觉传感器的目标主动探测方法， 该系统包括： 数据生成模块， 其被配置为模拟光电触觉传感器与物体模型的接触信 息图像以生成触 觉信息数据集， 其中所述触觉信息数据集包括触觉信息及其对应的物体位姿； 第一光电触觉传感器， 其被配置为与物体接触以生成第一接触信息 图像， 其中所述第权　利　要　求　书 1/2 页 2 CN 115511962 A 2一接触信息图像包括第一触觉信息； 特征提取模块， 其被配置为根据所述第 一触觉信 息和所述触觉信 息数据集生成所述物 体与所述第一光电触觉传感器接触处的表面形状点云， 其中所述第一光电触觉传感器和所 述特征提取模块所 执行的动作被 配置为多次重复以生成所述物体的局部稠密点云； 以及 物体姿态估计模块， 其被配置为根据 所述局部稠密点云进行点云重建以生成所述物体 的6D姿态信息 。 9.一种机器人， 其特 征在于， 包括： 执行器， 其被 配置为执 行目标主动探测动作； 以及 控制器， 其被 配置为执 行根据权利要求1至7之一所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115511962 A 3