(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111610266.4 (22)申请日 2021.12.27 (71)申请人 光沦科技 （深圳） 有限公司 地址 518063 广东省深圳市南 山区粤海街 道高新区社区高新南七道018号高新 工业村R3 -B栋01层204 (72)发明人 田宜彬　王凌　陈伟　陈刚　刘诚　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 江银会 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/11(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) (54)发明名称 基于多模传感器的信息自动获取方法及装 置 (57)摘要 本发明公开了一种基于多模传感器的信息 自动获取方法及装置， 所述多模传感器 设置有光 学柔性膜以及发射预设红外波长段光照射所述 光学柔性膜的红外光源， 所述红外光源处于开启 状态； 该方法包括： 基于所述多模传感器采集目 标物体对应的图像， 并对所述目标物体对应的 图 像进行分割， 得到所述目标物体的第一图像以及 所述光学柔性膜的第一红外图像； 根据所述第一 图像， 分析所述目标物体的信息； 根据所述第一 红外图像， 分析所述目标物体作用于所述光学柔 性膜的接触力的信息。 可见， 本发明通过不受电 磁干扰且分辨率高的视觉 ‑触觉多模传感器采集 物体的图像和光学柔性膜红外图像， 并同时进行 分析， 能够提高物体的视觉信息和触觉信息的分 析精准性及效率。 权利要求书5页 说明书22页 附图4页 CN 114255191 A 2022.03.29 CN 114255191 A 1.一种基于多模传感器的信息自动获取方法， 其特征在于， 所述多模传感器设置有光 学柔性膜以及发射预设红外波长段光照射所述光学柔性膜的红外光源， 所述红外光源处于 开启状态； 所述方法包括： 基于所述多模传感器采集目标物体对应的图像， 并对所述目标物体对应的图像进行分 割， 得到所述 目标物体的第一图像以及所述光学柔性膜的第一红外图像， 所述第一红外图 像为当所述目标物体作用于所述 光学柔性膜时采集到的图像； 根据所述第一图像， 分析 所述目标物体的信息； 根据所述第一红外图像， 分析 所述目标物体作用于所述 光学柔性膜的接触力的信息； 其中， 所述目标物体的信 息以及所述接触力的信 息用于控制机器设备执行与 所述目标 物体的信息以及所述接触力的信息相匹配的操作。 2.根据权利要求1所述的基于多模传感器的信 息自动获取方法， 其特征在于， 在所述基 于所述多模传感器采集目标物体对应的图像之前， 所述方法还 包括： 对所述多模传感器执行标定操作， 得到所述多模传感器的标定模型； 所述标定模型包 括视觉标定模型和触觉标定模型； 以及， 所述光学柔性膜中设置有光学标签； 所述根据所述第 一红外图像， 分析所述多模 传感器受到的接触力的信息， 包括： 将所述第一红外图像中每个像素位置转换为预设世界坐标系下对应的第一重建像素 位置， 并基于预 先确定出的像素值公式计算该第一重建像素位置的值； 基于所有所述第 一重建像素位置以及所有所述第 一重建像素位置的值， 确定所述第 一 红外图像的第一重建图像； 根据所述第 一重建图像获取所述光学标签的目标光学标签位置信 息， 将所述目标光学 标签位置信息输入所述触觉标定模型； 所述目标光学标签位置信息至少包括所述光学标签 的光学标签位置变化信息； 获取所述触觉标定模型输出的目标接触力组， 所述目标接触力组包括接触力强度和接 触力角度； 将所述目标接触力组包括的力强度和力角度确定为所述多模传感器受到的接触力的 信息； 以及， 所述 根据所述第一图像， 分析 所述目标物体的信息， 包括： 将所述第一图像中每个像素位置转换为预设世界坐标系下对应的第 二重建像素位置， 并基于预先确定出的像素值 公式计算该第二重 建像素位置的值， 基于所有 所述第二重 建像 素位置以及所有所述第二重建像素位置的值， 确定所述第一图像的第二重建图像； 根据所述目标物体的纹理在所述第 二重建图像中的像素位置， 确定所述目标物体的形 状和位置信息， 所述目标物体的纹 理包括彩色纹 理或灰度纹 理； 其中， 当所述第 二重建图像的数量为1时， 所述第 二重建图像中所述目标物体的纹理对 应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感 器之间的距离相等； 当所述第二重建图像的数量大于等于2时， 所述第二重建图像包括多个第一子重建图 像， 所有所述第一子重 建图像中每个所述第一子重 建图像中所述目标物体的纹理对应的所 有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传感器之间权　利　要　求　书 1/5 页 2 CN 114255191 A 2的距离相等， 所有所述第一子重建图像中每个所述第一子重建图像中所述目标物体的纹理 对应的所有像素位置中每个该像素位置在所述目标物体上对应的实际位置与所述多模传 感器之间的距离均不相等。 3.根据权利要求2所述的基于多模传感器的信 息自动获取方法， 其特征在于， 所述对所 述多模传感器执 行标定操作， 得到所述多模传感器的标定模型， 包括： 确定所述多模传感器的触觉检测集合， 所述触觉检测集合包括力强度检测集合和力角 度检测集 合， 所述力强度检测集 合包括多个力强度， 所述力角度检测集 合包括多个力角度； 对所述力强度检测集合中所有所述力强度与力强度检测集合中所有所述力角度进行 随机组合， 得到多个接触力组； 每个所述接触力组均分别包含一个力强度和一个力角度， 且 在所有所述接触力组中不存在力强度和力角度均相同的两个接触力组； 控制机器人根据每个所述接触力组对应的力强度和力角度依次触碰所述光学柔性膜， 并控制所述多模传感器采集所述光学柔性膜每次受触碰时所述光学柔性膜的第二红外图 像； 根据每个所述接触力组对应的第二红外图像确定所述光学柔性膜受到该接触力组时 所述光学标签的位置信息， 得到多个第一 光学标签位置信息； 根据第二光学标签位置信 息和每个所述接触力组对应的第 一光学标签位置信 息， 确定 每个所述接触力组对应的光学标签位置变化信息； 其中， 所述第二光学标签位置信息为在 所述光学柔性膜处于非受力状态时所述 光学标签的位置信息； 建立每个所述接触力组和与 该接触力组对应的光学标签位置信 息之间的关联关系， 并 基于所有所述接触力组中每个所述接触力组与该接触力组对应的光学标签位置信息之间 的关联关系， 构建所述多模传感器的触觉标定模型， 作为所述多模传感器的标定模型； 其中， 当所述光学标签的数量为1时， 所述接触力组对应的光学标签位置信息为该接触 力组对应的光学标签位置变化信息， 或者， 所述接触力组对应的光学标签位置信息为该接 触力组对应的光学 标签位置变化信息和所述第二 光学标签位置信息； 当所述光学标签的数量大于等于2时， 所述接触力组对应的光学标签位置信息为该接 触力组对应的所有所述光学标签的光学标签位置变化信息， 或者， 所述接触力组对应的光 学标签位置信息为该接触力组对应的所有所述光学标签的光学标签位置变化信息和所述 第二光学标签位置信息 。 4.根据权利要求3所述的基于多模传感器的信 息自动获取方法， 其特征在于， 所述光学 标签吸收所述预设红外波长段光且不吸 收可见光； 其中， 所述根据每个所述接触力组对应的第 二红外图像确定所述光学柔性膜 受到该接 触力组时所述 光学标签的位置信息， 包括： 根据每个所述接触力组对应的第 二红外图像生成该接触力组对应的第 三重建图像； 每 个所述接触力组对应的第三重建图像中所述光学标签所在像素位置的像素值小于该第三 重建图像中除所述 光学标签所在像素位置之外的其 他像素位置的像素值； 根据所有所述接触力组中每个所述接触力组对应的第三重建图像中所述光学标签所 在像素位置的像素值， 从该第三重建图像中分割出 该接触力组对应的光学 标签区域； 确定每个所述接触力组对应的光学标签区域在该接触力组对应的第三重建图像中的 位置信息， 作为所述光学柔性膜受到该接触力组 时该接触力组对应的所述光学标签的位置权　利　要　求　书 2/5 页 3 CN 114255191 A 3