(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111636978.3 (22)申请日 2021.12.2 9 (71)申请人 武汉理工大 学 地址 430000 湖北省武汉市珞狮路12 2号 (72)发明人 刘志平　王维　曾卓　刘慧　 程凌鹏　柳炜开　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 史俊军 (51)Int.Cl. G06F 3/01(2006.01) G06F 3/04815(2022.01) G06T 13/00(2011.01) G06T 19/00(2011.01) G06V 20/20(2022.01)G06V 40/10(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G10L 15/22(2006.01) G06Q 10/00(2012.01) (54)发明名称 一种辅助维修方法、 系统、 存储介质及计算 设备 (57)摘要 本发明公开了一种辅助维修方法， 包括基于 选择的目标设备， 从预先构建的维修知识库中获 取目标设备数据； 根据目标设备数据， 搭建MR场 景； 其中， 在MR场景搭建过程中， 采用预设的虚拟 标志物进行三维注册； 识别MR场景中的手势或语 音； 基于手势或语音识别结果， 进行辅助维修。 同 时还公开了相应的系统。 本发明采用预设的虚拟 标志物进行三维注册， 不会对虚拟物体产生遮 挡， 不污染场景， 而 且不会影响维修人员的操作。 权利要求书1页 说明书5页 附图3页 CN 114527868 A 2022.05.24 CN 114527868 A 1.一种辅助维修方法， 其特 征在于， 包括： 基于选择的目标设备， 从预 先构建的维修知识库中获取目标设备 数据； 根据目标设备数据， 搭建MR场景； 其中， 在MR场景搭建过程中， 采用预设的虚拟标志物 进行三维注 册； 识别MR场景中的手势或语音； 基于手势或语音识别结果， 进行辅助维修。 2.根据权利要求1所述的一种辅助维修方法， 其特征在于， 维修知识库中包括设备部件 的三维模型、 设备信息以及设备维修方案动画。 3.根据权利要求1所述的一种辅助维修方法， 其特征在于， 采用预设的虚拟标志物进行 三维注册包括： 采用预设的若干特 征点匹配算法进行目标设备匹配， 选择最优的目标设备匹配结果； 基于匹配的目标设备， 获取目标设备中预设的虚拟标志 物； 采用虚拟标志 物进行三维注 册。 4.根据权利要求1或3所述的一种辅助维修方法， 其特征在于， 虚拟标志物为目标设备 的几何中心点。 5.根据权利要求2所述的一种辅助维修方法， 其特征在于， 基于手势或语音识别结果， 进行辅助维修， 包括： 若识别出手势或语音触发本地指导， 播 放目标设备维修方案动画； 若识别出手势或语音触发远程指导， 联系指导专家， 对专家的语义进行识别， 生成与语 义匹配的操作标识； 其中， 操作标识被 手势点击后， 触发目标设备虚拟模型操作； 若识别出手势或语音触发目标设备虚拟模型操作， 生成与手势或语音匹配的操作指 令， 根据操作指令操作目标设备虚拟模型， 进行辅助维修。 6.根据权利要求1或5所述的一种辅助维修方法， 其特征在于， 手势包括点击手势和操 作手势； 其中， 操作手势用以操作目标设备虚拟模型， 包括移动、 旋转、 缩放、 拖拽、 物体标 注、 目标圈选、 插拔 导引、 旋转 导引和删除。 7.一种辅助维修系统， 其特 征在于， 包括： 数据获取模块： 基于 选择的目标设备， 从预 先构建的维修知识库中获取目标设备 数据； 场景搭建模块： 根据目标设备数据， 搭建MR场景； 其中， 在MR场景搭建过程中， 采用预设 的虚拟标志 物进行三维注 册； 识别模块： 识别MR场景中的手势或语音； 辅助维修模块： 基于手势或语音识别结果， 进行辅助维修。 8.一种存储一个或多个程序的计算机可读存储介质， 其特征在于： 所述一个或多个程 序包括指令， 所述指令当由计算设备执行时， 使得所述计算设备执行根据权利要求1至6所 述的方法中的任一方法。 9.一种计算设备， 其特 征在于， 包括： 一个或多个处理器、 一个或多个存储器以及一个或多个程序， 其中一个或多个程序存 储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行， 所述一个 或多个 程序包括用于执 行根据权利要求1至 6所述的方法中的任一方法的指令 。权　利　要　求　书 1/1 页 2 CN 114527868 A 2一种辅助维修方 法、 系统、 存 储介质及计算设 备 技术领域 [0001]本发明涉及一种辅助维修方法、 系统、 存储介质及 计算设备， 属于设备维修技术领 域。 背景技术 [0002]针对复杂装备 （如港口关键设备） 维修， 国内外目前多采用虚拟现实 （Virtual   Reality， VR） 技术对操作人员进行维修培训， 但在实际维修工作中， 遇到的问题更加复杂， 方法的可靠性会下降。 [0003]MR技术是一项合并现实世界和虚拟世界而产生的新的可视化环境的新技术。 Hololens是MR设备的一代为代表， 一台Hololens设备配有4个环境感知相机感知用户的相 对位移， 一个深度摄像头感知周围环 境， 一个惯 性导航装置 （IMU） 感知设备方向， 4个麦克风 进行全方位的语音输入。 [0004]MR技术中场景搭建， 多采用目标内置的真实标注物进行三维注册， 这种真实标注 物容易对虚拟物体产生遮挡， 不仅污染场景， 而且影响维修人员的操作。 发明内容 [0005]本发明提供了一种辅助维修方法、 系统、 存储介质及计算设备， 解决了背景技术中 披露的问题。 [0006]为了解决上述 技术问题， 本发明所采用的技 术方案是： 一种辅助维修方法， 包括： 基于选择的目标设备， 从预 先构建的维修知识库中获取目标设备 数据； 根据目标设备数据， 搭建MR场景； 其中， 在MR场景搭建过程中， 采用预设的虚拟标 志物进行三维注 册； 识别MR场景中的手势或语音； 基于手势或语音识别结果， 进行辅助维修。 [0007]维修知识库中包括设备部件的三维模型、 设备信息以及设备维修方案动画。 [0008]采用预设的虚拟标志 物进行三维注 册包括： 采用预设的若干特征点 匹配算法进行目标设备匹配， 选择最优的目标设备匹配结 果； 基于匹配的目标设备， 获取目标设备中预设的虚拟标志 物； 采用虚拟标志 物进行三维注 册。 [0009]虚拟标志 物为目标设备的几何中心点。 [0010]基于手势或语音识别结果， 进行辅助维修， 包括： 若识别出手势或语音触发本地指导， 播 放目标设备维修方案动画； 若识别出手势或语音触发远程指导， 联系指 导专家， 对专家的语义进行识别， 生成 与语义匹配的操作标识； 其中， 操作标识被 手势点击后， 触发目标设备虚拟模型操作；说　明　书 1/5 页 3 CN 114527868 A 3