(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111560787.3 (22)申请日 2021.12.20 (71)申请人 东北大学 地址 110819 辽宁省沈阳市和平区文化路3 号巷11号 (72)发明人 荆洪迪　马新博　于健洋　何文轩　 宋明　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 代理人 李梁 (51)Int.Cl. G06F 30/13(2020.01) G06F 30/20(2020.01) G06T 17/10(2006.01) G06F 3/01(2006.01)G06F 119/02(2020.01) (54)发明名称 基于HoloLens可穿戴设备的地下矿掘进钻 孔作业指导系统及方法 (57)摘要 本发明提供一种基于HoloLens可穿戴设备 的地下矿掘进钻孔作业指导系统及方法， 涉及采 矿及混合现实技术领域。 该系统及方法对掘进钻 孔作业方案进行三维重建得到作业方案模型； 在 MR场景下设计包含各功能模块的UI界面， 利用 HoloLens眼镜 的SLAM自定位传感器和景深摄像 头设计场景识别功能模块， 搭建作业方案模型库 和交互模块， 实现对作业方案模 型的微调及空间 锚定位设计， 各功能模块间通过交互控制模块和 逻辑控制模块相互连接， 将代码 封装测试验证系 统稳定性， 最后将系统打包发布至HoloLens眼镜 中将作业方案模型设置到HoloLens眼镜内； 作业 人员通过戴上HoloLen s眼镜识别当前作业场景， 并将作业方案模型 呈现到现实空间。 权利要求书2页 说明书5页 附图3页 CN 114239110 A 2022.03.25 CN 114239110 A 1.一种基于 HoloLens可穿戴设备的地下矿掘进钻孔作业指导系统， 其特 征在于： 对掘进钻孔作业方案进行三维重建得到作业方案模型； 将作业方案模型设置 到HoloLens眼镜内； 作业人员通过戴上HoloLens眼镜识别当前作 业场景， 并将作 业方案模型呈现到现实空 间。 2.根据权利要求1所述的基于HoloLens可穿戴设备的地下矿掘进钻孔作业指导系 统， 其特征在于： 包括HoloLens眼镜、 UI控制模块、 场景识别模块、 逻辑控制模块、 作业方案模 型 库、 交互控制模块和显示模块； 所述UI控制模块、 场景识别模块、 逻辑控制模块、 交互控制模块、 显示模块均部署到 HoloLens眼镜上， 作业方案模型库作为预制 件保存在工程文件中以备调用； 场景识别模块 能识别当前场景信息并完成数据库匹配、 显示当前作业方案、 微调虚拟三维模型进行交 互； 所述UI控制模块， 分别与场景识别模块、 逻辑控制模块、 交互控制模块、 作业方案模型 库和显示模块连接， 根据场景识别模块识别的当前场景信息识别对应的作业方案数据库中 的作业方案三维模型， 并调用交 互控制模块； 所述场景识别模块， 识别当前场景信息， 并通过逻辑控制模块建立当前场景信息与作 业方案数据库中的作业方案三维模型之间的对应关系； 所述逻辑控制模块， 用于存储各模块功能的实现及相互调用的逻辑函数， 所述逻辑函 数包括： 场景识别函数、 作业方案读取函数、 交互控制函数、 模块调用函数、 显示功能函数， 从而控制实现各模块功能； 所述交互控制模块， 通过手势、 眼动和语言的方式进行虚拟模型和现实空间之间的交 互； 所述作业方案模型库， 根据UI控制模块和场景识别模块识别并加载相应作业场景， 通 过逻辑控制模块调取相应作业方案三维模型； 所述显示模块， 通过HoloLens眼镜采集到的场景信息与 通过交互控制模块所选择的虚 拟三维模型， 透过HoloLens眼镜的显示屏将虚拟三维模型显示在真实物理环境中， 以虚实 融合方式显示。 3.根据权利要求2所述的基于HoloLens可穿戴设备的地下矿掘进钻孔作业指导系 统， 其特征在于： 所述作业方案模型库用于存储作业方案模型， 所述作业方案模型是根据掘进 钻孔作业方案的CAD图纸建立的三维模型， 具体包括， 掘进断面的位置及形状， 三维实体化 的布孔位置、 方式及孔深。 4.根据权利要求2所述的基于HoloLens可穿戴设备的地下矿掘进钻孔作业指导系 统， 其特征在于： 所述交互控制模块是基于HoloLens眼镜支持的凝视、 手势、 语音三大 交互模式 进行二次开 发， 以注视、 点击和特定语音输入的方式， 实现UI界面元素及作业方案三 维模型 现实空间之间的交 互。 5.根据权利要求2所述的基于HoloLens可穿戴设备的地下矿掘进钻孔作业指导系 统， 其特征在于： 所述显示模块中， 在当前HoloLens眼镜中显示的文本、 按钮和模 型这些虚拟信 息通过UI控制模块和交 互控制模块实现微调。 6.根据权利要求2所述的基于HoloLens可穿戴设备的地下矿掘进钻孔作业指导系 统， 其特征在于： 所述场景识别模块采用视觉SLAM自定位传感器和景深 摄像头采集当前场景信权　利　要　求　书 1/2 页 2 CN 114239110 A 2息。 7.根据权利要求2所述的基于HoloLens可穿戴设备的地下矿掘进钻孔作业指导系 统， 其特征在于： 所述作业方案模型库， 在模型加载且微调之后添加空间锚实现视觉锁定和场 景保持。 8.一种基于HoloLens可穿戴设备的地下矿掘进钻孔作业指导方法， 基于权利要求1所 述系统实现， 其特 征在于： 包括以下步骤： 步骤1、 UI控制模块、 场景识别模块、 逻辑控制模块、 交互控制模块、 显示模块部署到 HoloLens眼镜； 步骤2、 通过场景识别模块， 对地下矿掘进钻孔作业周围环境进行扫描识别， 获得当前 场景信息； 步骤3、 场景信息识别完成后通过手势点击或语音命令将当前场景信息与现实空间结 合形成作业方案模型； 步骤4、 通过注视及手势控制作业方案模型移动及旋转， 对作业方案模型的位置及方向 进行微调； 步骤5、 判断作业方案模型是否符合现场实际需求， 若是， 则执行步骤6， 若否， 则返回至 步骤4； 步骤6、 对作业方案模型 添加空间锚， 以实现视 觉锁定和场景保持； 步骤7、 根据作业方案模型中钻孔的位置及方向指导钻孔作业。 9.根据权利要求1所述的基于HoloLens可穿戴设备的地下矿掘进钻孔作业指导方法， 其特征在于： 所述步骤1将所述UI控制 模块、 场景识别模块、 逻辑控制 模块、 交互控制 模块、 显示模块部署到 HoloLens眼镜的具体方法为： 在Unity 3D平台中进行MR场景搭建， 在MR场景下设计包含各功能模块的UI界面， 利用 HoloLens眼镜的SLAM自定位传感器和景深摄像头设计场景识别功能模块， 利用CAD作业方 案图纸和3ds  Max软件搭建作业方案模型库， 利用MRTK工具包开发GGV交互模块， 实现对作 业方案模型的微调及空间锚定位设计， 各功能模块间通过 交互控制模块和逻辑控制模块相 互连接， 将代码封装测试验证系统稳定性， 最后将系统打包发布至HoloLens眼镜中， 形成地 下矿山掘进钻孔作业指导AP P。权　利　要　求　书 2/2 页 3 CN 114239110 A 3