(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211142638.X (22)申请日 2022.09.20 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市栖霞区文苑路9 号 (72)发明人 吴晨韬　周天　顾正玮　杨海根　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06F 3/01(2006.01) G06F 16/25(2019.01) (54)发明名称 一种基于增强现实的智能装配与运维指导 方法、 系统、 装置及存 储介质 (57)摘要 本发明公开了一种基于增强现实的智能装 配与运维指导方法、 系统、 装置及存储介质， 属于 装备远程装配运维技术领域， 方法包括： 采集装 配与运维图片和对应的装配与运维引导信息， 输 入到构建好的装配与运维模型中， 生成数据库， 采集真实场景； 通过计算机视觉对 数据库中的装 配与运维场景进行视觉处理， 识别出装配与运维 目标； 根据装配与运维目标求解虚拟引导工具的 注册位姿后与真实场景进行虚实 融合， 得到增强 现实装配与运维场景； 将增强现实装配与运维场 景展示给作业人员进行装配与运维指导； 本发明 能够减轻工作强度， 避免对装备造成的微小损 坏， 减轻装备损坏所造成的经济及各方面损失， 提高对复杂装 备装配与运维的可靠性， 提高作业 质量的可控程度。 权利要求书1页 说明书5页 附图1页 CN 115494942 A 2022.12.20 CN 115494942 A 1.一种基于增强现实的智能装配与运维指导方法， 其特 征在于， 包括： 采集装配与运维图片和对应的装配与运维引导信 息， 输入到构建好的装配与运维模型 中， 生成数据库， 采集真实场景； 通过计算机视觉对数据库中的装配与运维场景进行视觉处理， 识别出装配与运维目 标； 根据装配与运维 目标求解虚拟引导工具的注册位姿后与真实场景进行虚实融合， 得到 增强现实装配与运维场景； 将增强现实装配与运维场景展示给作业人员进行装配与运维指导。 2.根据权利要求1所述的一种基于增强现实的智能装配与运维指导方法， 其特征在于， 所述数据库包 含整个装配流 程与运维场景信息 。 3.根据权利要求1所述的一种基于增强现实的智能装配与运维指导方法， 其特征在于， 所述装配与运维引导信息包括装配与运维过程的操作步骤、 工具信息和设备名称。 4. 根据权利要求1所述的一种基于增强现实的智能装配与运维指导方法， 其特征在 于， 所述视觉处理是通过微软HoloLens  增强眼镜中的RGB ‑D相机对装配与运维场景提取典 型特征， 包括装配与运维目标的识别跟踪、 三维场景重建和计算机位姿解 算。 5.根据权利要求1所述的一种基于增强现实的智能装配与运维指导方法， 其特征在于， 通过头戴 式显示器将增强现实装配与运维场景展示给作业人员进行指导。 6.根据权利要求1所述的一种基于增强现实的智能装配与运维指导方法， 其特征在于， 还包括作业人员通过语音或人体动作的方式对虚拟引导工具进行操控的步骤。 7.一种基于增强现实的智能装配与运维指导系统， 其特 征在于， 包括： 数据获取模块， 用于采集装配与运维图片和对应的装配与运维引导信息， 输入到构建 好的装配与运维模型中， 生成数据库， 采集真实场景； 装配与运维对象视觉处理模块， 用于通过计算机视觉对数据库中的装配与运维场景进 行视觉处理， 识别出装配与运维目标； 虚拟装配与运维工具注册融合模块， 用于根据装配与运维 目标求解虚拟引导工具的注 册位姿后与真实场景进行虚实融合， 得到增强现实装配与运维场景； 人机交互模块， 用于将增强现实装配与运维场景展示给作业人员进行装配与运维指 导， 作业人员基于 本模块对虚拟引导工具进行操控。 8.根据权利要求7所述的一种基于增强现实的智能装配与运维指导系统， 其特征在于， 所述人机交互模块， 还用于利用增强现实技术结合AI提供对实物的结构剖析、 问题检测和 学习培训功能。 9.一种基于增强现实的智能装配与运维指导装置， 其特征在于， 包括处理器及存储介 质； 所述存储介质用于存 储指令； 所述处理器用于根据所述指令进行操作以执行根据权利要求1至6任一项所述方法的 步骤。 10.计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执行 时实现权利要求1至 6任一项所述方法的步骤。权　利　要　求　书 1/1 页 2 CN 115494942 A 2一种基于增强现实的智能装配与运维指导方 法、 系统、 装 置及 存储介质 技术领域 [0001]本发明涉及一种基于增强现实的智能装配与运维指导方法、 系统、 装置及存储介 质， 属于装备远程装配运维技 术领域。 背景技术 [0002]雷达电子装备是实现国家实体 空间安全智慧感知的核心装备， 雷达电子装备向着 高密度、 高集成的方向快速发展； 当前， 高密度雷达装备小 型化、 大威力、 多功能一体化的趋 势愈发明显； 随着对雷达装备性能要求的提升， 内部设备越来越多、 密度要求越来越高、 作 业空间越来越小， 装配与运维要求越来越苛刻， 特别是在狭小空间内对正常工作的雷达装 备进行维修时， 恶劣的热、 空气、 噪声、 振动环境、 电磁辐射对人体生理、 心理造成极大压力， 甚至对人造成不可逆的影响； 这种作业人员工作强度大、 作业质量不可控的问题给高密度 雷达电子装备的装配和运维带来了前 所未有的挑战。 发明内容 [0003]本发明的目的在于提供一种基于增强现实的智能装配与运维指导方法、 系统、 装 置及存储介质， 解决现有技 术中工作强度大、 作业质量 不可控等问题。 [0004]为实现以上目的， 本发明是采用下述 技术方案实现的： 第一方面， 本发明提供了一种基于增强现实的智能装配与运维指导方法， 包括： 采集装配与运维图片和对应的装配与运维引导信息， 输入到构建好的装配与运维 模型中， 生成数据库， 采集真实场景； 通过计算机视觉对数据库中的装配与运维场景进行视觉处理， 识别出装配与运维 目标； 根据装配与运维目标求解虚拟引导工具的注册位姿后与真实场景进行虚实融合， 得到增强现实装配与运维场景； 将增强现实装配与运维场景展示给作业人员进行装配与运维指导。 [0005]结合第一方面， 进一 步的， 所述数据库包 含整个装配流 程与运维场景信息 。 [0006]结合第一方面， 进一步的， 所述装配与运维引导信息包括装配与运维过程的操作 步骤、 工具信息和设备名称。 [0007]结合第一方面， 进一步的， 所述视觉处理是通过微软HoloLens  增强眼镜中的RGB ‑ D相机对装配与运 维场景提取典型特征， 包括装配与运 维目标的识别跟踪、 三 维场景重 建和 计算机位姿解 算。 [0008]结合第一方面， 进一步的， 通过头戴式显示器将增强现实装配与运维场景展示给 作业人员进行指导。 [0009]结合第一方面， 进一步的， 还包括作业人员通过语音或人体动作的方式对虚拟引 导工具进行操控的步骤。说　明　书 1/5 页 3 CN 115494942 A 3