(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210518261.7 (22)申请日 2022.05.12 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 张沪寅　周康　郭迟　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 严彦 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G01C 21/20(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/02(2006.01) G06N 5/04(2006.01) (54)发明名称 智能导航场景中利用知识图谱辅助导航的 方法及系统 (57)摘要 本发明提供一种智能导航场景中利用知识 图谱辅助导航的方法及系统， 首先利用深度学习 方法构建多源数据融合导航场景知识图谱 comgraph， 对知 识图谱进行知 识表示和知 识推理 的图注意力网络GAT以及对未知场景进行知识更 新和应用的元学习组成导航知识嵌入， 提取空间 结构特征； 同时， 使用神经网络对场景中观测图 像进行图像特征提取， 通过目标全局词向量表示 提取语义特征； 然后将图像特征、 语义特征以及 空间结构特征拼接到多层感知机和长短时记忆 网络MLP‑LSTM中进行记忆存储， 并传递给强化学 习进行状态表示， 进行完整的导航。 本发明使智 能体在新的室内导航环境中也能取得很好的导 航效果， 而不受场景布局变化影响。 权利要求书1页 说明书7页 附图2页 CN 114973125 A 2022.08.30 CN 114973125 A 1.一种智能导航场景中利用知识图谱辅助导航的方法， 其特征在于： 首先利用深度学 习方法构建多源 数据融合导航场景知识图谱comgraph， 对知识图谱进 行知识表 示和知识推 理的图注意力网络GAT以及对未知场景进行知识更新和 应用的元学习组成导航知识嵌入， 提取空间结构特征； 同时， 使用神经网络对场景中观测图像进 行图像特征提取， 通过目标全 局词向量表示提取语义特征； 然后将图像特征、 语义特征以及空间结构特征拼接到多层感 知机和长短时记忆网络MLP ‑LSTM中进行记忆存储， 并传递给强化学习进行状态表示， 进行 完整的导 航。 2.根据权利要求1所述智能导航场景中利用知识图谱辅助导航的方法， 其特征在于： 在 利用深度学习方法构建多源数据融合导航场景知识图谱的基础上， 将导航语义知识泛化到 新场景， 使智能体在新的室内导 航环境中不受场景布局变化影响。 3.根据权利要求2所述智能导航场景中利用知识图谱辅助导航的方法， 其特征在于： 在 图注意力网络GAT以及元学习组成导航知识嵌入时， 使用GAT嵌入表示和提取知识图谱特 征， 作为强化学习导航输入状态； 通过元学习 帮助强化学习在训练过程中的损失梯度， 实现 新场景泛化。 4.根据权利要求1所述智能导航场景中利用知识图谱辅助导航的方法， 其特征在于： 使 用Resnet18神经网络对场景中观测图像进行图像特 征提取。 5.根据权利要求1所述智能导航场景中利用知识图谱辅助导航的方法， 其特征在于： 将 图像特征、 语义特征以及 空间结构特征拼接到MLP ‑LSTM神经网络中进行记忆存储， 并传递 给强化学习进行状态 表示， 进行完整的导 航。 6.根据权利要求1或2或3或4或5所述智能导航场景中利用知识图谱辅助导航的方法， 其特征在于： 根据导航场景中目标位置 关系， 使用先验知识推理最短路径， 从而给予强化学 习优化的决策， 将该推理值作为动作采样的一部分， 指导强化学习导航， 提高导航泛化能 力。 7.一种智能导航场景中利用知识图谱辅助导航的系统， 其特征在于： 用于实现如权利 要求1‑6任一项所述的一种智能导 航场景中利用知识图谱辅助导 航的方法。 8.根据权利要求7所述智能导航场景中利用知识图谱辅助导航的系统， 其特征在于： 包 括处理器和存储器， 存储器用于存储程序指令， 处理器用于调用存储器中的存储指令执行 如权利要求1 ‑6任一项所述的一种智能导 航场景中利用知识图谱辅助导 航的方法。 9.根据权利要求7所述智能导航场景中利用知识图谱辅助导航的系统， 其特征在于： 包 括可读存储介质， 所述可读存储介质上存储有计算机程序， 所述计算机程序执行时， 实现如 权利要求1 ‑6任一项所述的一种智能导 航场景中利用知识图谱辅助导 航的方法。权　利　要　求　书 1/1 页 2 CN 114973125 A 2智能导航场景中利用知识图谱辅助导航的方 法及系统 技术领域 [0001]本发明属于人工智能机器人领域， 尤其涉及智能导航场景中利用知识图谱辅助导 航的方法。 背景技术 [0002]随着计算机视觉技术和强化学习智能导航的发展， 低成本， 高效率， 不依赖于传感 器(激光雷达， 视觉里程计等)， 以及能适应场景变化(强光照， 弱纹理， 场景布局变化等)的 知识谱图辅助视觉语义导航方法成为当前研究热点。 知识图谱利用计算机视觉技术将场景 空间信息包括目标实体， 关系和属性进 行编码， 嵌入到强化学习导航中， 提高智能体空间探 索和推理能力。 当前导航场景知识图谱大多来源于大规模图片语义理解数据集(Visual   Genome)， 它是在真实环 境中采集， 将该数据集用在虚拟仿真环 境中存在目标匹配误差大的 问题， 且仅作为固定的空间信息特征作为强化学习 策略的一部分， 在新场景中无法自适应 更新。 因此， 本发明针对现有技术缺陷， 提出了构建导航知识图谱的方法以及使用图神经网 络有效表达和更新场景知识图谱的方法， 提高智能导 航的泛化能力。 发明内容 [0003]本发明针对现有导航知识图谱在实体冗余， 目标不匹配和目标关系不准确， 不能 精确而有效提供空间信息辅助导航的问题， 提出了一种在智能导航场景下利用深度学习方 法构建常识知识图谱的方法， 以及使用图神经网络和元学习更新策略提高导航泛化能力的 方法。 [0004]为了实现上述目的， 本发明的技术方案提供一种智能导航场景中利用知识图谱辅 助导航的方法， 首先利用深度学习方法构建多源数据融合导航场景知识图谱comgraph， 对 知识图谱进 行知识表示和知识推理的图注意力网络 GAT以及对未知场景进行知识更新和应 用的元学习组成导航知识嵌入， 提取 空间结构特征； 同时， 使用神经网络对场景中观测图像 进行图像特征提取， 通过目标全局词向量表示提取语义特征； 然后将图像特征、 语义特征以 及空间结构特征拼接到多层感知机和长 短时记忆网络MLP ‑LSTM中进行记忆存储， 并传递给 强化学习进行状态 表示， 进行完整的导 航。 [0005]而且， 在利用深度学习方法构建多源数据 融合导航场景知识图谱的基础上， 将导 航语义知识泛化到新场景， 使智能体在新的室内导 航环境中不受场景布局变化影响。 [0006]而且， 在图注意力网络GAT以及元学习组成导航知识嵌入时， 使用GAT嵌入表示和 提取知识图谱特征， 作为强化学习导航输入状态； 通过元学习帮助强化学习在训练过程中 的损失梯度， 实现新场景泛化。 [0007]而且， 使用Resnet18神经网络对场景中观测图像进行图像特 征提取。 [0008]而且， 将图像特征、 语义特征以及空间结构特征拼接到MLP ‑LSTM神经网络中进行 记忆存储， 并传递给强化学习进行状态 表示， 进行完整的导 航。 [0009]而且， 根据导航场景中目标位置关系， 使用先验知识推理最短路径， 从而给予强化说　明　书 1/7 页 3 CN 114973125 A 3