(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210658296.0 (22)申请日 2022.06.10 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 赵峰　刘康正　金海　 (74)专利代理 机构 北京之于行知识产权代理有 限公司 1 1767 专利代理师 吕晓蓉 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 16/36(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 5/02(2006.01) G06N 5/04(2006.01) (54)发明名称 一种分布式注意的时序知识图谱推理方法 (57)摘要 本发明涉及一种分布式注意的时序知识图 谱推理方法， 通过将时序知识图谱进行时间序列 化重组， 准确表达时间演化特征与时序子图的结 构依赖性， 继而基于存储历史子图信息的稀 疏矩 阵提取历史重复事实和历史频次信息， 基于注意 力机制使查询事实赋予历史重复事实以第一层 的分布式注 意力， 继而通过捕获历史频次信息的 最新变化， 对第一层注意力得分分别赋予第二层 的注意力奖励和惩罚， 使注意力更适应时变性特 征， 最后利用两层注意力的得分对 未来事件进行 推理预测。 相比于传统预测方式， 本发明在不同 的历史时间戳上赋予可学习的分布式注意力， 而 非通过编码器获得固定的嵌入表 示， 使得模型在 解决时变性问题时具 备更出色的能力。 权利要求书2页 说明书12页 附图2页 CN 115033662 A 2022.09.09 CN 115033662 A 1.一种分布式注意的时序知识图谱推理方法， 其特 征在于， 包括： 将时序知识图谱以时间戳为顺序进行时间序列化重组， 并通过稀疏矩阵存储历史时间 戳子图的分布； 采用注意力机制构建预测时间戳的事实并对历史重复事实赋予初始的第一层注意力； 基于随时间戳演变的历史频次信 息的统计构筑第 二层注意力， 并根据知识的最新变化 对第一层注意力的得分进行调整； 采用参数训练策略， 并采用基于交叉熵损失的多分类任务进行模型训练。 2.根据权利要求1所述的分布式注意的时序知识图谱推理方法， 其特征在于， 所述将时 序知识图谱以时间戳为顺序进 行时间序列化重组， 并通过稀疏矩阵存储历史时间戳子图的 分布包括： 将时序知识图谱划分为 时间顺序的知识子图序列， 以使时序知识图谱的表示完成从四 元组到三元组的降维； 通过稀疏矩阵记录预测事件在相似场景下的不同时期的历史模式， 并将历史搜索的时 间消耗转换为定量的空间消耗。 3.根据权利要求1或2所述的分布式注意的时序知识图谱推理方法， 其特征在于， 所述 采用注意力机制构建预测时间戳的事实并对历史重复事实赋予初始的第一层注意力包括： 对同一批次内每一个查询的历史重复事实序列进行掩码填充； 计算查询矩阵Q对 掩码填充之后的键值矩阵的多头注意力； 通过含有 多个隐藏单 元的全连接前馈神经网络补充深层的语义信息； 对多头注意力、 前馈神经网络的输出进行层归一 化与残差连接操作。 4.根据权利要求1～3任一项所述的分布式注意的时序知识图谱推理方法， 其特征在 于， 所述基于随时间戳演变的历史频次信息的统计构筑第二层注意力， 并根据知识的最新 变化对第一层注意力的得分进行调整包括： 叠加新的历史信息中频次统计信息； 根据历史频次信 息的改变表征最近知识的发展变化， 以对第 一层注意力的初始注意力 进行调整； 基于新历史更新后的频次统计信息， 对历史中未 出现过的事实赋予注意力惩罚； 基于新历史更新后的频次统计信息， 对历史中出现过的事实赋予注意力奖励。 5.根据权利要求1～4任一项所述的分布式注意的时序知识图谱推理方法， 其特征在 于， 所述采用参数训练策略， 并采用基于交叉熵损失的多分类任务进行模型训练包括： 初始化查询变换矩阵、 键值变换矩阵以及线性变换系数偏置 中的至少一种或多种可学 习参数； 将时序知识图谱的推理补全视为以实体集大小为分类数的多分类任务； 采用交叉熵损失函数和AMSGrad优化器对多分类任务的参数进行学习以确定其中得分 最高的事实并作为未来事 件预测的结果。 6.根据权利要求1～5任一项所述的分布式注意的时序知识图谱推理方法， 其特征在 于， 所述对同一批次内每一个查询的历史重复事实序列进行掩码填充包括： 采用全局未曾出现的关系 ‑实体对填充不足批次内最大长度的序列， 以通过识别标记 生成掩码矩阵， 并使其 不参与注意力运 算。权　利　要　求　书 1/2 页 2 CN 115033662 A 27.根据权利要求1～6任一项所述的分布式注意的时序知识图谱推理方法， 其特征在 于， 计算查询矩阵Q对 掩码填充之后的键值矩阵的多头注意力包括： 采用缩放点积注意力运算， 通过查询矩阵Q与键矩阵K进行点积并 除以缩放因子获得权 重矩阵； 与值矩阵V进行点积以获得表征注意力的值矩阵， 所述值矩阵中的每一维向量为针对 每一个历史重复事实的初始分布式注意力。 8.一种分布式注意的时序知识图谱推理系统， 其特 征在于， 包括： 排布单元(1)， 配置为将时序知识图谱以时间戳为顺序进行时间序列化重组， 并通过稀 疏矩阵存 储历史时间戳子图的分布； 处理单元(2)， 配置为采用注意力机制构建预测时间戳的事实并对历史重复事实赋予 初始的第一层注意力； 调节单元(3)， 配置为基于随时间戳演变的历史频次信 息的统计构筑第 二层注意力， 并 根据知识的最 新变化对第一层注意力的得分进行调整； 训练单元(4)， 配置为采用参数训练策略， 并采用基于交叉熵损失的多分类任务进行模 型训练。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 一个或多个处 理器(101)； 存储器(102)， 用于存 储一个或多个 计算机程序； 当所述一个或多个计算机程序被所述一个或多个处理器(101)执行， 使得所述一个或 多个处理器(101)实现如权利要求1～7 所述的分布式注意的时序知识图谱推理方法。 10.一种包含计算机可执行指令的存储介质， 其特征在于， 所述计算机可执行指令在由 计算机处理器执行时用于执行如权利要求1～7所述的分布式注意的时序知识图谱推理方 法。权　利　要　求　书 2/2 页 3 CN 115033662 A 3