(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210482446.7 (22)申请日 2022.05.05 (71)申请人 中国人民解 放军国防科技大 学 地址 210001 江苏省南京市秦淮区后标营 18号 (72)发明人 张骁雄　田昊　刘浏　刘姗姗　 刘茗　杨琴琴　丁鲲　蒋国权　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 唐品利 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01) G06F 40/279(2020.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 中文知识图谱补全方法、 装置、 计算机设备 和存储介质 (57)摘要 本申请涉及一种中文知识图谱补全、 装置、 计算机设备和存储介质。 所述方法利用平均池化 策略有效解决BERT模型序列表征能力不足的问 题， 并通过BiGRU网络强化字词位置信息， 缓解 BERT模型并行运算带来的弱化位置信息的负面 影响； 然后， 将头实体、 关系、 尾实体转化为文本 序列， 结合实体描述信息作为模型的输入， 将知 识补全任务看作句子分类任务， 使用预训练语言 模型进行知识补全， 克服传统方法忽视语义特征 的缺点， 解决了背景知识不足的问题； 通过叠加 线性分类层， 将知识补全问题转化为分类问题。 采用本方法可以快速、 高效的实现中文知识图谱 补全。 权利要求书3页 说明书12页 附图6页 CN 114969357 A 2022.08.30 CN 114969357 A 1.一种中文知识图谱补全方法， 其特 征在于， 所述方法包括： 获取待处理知识图谱， 所述待处理知识图谱的存储方式为由头实体， 尾实体， 以及头实 体和尾实体之间的关系组成的三元组； 将所述三元组的输入到输入层中， 将头实体、 尾实体以及 关系表示为三段文本， 并对所 述三段文本进行处 理， 得到输入序列； 将所述输入序列输入到Bert模型层中， 将所述输入序列经过编码后， 再经过多头自注 意力机制计算， 得到包 含上下文语义信息的特 征矩阵； 将所述特 征矩阵输入到平均池化层中， 得到新特 征矩阵； 将所述新特征矩阵输入到BiGRU层中， 经过串行化神经网络处理， 学习字词间位置关系 信息， 得到序列特 征矩阵； 将所述序列特 征矩阵输入到 输出层中， 得到二分类得分结果。 2.根据权利要求1所述的方法， 其特征在于， 将所述三元组的输入到输入层中， 将头实 体、 尾实体以及关系表示为三段文本， 并对所述三段文本进行处理， 得到输入序列， 步骤中 输入序列由表示头实体、 关系、 尾实体的文本序列组成； 所述头实体和所述尾实体的文本序 列分别是头实体和尾实体的描述； 所述关系的文本序列是关系的名称 每个所述输入序列是以一个特殊的分类标签开始， 并由三段文本组成， 每段文本之间 用另一个特殊标签隔开； 所述输入序列表达式为： ： 其中： Seq(h,r,t)为输入序列， h为头实体， r为头实体和尾实体之间的关系， t为尾实 体 ， 和 分 别为 头实 体 和所 述 尾实 体的 文 本 序 列 ， 为关系的文本序列， [CLS]为分类标签， [ SEP]为特殊标签。 3.根据权利要求1所述的方法， 其特征在于， Bert模型层包括Bert嵌入层和Bert编码 层； 将所述输入序列输入到Bert模型层中， 将所述输入序列经过编码后， 再经过多头自注 意力机制计算， 得到包 含上下文语义信息的特 征矩阵， 包括： 将所述输入序列输入到Bert嵌入层中， 将所述输入序列转化为三种嵌入矩阵， 再将三 种嵌入矩阵求和， 得到输出嵌入矩阵； 三种嵌入矩阵分别为表示每个字的嵌入值的词嵌入 矩阵， 代表每个字的位置信息的位置嵌入矩阵和用于区分三元组不同部分的类型嵌入矩 阵； 将所述输出嵌入矩阵输入到Bert编码层中， 经过多头注意力机制进行语义信息融合， 得到包含上下文语义信息的特 征矩阵。 4.根据权利要3所述的方法， 其特征在于， Bert编码层包括N层Bert核心层， 其中N为大 于1的整数； 所述Ber t核心层包括Ber t注意力层、 Ber t中间件层和Ber t输出层； 将所述输出嵌入矩阵输入到Bert编码层中， 经过多头注意力机制进行语义信息融合， 得到包含上下文语义信息的特 征矩阵； 包括： 将所述输出嵌入矩阵输入到B ert编码层的第一层B ert核心层中的B ert注意力层中， 经权　利　要　求　书 1/3 页 2 CN 114969357 A 2过多头注意力机制处理后得到多头注意力权重， 并将多头注意力权重通过经线性层、 Dropout层和LayerN orm层归一 化处理后， 得到多头注意力特 征； 将所述多头注意力特征输入到所述Bert中间件层中， 经过线性层和激活函数处理后， 并将得到的结果输入到Bert输出层中， 经过经线性层、 Dropout层和LayerNorm层归一化处 理后， 得到第一层特 征矩阵； 将第一层特征矩阵输入到第二层Bert核心层中， 得到第二层特征矩阵， 依此类推， 将第 N‑1层Bert核心层的输出输入到第N层Bert核心层中， 得到包含上下文语义信息的特征矩 阵。 5.根据权利要1所述的方法， 其特征在于， 将所述特征矩阵输入到平均池化层中， 得到 新特征矩阵， 包括： 将所述特征矩阵输入到平均池化层中， 采用的平均池化策略， 得到新特征矩阵； 所述新 特征矩阵的表达式为： 其中， h(i,j)为特征矩阵在维度i(i＝1,2,3, ..,H)的第j隐层值， j＝1,2,3, ..,L； 维度 i为所有的h(i,j)的平均值； 为新特征矩阵， 是通过拼接每 个维度的 得到的。 6.根据权利要1所述的方法， 其特征在于， 输出层包括： 线性分类层和sigmoid激活函 数； 中文知识图谱补全模 型由所述输入层、 Bert模 型层、 平均池化层、 BiGRU层以及输出层组 成； 将所述序列特 征矩阵输入到 输出层中， 得到的二分类得分结果， 包括： 将所述序列特征矩阵输入到所述线性分类层中， 并将得到结果采用sigmoid激活函数 激活后， 得到二分类得分结果； 中文知识图谱补全 模型得分函数为： 其中Sco为中文知识 图谱补全模型得分函数， 是一个二维向量， 由两部分Sco1,Sco2∈ [0,1]组成， 且Sco1+Sco2＝1； W为中文知识图谱补全 模型参数矩阵； 为序列特 征矩阵。 7.根据权利要1所述的方法， 其特征在于， 中文知识图谱补全模型由所述输入层、 Bert 模型层、 平均池化层、 BiGRU层以及输出层组成； 所述方法还 包括： 将获取的三元组作为 正样本， 并根据所述 正样本采用替换法构造负 样本集； 根据正样本、 负样本集、 二分类得分结果以及二进制交叉熵损失函数， 采用梯度 下降法 对所述中文知识图谱补全 模型的参数进行微调， 得到训练好的中文知识图谱补全 模型。 8.一种中文知识图谱补全 装置， 其特 征在于， 所述装置包括： 待处理知识图谱获取模块， 用于获取待处理知识图谱， 所述待处理知识图谱的存储方 式为由头实体， 尾实体， 以及头实体和尾实体之间的关系组成的三元组； 中文知识图谱补全模块， 用于将所述三元组的输入到输入层中， 将头实体、 尾实体以及 关系表示为三段文本， 并对所述三段文本进 行处理， 得到输入序列； 将所述输入序列输入到权　利　要　求　书 2/3 页 3 CN 114969357 A 3