(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210768530.5 (22)申请日 2022.07.01 (71)申请人 中国电子科技 集团公司电子科 学研 究院 地址 100041 北京市石景山区双园路1 1号 (72)发明人 王亚珅　欧阳小叶 　郭大宇　 朱小伶　张欢欢　刘弋锋　 (74)专利代理 机构 工业和信息化部电子专利中 心 11010 专利代理师 袁鸿 (51)Int.Cl. G06F 40/216(2020.01) G06F 40/30(2020.01) G06F 40/284(2020.01) G06F 40/211(2020.01)G06N 3/04(2006.01) (54)发明名称 一种基于句法依存和词汇语义相似度的关 系抽取方法 (57)摘要 本发明公开了一种基于句法依存和词汇语 义相似度的关系抽取方法， 包括： 利用双向LSTM， 生成所述句子中各词语的词向量； 利用卷积神经 网络CNN生 成所述句子的句子级别的全局性语义 向量； 利用卷积神经网络CNN生成所述句子的实 体级别的局部性语义向量； 计算所述句子中的词 与实体之间的语义相似度； 基于词与实体之间的 语义相似度确定词与实体 之间的注 意力向量； 拼 接所述全局性语义向量、 局部性语义向量以及所 述注意力向量， 输入至带有SoftMax激活函数的 前馈神经网络模 型， 以确定所述句子中任意两个 实体之间的关系。 本发明实施例利用句法依存和 词汇相似度来增强注意机制、 以消除对丰富标注 训练数据的依赖， 生成句子中两个实体 之间的关 系。 权利要求书2页 说明书7页 附图2页 CN 115270765 A 2022.11.01 CN 115270765 A 1.一种基于句法依存和词汇语义相似度的关系抽取 方法， 其特 征在于， 包括： 对于给定具有至少两个实体的句子： 利用双向LSTM， 生成所述句子中各词语的词向量； 利用卷积神经网络 CNN生成所述句子的句子级别的全局性语义向量； 利用卷积神经网络 CNN生成所述句子的实体级别的局部性语义向量； 计算所述句子中的词与实体之间的语义相似度； 基于词与实体之间的语义相似度确定词与实体之间的注意力向量； 拼接所述全局性语义向量、 局部性语义向量以及所述注意力向量， 输入至带有SoftMax 激活函数的前馈神经网络模型， 以确定所述句子中任意两个实体之间的关系。 2.如权利要求1所述的基于句法依存和词汇语义相似度的关系抽取方法， 其特征在于， 利用双向LSTM， 生成所述句子中各词语的词向量包括； 拼接词语的词向量和 实体标识向量， 并将拼接后的向量输入双向LSTM模型， 以利用所 述双向LSTM模型输出 各词语的词向量。 3.如权利要求2所述的基于句法依存和词汇语义相似度的关系抽取方法， 其特征在于， 利用卷积神经网络 CNN生成所述句子的句子级别的全局性语义向量包括： 拼接词语的位置向量以及所述双向LSTM模型输出的词向量， 作为CN N的输入； 定义句子级别卷积过滤向量， 对于任一词， 基于所述句子级别卷积过滤向量以及所述 CNN的输出生成第一目标值； 使用最大池化模型， 基于生成的第一目标值确定句子级别全局性语义向量。 4.如权利要求3所述的基于句法依存和词汇语义相似度的关系抽取方法， 其特征在于， 利用卷积神经网络 CNN生成所述句子的实体级别的局部性语义向量包括： 对于句子中的实体， 定义实体级别卷积过 滤向量； 对于任一词， 基于所述实体级别卷积过滤向量以及拼接词向量和实体标识向量的结 果， 生成第二目标值； 使用最大池化模型， 基于生成的第二目标值 生成实体级别的局部性语义向量。 5.如权利要求4所述的基于句法依存和词汇语义相似度的关系抽取方法， 其特征在于， 计算所述句子中的词与实体之间的语义相似度包括： 对于句子中的词， 通过预设知识库查询词语对应的词语概念集合， 以及查询 实体的实 体概念集 合； 基于词语概念集 合以及所述实体概念集 合计算实体与词语的语义相似度。 6.如权利要求5所述的基于句法依存和词汇语义相似度的关系抽取方法， 其特征在于， 基于词与实体之间的语义相似度确定词与实体之间的注意力向量包括： 通过依存句法分析模型， 确定句子的依存句法结构树； 基于依存句法结构树上词语到实体的依存距离， 计算句子中词对实体的注意力值； 基于词对实体的注意力值以及词向量 生成注意力向量。 7.如权利要求6所述的基于句法依存和词汇语义相似度的关系抽取方法， 其特征在于， 还包括利用如下步骤执 行训练： 定义目标函数， 其中目标函数基于所有参数、 句子中存在关系的概率以及句子数量来 确定；权　利　要　求　书 1/2 页 2 CN 115270765 A 2利用随机梯度下降算法和反向传播 算法， 执行训练， 直至收敛。 8.一种基于句法依存和词汇语义相似度的关系抽取装置， 其特征在于， 包括处理器和 存储器， 所述存储器上存储有计算机程序， 所述计算机程序被处理器执行时实现如权利要 求1至7中任一项所述的方法的步骤。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115270765 A 3