(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210652713.0 (22)申请日 2022.06.07 (71)申请人 四川大学 地址 610065 四川省成 都市武侯区一环路 南一段24号 (72)发明人 琚生根　张翔　毛兴静　张玉慧　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张文娥 (51)Int.Cl. G06F 16/34(2019.01) G06F 40/211(2020.01) G06F 40/30(2020.01) (54)发明名称 摘要抽取方法、 装置、 计算机设备及计算机 可读存储介质 (57)摘要 本发明实施例公开了一种摘要抽取方法、 装 置、 计算机设备及计算机可读存储介质。 摘要抽 取方法， 包括： 将目标文本输入至摘要抽取模型 的编码器模块， 得到所述目标文本的文本向量和 句向量； 利用全局语义信息提取模块对所述文本 向量进行全局语义信息提取， 得到文本重构向 量； 将所述句向量和所述文本重构向量输入至全 局语义信息融入模块， 得到更新的句向量； 将所 述更新的句向量输入至分类模块， 得到每个句子 的预测得分， 并生成所述目标文本的摘要。 通过 对文本的全局语义信息进行提取， 得到文本重构 向量， 再将文本重构向量与句向量融合， 使模型 更加关注重要的整体语义而非琐 碎的局部信息， 提高了生成的摘要的准确度。 权利要求书2页 说明书11页 附图3页 CN 114969313 A 2022.08.30 CN 114969313 A 1.一种摘要抽取 方法， 其特 征在于， 包括： 将目标文本输入至摘要抽取模型的编码器模块， 得到所述目标文本的文本向量和句向 量； 利用全局语义信 息提取模块对所述文本向量进行全局语义信 息提取， 得到文本重构向 量； 将所述句向量和所述文本重构向量输入至全局语义信息融入模块， 得到更新的句向 量； 将所述更新的句向量输入至分类模块， 得到每个句子的预测得分， 并生成所述目标文 本的摘要。 2.根据权利要求1所述的摘要抽取方法， 其特征在于， 所述利用全局语义信 息提取模块 对所述文本向量进行全局语义信息提取， 得到文本 重构向量， 包括： 将所述文本向量输入至第一 隐藏层， 并经过预设激活函数， 得到所述目标文本在方面 上的文本方面分布； 根据方面嵌入矩阵和所述文本方面分布， 得到所述文本 重构向量。 3.根据权利要求1所述的摘要抽取方法， 其特征在于， 所述利用全局语义信 息提取模块 对所述文本向量进行全局语义信息提取， 得到文本 重构向量， 包括： 将所述文本向量输入至第二隐藏层， 得到所述目标文本的潜在特 征； 根据所述潜在特 征， 得到所述文本的文本主题分布； 根据所述文本主题分布和主题嵌入矩阵， 得到所述文本 重构向量。 4.根据权利要求1所述的摘要抽取方法， 其特征在于， 所述全局语义信 息融入模块包括 多头自注意力子模块和全局注意力子模块， 所述将所述句向量和所述文本重构向量输入至 全局语义信息融入 模块， 得到更新的句向量， 包括： 将所述句向量输入至所述多头自注意力子模块， 得到第一句向量； 将所述句向量和所述文本 重构向量输入至所述全局注意力子模块， 得到第二句向量； 根据所述第一句向量和所述第二句向量， 得到所述更新的句向量。 5.根据权利要求4所述的摘要抽取方法， 其特征在于， 所述全局 注意力子模块包括依次 连接的全局注意力层、 规范化层和前馈全连接层； 所述将所述句向量和所述文本重构向量输入至全局注意力子模块， 得到第二句向量， 包括： 基于所述全局注意力层， 将所述句向量映射为所述句向量对应的键表示和值表示， 并 将所述文本 重构向量映射 为所述句向量对应的查询表示； 根据所述句向量对应的查询表示、 键表示及值表示， 得到句子特 征表示； 将所述句子特征表示输入至所述规范化层后得到的结果， 再输入至所述前馈全连接 层， 得到所述第二句向量。 6.根据权利要求1所述的摘要抽取方法， 其特征在于， 训练所述摘要抽取模型的过程 中， 文本样本包括每个句 子是否为摘要的标签， 所述摘要抽取模型 的损失函数包括所述预 测得分和所述标签的第一损失函数以及所述全局语义信息提取模块的第二损失函数， 基于 预设公式得到所述摘要抽取模型的损失函数。 7.根据权利要求6所述的摘要抽取 方法， 其特 征在于， 所述预设公式包括：权　利　要　求　书 1/2 页 2 CN 114969313 A 2式中， 表示所述预测得 分和所述标签的第一损失函 数， i表示句子编号， |S|表示文 本样本中的句子总数， yi表示第i个句子的所述标签， yi∈{0， 1}， 0表示句子 不为摘要， 1表示 句子为摘要， y ′i表示第i个句子的预测得分， 表示所述摘要抽取模型的损失函数， 表 示全局语义信息提取模块的第二损失函数， β用于控制全局语义信息提取模块对所述摘要 抽取模型的损失函数的影响。 8.一种摘要抽取装置， 其特 征在于， 包括： 编码模块， 用于将目标文本输入至摘要抽取模型的编码器模块， 得到所述目标文本的 文本向量和句向量； 提取模块， 用于利用全局语义信息提取模块对所述文本向量进行全局语义信息提取， 得到文本 重构向量； 融入模块， 用于将所述句向量和所述文本重构向量输入至全局语义信息融入模块， 得 到更新的句向量； 分类模块， 用于将所述更新的句向量输入至分类模块， 得到每个句子的预测得分， 并生 成所述目标文本的摘要。 9.一种计算机设备， 其特征在于， 包括处理器和存储器， 所述存储器上存储有程序或指 令， 所述程序或指令被所述处理器执行时实现如权利要求1 ‑7中任一项所述的摘要抽取方 法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有程序或 指令， 所述程序或指令被处理器执行时实现如权利要求1 ‑7中任一项所述的摘要抽取方法 的步骤。权　利　要　求　书 2/2 页 3 CN 114969313 A 3