(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111662780.2 (22)申请日 2021.12.31 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 张丽　遆敬苗　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 代理人 沈波 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/284(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的文本摘要获取方法 (57)摘要 本发明公开了基于深度学习的文本摘要获 取方法， 本方法首先抽取原文档的关键词； 构建 Encoder模块提取全局语义信息； 构建图卷积模 块提取局部语义信息； 构建Decoder模块生成文 本摘要。 文本摘要任务是对海量文本数据的提炼 和总结， 通过将海量的文本数据压缩成简单、 直 观的摘要来节约用户浏览文本数据的时间成本。 本方法将关键点作为局部特征， 原文本作为全局 特征， 获得丰富的原文本的语义表示； 生成高质 量摘要的前提是理解原文本语义； 利用图卷积更 新了特征之间的权重， 进一步促进了语义信息的 传递， 并且抑制了无意义的消息传递， 从而获得 的原文本的语义信息更能体 现原文的中心思想， 从而保证生成的摘要能够体 现原文本的中心， 避 免生成无中心思想的摘要。 权利要求书2页 说明书5页 附图1页 CN 114298037 A 2022.04.08 CN 114298037 A 1.基于深度学习的文本摘要获取方法， 其特征在于： 本方法包括以下步骤： 步骤1， 提取 原文本的关键词； 通过提取出若干个代表文章语义内容的关键词作为文本的局部信 息； 提取原文档的关 键词， 基于无监 督的思想提取原文本关键词的步骤如下： 步骤1.1考虑词的位置信息， 首句和 末句出现的词语是关键词的概率高， 将文档的首句 和末句分别重复3次， 从而增 加关键词在首句和末句的词频； 步骤1.2将文本进行分词， 利用每个词的tf ‑idf统计信息， 挑选出20个词语作为候选关 键词； 步骤1.3将步骤1.2得到 的关键词进行进一步筛选： 使用Doc2Vec获得文档的向量表示 d， 使用Word2Vec获得候选关键词的向量表示w； 根据w和d的余弦距离对候选关键词进行排 序， 从初始的候选关键词中挑选出与文档接近的关键 短语， 关键词 与文档越接近， 说明信息 量越大， 从而保证得到的关键词与文档更 具有相关性； 步骤1.4为避免最终关键词出现冗余， 即提取出来的关键词虽然具有不同的表达方式， 但具有相同的含义， 因而需要对步骤1.3得到的关键词进 行二次筛选： 根据候选 关键词之间 的余弦距离进行排序， 对于有相同语义的关键词， 只保留一个； 步骤2， 构建Encoder模块； Encoder模块的目的是对输入的文本进行编码， 即向量化表示； Encoder模块使用 Transformer的编码 器模块最终获得具有语义特征、 上下文特征的原文本的语义表 示， 成为 全局语义信息； 步骤3， 构建图卷积模块； 在步骤1中得到不同关键词的语义信 息， 为挖掘更有效的局部语义特征， 利用图卷积的 方法， 将局部特征加入关系特征， 从而得到具有关系信息的局部语义信息； 在图卷积 中， 输 入包括节点和邻接矩阵， 其中节点为步骤1提取出来的局部语义信息， 节点之间是有关系 的， 邻接矩阵表示节点之间的关系程度， 然后使用图卷积自适应学习每个关键词之间的关 系权重， 得到关键词之间的邻接矩阵后， 将其和初始的语义信息相乘， 得到关系特征， 再将 关系特征与初始特 征融合， 得到新的一轮特 征； 步骤4， 构建Decoder模块； Decoder模块的目的是生成原文本的摘要， 指针生成器网络是一个带有复制机制的 seq2seq模型， 根据生成器和指针的概率分布预测单词， 其中生成器主要利用encoder模块 输出的背景向量、 decoder当前步的隐藏层以及decoder上一步预测的输出来预测当前步的 词汇， 生成器预测的摘要为词汇表中的单词， 预测原文档之外的单词， 指针的概率分布预测 的单词为指 针指向的原文档中的文本， 因此指 针生成器网络生成的摘要既能够生成新的词 汇， 也能够复制原文档中的文本； 指针生成器网络看作是提取方法和抽象方法之 间的平衡， 通过复制单词提高了未登录词的准确 性和处理能力， 同时保留了产生新词的能力； 使用带 有注意力机制的RN N作为解码器来输出摘要。 2.根据权利要求1所述的基于深度学习的文本摘要获取方法， 其特征在于： 步骤3包括 以下步骤： 步骤3.1在步骤1和步骤2得到了K个局部语义信息以及1个全局语义信息， 作为 图的节 点；权　利　要　求　书 1/2 页 2 CN 114298037 A 2步骤3.2构建图的邻接矩阵， 初始化 为1； 步骤3.3局部特征与整体特征差异越大的， 越离群， 因此本发明通过计算局部语义信息 和全局语义信息的差异， 构建差异矩阵， 利用差异 来动态更新图中所有节点的边的权重； 首 先将全局语义信息重复K次， 分别得到K个局部语义信息与全局语义信息的差异程度， 最终 得到差异矩阵； 步骤3.4利用线性变换操作将3.3得到的差异矩阵转换为维度为(K， K)的矩阵， 称其为 更新矩阵； 步骤3.5将步骤3.4得到的更新矩阵与邻接矩阵逐元素相乘， 该操作的目的就是利用更 新矩阵来自适应的学习邻接矩阵； 步骤3.6将3.5得到的邻接矩阵与节点信息相乘， 得到语义信息的关系特 征； 步骤3.7将3.6得到的局部关系特征与节点的局部语义信息拼接， 得到具有关系信息的 局部语义信息 。 3.根据权利要求1所述的基于深度学习的文本摘要获取方法， 其特征在于： 步骤4具体 步骤如下： 步骤4.1将步骤2和步骤3得到的全局语义信 息和具有关系信息的局部语义信息通过求 和的方式 融合， 作为decoder模块的初始化隐藏向量； 步骤4.2根据attention机制计算原文本中的每个单词对于Decoder词的重要程度， 对 于Decoder的每一步， 根据不同的重要程度获得具有不同关注信息的原文本的语义表示， 称 为背景向量； 步骤4.3根据原文本的语义表示、 上一个时间步的输出以及当前时间步的隐藏向量来 预测当前时间步的输出， 最终 获得每个时间步的预测输出， 从而获得原文本的文本摘要。权　利　要　求　书 2/2 页 3 CN 114298037 A 3