(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210833616.1 (22)申请日 2022.07.14 (71)申请人 广州欢聚时代信息科技有限公司 地址 511442 广东省广州市番禺区南村镇 万博二路79 号万博商务区万达商业广 场北区B-1栋23层 (72)发明人 郑彦　 (74)专利代理 机构 广州利能知识产权代理事务 所(普通合伙) 44673 专利代理师 王增鑫 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/34(2019.01) G06F 16/35(2019.01) G06F 40/211(2020.01)G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 文本摘要模型生产方法及其装置、 设备、 介 质 (57)摘要 本申请涉及计算机技术领域中一种文本摘 要模型生产方法及其装置、 设备、 介质， 所述方法 包括： 获取训练集， 所述训练集包括多个样本数 据， 所述样 本数据包括段落文本及其对应的摘要 文本； 以所述样本数据中的段落文本中非核心语 句的关键词序列作为训练样本， 以所述非核心语 句作为监督标签， 对预设的生 成器实施自监督训 练； 以等效语句替换所述样本数据中的段落文本 中对应的非核心语句且遮盖所述段落文本中的 部分核心 语句作为训练样本， 以所述核心语句作 为监督标签， 对文本摘要模型实施预训练至收 敛； 以所述段落文本作为训练样本， 以所述段落 文本相对应的摘要文本作为监督标签， 对文本摘 要模型实施 微调训练至收敛。 本申请能够生成高 质量的文本摘要。 权利要求书3页 说明书16页 附图5页 CN 115129819 A 2022.09.30 CN 115129819 A 1.一种文本摘要模型生产方法， 其特 征在于， 包括如下步骤： 获取训练集， 所述训练集包括多个样本数据， 所述样本数据包括段落文本及其对应的 摘要文本， 所述段落文本包括核心语句和非核心语句， 所述核心语句表征段落文本的重点 语义； 以所述样本数据中的段落文本 中非核心语句的关键词序列作为训练样本， 以所述非核 心语句作为监督标签， 对预设的生成器实施自监督训练， 使训练至 收敛的生成器适于根据 关键词序列生成所述非核心语句的等效语句； 以等效语句替换所述样本数据中的段落文本中对应的非核心语句且遮盖所述段落文 本中的部分核心语句作为训练样本， 以所述核心语句作为监督标签， 对文本摘要模型实施 预训练至收敛； 以所述样本数据中的段落文本作为训练样本， 以所述段落文本相对应的摘要文本作为 监督标签， 对文本摘要模型实施微调训练至收敛。 2.根据权利要求1所述的文本摘要模型生产方法， 其特征在于， 遮盖所述段落文本 中的 部分核心语句作为训练样本的步骤中， 包括如下步骤： 采用预先训练至收敛的文本编码模型对所述段落文本 中的语句进行编码， 获得各个语 句对应的编码向量； 计算所述各个 语句对应编码向量的平均值， 获得中心向量； 根据所述各个语句对应的编码向量与所述中心向量之间的向量距离， 确定所述段落文 本中的核心语句； 按预设比例选取 所述段落文本中的部分核心语句替换为特定遮盖标识。 3.根据权利要求1所述的文本摘要模型生产方法， 其特征在于， 以等效语句替换所述样 本数据中的段落文本中对应的非核心语句的步骤中， 包括如下步骤： 选取所述段落文本 中核心语句上下文对应的非核心语句， 提取出该非核心语句中的目 标关键词文本， 获得其对应在语句中的位置信息构造出关键词序列， 所述 目标关键词文本 包含名词文本、 动词文本、 主语从句关键词文本、 定语从句关键词文本； 根据所述关键词序列， 采用预先训练至收敛的对抗神经网络的生成器生成非核心语句 的等效语句， 以其 替换所述样本数据中的段落文本中对应的非核心语句。 4.根据权利要求3所述的文本摘要模型生产方法， 其特征在于， 所述对抗神经网络的生 成器的训练过程， 包括如下步骤： 将预设生成器接入预先训练至收敛的判别器构造出对抗神经网络， 冻结判别器的权 重； 调用单个训练样本输入至所述生成器生成训练样本对应的等效语句， 所述训练样本为 所述样本数据中的段落文本中核心语句上 下文对应的非核心语句的关键词序列； 调用所述判别器对所述等效语句做分类映射， 将其映射至二分类空间， 获得映射至正 类空间或负类空间对应的分类概 率； 假定所调用的训练样本的监督标签为正类样本计算损失值， 在该损失值达到预设阈值 时判定生成器收敛而终止训练， 否则调用另一训练样本继续对生成器实施迭代训练。 5.根据权利要求4所述的文本摘要模型生产方法， 其特征在于， 将预设生成器接入预先 训练至收敛的判别器构造出对抗神经网络， 冻结判别器的权 重之前， 还 包括如下步骤：权　利　要　求　书 1/3 页 2 CN 115129819 A 2以所述样本数据中的段落文本 中非核心语句的关键词序列作为训练样本， 以所述非核 心语句作为 监督标签， 监 督训练预设的生成器直至收敛； 调用生成器根据所述训练样本的关键词序列生成非核心语句对应的等效语句作为训 练判别器的训练样本， 以对应的非核心语句作为 监督标签； 调用判别器对训练其的训练样本做分类映射， 将其映射至二分类空间， 获得映射至正 类空间或负类空间对应的分类概 率； 根据所述判别器的训练样本对应的监督标签， 计算相应的分类概率的损 失值， 在该损 失值达到预设阈值时判定判别器收敛而终止训练， 否则调用下一个训练样本继续对实施迭 代训练。 6.根据权利要求1所述的文本摘要模型生产方法， 其特征在于， 对文本摘要模型实施预 训练至收敛， 包括如下步骤： 调用文本摘要模型的编码器提取出单个所述训练样本中被遮盖的部分核心语句对应 的深层语义特 征， 编码出第一文本特 征向量； 调用文本摘要模型的解码器解码第 一文本特征向量， 获得第 一解码文本 中各个词元映 射至预设词典对应的概 率分布； 根据训练样本对应的监督标签， 计算所述概率分布对应的损 失值， 在该损 失值达到预 设阈值时判定模型收敛而终止预训练， 否则调用另一训练样本继续对 模型实施迭代训练。 7.根据权利要求1所述的文本摘要模型生产方法， 其特征在于， 对文本摘要模型实施微 调训练至收敛， 包括如下步骤： 调用文本摘要模型的编码器提取出单个所述训练样本的段落文本对应的深层语义特 征， 编码出第二文本特 征向量； 调用文本摘要模型的解码器解码第 二文本特征向量， 获得第 二解码文本 中各个词元映 射至预设词典对应的概 率分布； 根据训练样本对应的监督标签， 计算所述概率分布对应的损 失值， 在该损 失值达到预 设阈值时判定模型收敛而终止微调训练， 否则调用另一训练样本继续对模型实施迭代训 练。 8.一种文本摘要模型生产装置， 其特 征在于， 包括： 数据获取模块， 用于获取训练集， 所述训练集包括多个样本数据， 所述样本数据包括段 落文本及其对应的摘要文本， 所述段落文本包括核心语句和非核心语句， 所述核心语句表 征段落文本的重点语义； 生成器训练模块， 用于以所述样本数据中的段落文本 中非核心语句的关键词序列作为 训练样本， 以所述 非核心语句作为监督标签， 对预设的生 成器实施自监督训练， 使训练至收 敛的生成器适于根据关键词序列生成所述非核心语句的等效语句； 预训练模块， 用于以等效语句替换所述样本数据中的段落文本中对应的非核心语句且 遮盖所述段落文本中的部分核心语句作为训练样本， 以所述核心语句作为监督标签， 对文 本摘要模型实施预训练至收敛； 微调训练模块， 用于以所述样本数据中的段落文本作为训练样本， 以所述段落文本相 对应的摘要 文本作为 监督标签， 对文本摘要模型实施微调训练至收敛。 9.一种计算机设备， 包括中央处理器和存储器， 其特征在于， 所述中央处理器用于调用权　利　要　求　书 2/3 页 3 CN 115129819 A 3