(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210547656.X (22)申请日 2022.05.18 (71)申请人 电子科技大 学 地址 610000 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 陈峥　陶锐文　 (74)专利代理 机构 苏州德萃知识产权代理有限 公司 3262 9 专利代理师 官玉梅 (51)Int.Cl. G06F 40/126(2020.01) G06F 40/216(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) (54)发明名称 开放性文本生成方法以及存 储介质 (57)摘要 本发明涉及一种开放性文本生成方法以及 存储介质。 为了解决现有技术中， 文本生成面临 着长文本退化， 逻辑一致性差， 事实不一致等问 题， 且不能通过调整这些算法本身的参数来进行 修正的问题， 本发明在文本生 成解码方法过程中 引入更多的控制信息， 基于深度神经模型的解码 方法， 并在此基础上利用语言模 型和语料训练该 解码模型， 通过拟合文本在语言模 型产生的信息 序列来进行训练解码模型， 在生 成阶段根据解码 模型预测的字符信息从概率分布中进行选择。 本 发明在静态评价指标和文本生成人工评价方面 都取得了 更好的技术效果。 本发 明适用于自然语 言处理领域。 权利要求书2页 说明书6页 附图3页 CN 114925658 A 2022.08.19 CN 114925658 A 1.一种开 放性文本生成方法， 其特 征在于： 该开 放性文本生成方法包括如下步骤： 步骤1： 词编码步骤， 用于对文本进行 预处理， 以及文本的预编码， 获得词编码的结果； 步骤2： 语言模型处 理步骤， 用于根据词编码的结果， 生成下个词的概 率分布； 步骤3： 中间处理步骤， 用于处理下个词的概率分布和语言模型中最后一个解码器层的 隐层向量序列以提供 给解码步骤， 以执 行训练或字符预测； 步骤4： 解码步骤， 用于根据语言模型处理步骤对文本的编码提供的输入进行训练或者 字符预测以生成文本 。 2.根据权利要求1所述的开 放性文本生成方法， 其特 征在于： 所述语言模型采用的是基于Transformer语言模型。 3.根据权利要求2所述的开 放性文本生成方法， 其特 征在于： 所述中间处 理步骤包括： 子步骤1)： 将隐层向量序列 作为输入A； 子步骤2)： 根据文本的字符序列和语言模型输出的下个词概率分布序列， 计算得到文 本的信息量序列， 并将该文本信息量序列 作为作为训练目标Y； 子步骤3)： 将训练目标Y右 移并在首位补0得到 输出信息序列B； 子步骤4)： 根据下个词概 率分布序列， 计算每 个概率分布的熵得到熵序列C； 子步骤5)： 将输入信息量序列B和熵序列C进行拼接处理作 为解码模型的信息嵌入A， 将 语言模型输出的最后一层logistics向量作为语义嵌入熵序列C， 信息嵌入、 语义嵌入与训 练目标作为中间处 理层的输出 结果。 4.根据权利要求3所述的开放性文本生成方法， 其特征在于： 所述解码步骤包括如下子 步骤： a)对输入的信息嵌入A和语义嵌入C进行线性映射并投影到相同维度得到A'和C ′， 初始 化距离嵌入P， 将A ′， C′， P相加得到解码模型的语义理解目标S； b)利用M个包含多头注意力层和前向连接层的Transformer解码模块对合并后的语义 理解目标S进行处 理， 其中M为 正整数； c)将M个Transformer解码模块最终输出的语义向量 映射为一个一维的预测信息量序 列， 并与真实信息量序列进行拟合， 使用L1正则损失来拟合 误差； d)在生成阶段， 从最后一个词的概率分布Dn中选择信息量最接近解码模块输出的预测 信息量Pn+1的字符作为 生成的字符。 5.根据权利要求 4所述的开 放性文本生成方法， 其特 征在于： 在生成阶段， 通过如下方式获取生成的字符： 从下个词的概率分布中选择最接近的K个 字符进行采样来得到候选 字符， K为用户自定义筛 选数。 6.根据权利要求1 ‑5任意一项所述的开放性文本生成方法， 其特征在于： 该开放性文本 生成方法还 包括如下步骤： 清洗步骤， 其被用于清洗训练文本 。 7.根据权利要求1 ‑5任意一项所述的开放性文本生成方法， 其特征在于： 该开放性文本 生成方法还 包括如下步骤： 利用权利要求1 ‑5任意一项所述的开放性文本生成方法， 迭代式地生成不同长度的文 本， 在遇到结束符或者用户定义长度时结束。 8.一种存储介质， 该存储介质上存储有计算机可读代码， 其特征在于： 处理器读取该计权　利　要　求　书 1/2 页 2 CN 114925658 A 2算机可读代码， 用于执 行前述权利要求1 ‑7任意一项所述的开 放式文本生成方法。权　利　要　求　书 2/2 页 3 CN 114925658 A 3