(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210615338.2 (22)申请日 2022.05.31 (71)申请人 北京深言科技有限责任公司 地址 100084 北京市海淀区成府路15 0号2 层210号 (72)发明人 陈刚　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 董娜 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/30(2020.01) G06F 40/295(2020.01) G06F 40/211(2020.01) G06F 40/284(2020.01)G06F 16/36(2019.01) G06F 16/335(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 可控文本生成方法及装置 (57)摘要 本发明提供一种可控文本生成方法及 装置， 该方法包括： 将初始文本以及初始控制信号输入 至目标可控文本生成模型中， 得到目标可控文本 生成模型输出的可控文本； 目标可控文本生成模 型通过如下方式训练得到： 对样 本数据进行特征 抽取， 确定样本数据的控制信号； 基于样本数据 以及样本数据的控制信号， 对初始Transformer 模型进行预训练， 得到目标可控文本生成模型。 本发明提供的可控文本生 成方法及装置， 通过在 样本数据中抽取关键词、 事件、 风格等特征作为 控制信号， 产生大量伪数据， 并通过预训练得到 目标可控文本生成模型， 通过目标可控文本生成 模型可以实现根据输入的初始文本以及控制信 号， 生成满足控制信号并与初始文本顺畅衔接的 文本。 权利要求书2页 说明书10页 附图2页 CN 114970524 A 2022.08.30 CN 114970524 A 1.一种可控文本生成方法， 其特 征在于， 包括： 将初始文本以及初始控制信号输入至目标可控文本生成模型中， 得到所述目标可控文 本生成模型输出的可控文本； 所述目标 可控文本生成模型通过如下 方式训练得到： 对样本数据进行 特征抽取， 确定所述样本数据的控制信号； 基于所述样本数据以及所述样本数据的控制信号， 对初始Transformer模型进行预训 练， 得到所述目标 可控文本生成模型。 2.根据权利要求1所述的可控文本生成方法， 其特征在于， 所述对样本数据进行特征抽 取， 确定所述样本数据的控制信号， 包括： 抽取所述样本数据的关键词特征、 事件特征、 知识图谱三元组特征、 文本风格特征和句 法结构特 征； 基于抽取的特 征中的至少一项， 确定所述样本数据的控制信号。 3.根据权利要求2所述的可控文本生成方法， 其特征在于， 所述抽取所述样本数据的关 键词特征， 包括： 基于TF‑IDF、 TextRan k和KeyBERT方法， 分别抽取 所述样本数据的关键词； 基于所述关键词， 确定关键词候选集； 基于所述样本数据中的词的数量， 从所述关键词候选集中抽取第一数量个关键词； 将所述第一数量个关键词作为所述样本数据的关键词特 征。 4.根据权利要求2所述的可控文本生成方法， 其特征在于， 所述抽取所述样本数据的事 件特征， 包括： 对所述样本数据进行分句和语义标注， 确定每 个文本数据的语义结构； 将语义结构不完整的文本数据进行 过滤； 基于所述样本数据中的句子的数量， 从剩余语义结构中抽取第二数量个 语义结构； 将所述第二数量个 语义结构作为所述样本数据的事 件特征。 5.根据权利要求2所述的可控文本生成方法， 其特征在于， 所述抽取所述样本数据的知 识图谱三元组特 征， 包括： 对所述样本数据进行分词、 命名实体识别和关系抽取处理， 确定所述样本数据的知识 图谱三元组； 基于所述样本数据中的句子的数量， 从所述知识图谱三元组中抽取第 三数量个知识图 谱三元组； 将所述第三数量个知识图谱三元组作为所述样本数据的知识图谱三元组特 征。 6.根据权利要求2所述的可控文本生成方法， 其特征在于， 所述抽取所述样本数据的句 法结构特 征， 包括： 基于句法分析工具对所述样本数据的第 一句话进行句法分析， 确定所述样本数据的句 法树； 基于所述样本数据的句法树， 确定所述样本数据的句法结构特 征。 7.根据权利要求1所述的可控文本生成方法， 其特征在于， 所述基于所述样本数据以及 所述样本数据的控制 信号， 对初始Transformer模 型进行预训练， 得到所述目标可控文本生 成模型， 包括：权　利　要　求　书 1/2 页 2 CN 114970524 A 2将所述样本数据与所述样本数据的控制信号进行拼接； 在初始Transformer模型中设置控制信号部分的位置编码， 使控制信号与待生成文本 之间的距离为目标值； 基于拼接后的数据对设置后的模型进行 预训练， 得到所述目标 可控文本生成模型。 8.一种可控文本生成装置， 其特 征在于， 包括： 生成模块， 用于将初始文本以及初始控制信号输入至目标可控文本生成模型中， 得到 所述目标 可控文本生成模型输出的可控文本； 所述目标 可控文本生成模型通过如下 方式训练得到： 对样本数据进行 特征抽取， 确定所述样本数据的控制信号； 基于所述样本数据以及所述样本数据的控制信号， 对初始Transformer模型进行预训 练， 得到所述目标 可控文本生成模型。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述可控文本生成方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至7任一项所述可控文本生成方法。权　利　要　求　书 2/2 页 3 CN 114970524 A 3