(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210850193.4 (22)申请日 2022.07.20 (71)申请人 山东新一代信息产业 技术研究院有 限公司 地址 250013 山东省济南市高新区港兴三 路北段未来创业广场3号楼1 1-12层 (72)发明人 李晓瑜　冯落落　冯卫森　李沛　 (74)专利代理 机构 济南泉城专利商标事务所 37218 专利代理师 李桂存 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于Transformer的多轮对话 生成方法 (57)摘要 本发明提供了一种基于Tran sformer的多轮 对话生成方法。 本方法首先输入一句话， 本句上 文对话历史， 以及涉及到本句的领域文本文档内 容； 利用Transformer编码器， 将上文对 话历史与 整 合的 文 本 文 件 作为 模 型的 输 入 ； 使 用 Transformer解码器， 对上一步编码器的输出进 行解码， 生成多轮对话所需的对话回复； 将回复 输出到系统。 本方法发明将涉及到的某一或某些 领域整合成一个文本文件， 作为模 型输入的一部 分， 与上文对话历史一并进行输入。 提高了模型 训练的准确性， 丰富了对话语义。 权利要求书1页 说明书2页 CN 115186081 A 2022.10.14 CN 115186081 A 1.一种基于Transformer的多轮对话 生成方法， 其特 征在于， 包括以下步骤： 步骤1： 系统的输入需要回复的对话、 对话历史和涉及到本句对话的领域文本文档内 容； 步骤2： 利用Transformer编码器进行编码， 将上文对话历史与整合的文本文件作为模 型的输入， 利用注意力机制， 通过训练得到加权， 找到词与词之间的关系， 得到该句子的向 量表示； 步骤3： 利用Transformer解码器把隐藏层再映射为自然语言序列， 解码器将上一步编 码器的输出作为输入， 生成多轮对话的对话回复； 步骤4： 进行模型训练， 系统输出多轮对话 生成的对话。 2.根据权利要求1所述的基于Transformer的多轮对话生成方法， 其特征在于， 所述 Transformer编码器由N个编码器组成， 编码器负责把自然语言序列映射成为隐藏层， 使用 注意力机制和全连接层计算， 每一个编码器有两个子层连接， 分别是多头 自注意力和前馈 层， 分别规范化层 及残差单 元继而层级残差单 元。 3.根据权利要求1所述的基于Transformer的多轮对话生成方法， 其特征在于， 所述   Transformer的训练是并行的， 对输入的字同时进行训练。权　利　要　求　书 1/1 页 2 CN 115186081 A 2一种基于 Transformer的多轮对话生成方 法 技术领域 [0001]本发明涉及一种基于Transformer的多轮对话生成方法， 属于自然语言处理技术 领域。 背景技术 [0002]在自然语言处理领域中， 智能对话系统主要分为语音识别、 语言理解、 对话状态维 护、 动作候选排序、 语言生成、 语音合成等几大重要模块。 机器生成对话技术还处于初级阶 段， 整个交互流程大多 是用户进 行主导， 机器被动， 即机器的回复无法像人一样进 行自我主 导的对话交互。 为了使 得由机器主导对话交互， 设置了基于知识图谱的主动聊天任务， 机器 根据构建的知识图谱进行主动聊天， 使得机器具备模拟人类用语言进行信息传递的能力。 当前技术存在以下问题： )编码层在 进行编码时相互独立， 忽略了历史对话序列可以融入以 使得对话序列 的语义更丰富的可能性； 解码层在确定相应对话回复时的过程缺乏深度交 互， 同时显得 过于单薄， 可能导 致推理不足或信息损失。 发明内容 [0003]本发明目的是提供了一种基于Transformer的多轮对话生成方法， 提高了模型准 确率， 丰富了对话的语义。 [0004]本发明为实现上述目的， 通过以下技 术方案实现： 一种基于Transformer的多轮对话 生成方法， 其特 征在于， 包括以下步骤： 步骤1： 系统的输入需要回复的对话、 对话历史和涉及到本句对话的领域文本文档 内容； 步骤2： 利用Transformer编码器进行编码， 将上文对话历史与整合的文本文件作 为模型的输入， 利用注意力机制， 通过训练得到加权， 找到词与词之间的关系， 得到该句 子 的向量表示； 步骤3： 利用Transformer解码器把隐藏层再映射为自然语言序列， 解码器将上一 步编码器的输出作为输入， 生成多轮对话的对话回复； 步骤4： 进行模型训练， 系统输出多轮对话 生成的对话。 [0005]优选的， 所述Transformer编码器由N个编码器组成， 编码器负责把自然语言序列 映射成为隐藏层， 使用注意力机制和全连接层计算， 每一个编 码器有两个子层连接， 分别是 多头自注意力和前馈层， 分别规范化层 及残差单 元继而层级残差单 元。 [0006]优选的， 所述  Transformer的训练是并行的， 对输入的字同时进行训练。 [0007]本发明的优点在于： 本方法发明将涉及到的某一或某些领域整合成一个文本文 件， 作为模型输入的一部分， 与上文对话历史一并进行输入。 提高了模型训练的准确 性， 丰 富了对话语义。说　明　书 1/2 页 3 CN 115186081 A 3