(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111474349.5 (22)申请日 2021.12.0 3 (71)申请人 阿里巴巴达摩院 （杭州） 科技有限公 司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层516室 (72)发明人 翁荣祥　于恒　骆卫华　 (74)专利代理 机构 北京合智同创知识产权代理 有限公司 1 1545 代理人 李杰　杨雷 (51)Int.Cl. G06F 40/166(2020.01) G06N 20/00(2019.01) (54)发明名称 模型训练和文本生成方法、 装置、 电子设备 和存储介质 (57)摘要 本发明实施例提供了一种模型训练和文本 生成方法、 装置、 电子设备和存储介质。 所述模型 训练方法包括： 获取第一训练样本， 所述第一训 练样本包括第一文本和所述第一文本的上下文 掩码文本； 基于所述第一文本作为输入， 基于所 述上下文掩码文本作为监督条件， 对基于时序文 本序列的文本生成模型进行训练。 在本发明实施 例的方案中， 由于文本生 成模型采用第一文本的 上下文掩码文本作为监督条件进行训练， 使文本 生成模型能够学习到第一文本中的上下文信息， 因此使训练后的模型能够生成更准确的文本 。 权利要求书2页 说明书9页 附图3页 CN 114169295 A 2022.03.11 CN 114169295 A 1.一种模型训练方法， 包括： 获取第一训练样本， 所述第 一训练样本包括第 一文本和所述第 一文本的上下文掩码文 本； 基于所述第一文本作为输入， 基于所述上下文掩码文本作为监督条件， 对基于时序文 本序列的文本生成模型进行训练。 2.根据权利要求1所述的方法， 其中， 所述方法还 包括： 获取第二训练样本， 所述第二训练样本包括第二文本和所述第二文本的标签文本， 所 述方法还 包括： 基于所述第二文本作为输入， 基于所述标签文本作为监督条件， 对所述文本生成模型 进行训练。 3.根据权利要求2所述的方法， 其中， 所述第一训练样本用于上下文学习任务， 所述第 二训练样本用于文本生成任务， 所述对基于时序文本序列的文本生成模型进行训练， 包括： 采用所述第 一训练样本和所述第 二训练样本， 对所述文本生成模型进行基于所述上下 文学习任务和文本生成任务的联合训练。 4.根据权利要求3所述的方法， 其中， 所述采用所述第一训练样本和所述第二训练样 本， 对所述文本生成模型进行基于所述上 下文学习任务和文本生成任务的联合训练， 包括： 根据目标函数， 对所述文本生成膜进行基于所述上下文学习任务和文本生成任务的联 合训练， 其中， 所述 目标函数包括第一函数和第二函数， 在所述联合训练过程中， 所述第一 函数通过所述第一文本和所述上下文掩码样本确定， 所述第二函数通过所述第二文本和所 述标签文本确定 。 5.根据权利要求4所述的方法， 其中， 所述目标函数为所述第 一函数和所述第 二函数的 和。 6.根据权利要求4所述的方法， 其中， 所述第 一函数根据 所述上下文掩码样本基于所述 第一文本的条件概率确定， 所述第二函数根据所述标签文本基于所述第二文本的条件概率 确定。 7.根据权利要求3所述的方法， 其中， 对所述文本生成模型进行基于所述上下文学习 任 务和文本生成任务的联合训练， 包括： 基于所述上 下文学习任务和文本生成任务， 对所述文本生成模型进行交替训练。 8.根据权利要求1所述的方法， 其中， 所述获取第一训练样本， 包括： 获取第一文本； 对所述第一文本进行掩码处 理， 得到所述第一文本的上 下文掩码文本 。 9.根据权利要求8所述的方法， 其中， 所述对所述第一文本进行掩码处理， 得到所述第 一文本的上 下文掩码文本， 包括： 基于所述第一文本中的语义依存信息， 对所述第一文本进行上下文掩码处理， 得到所 述上下文掩码文本 。 10.一种文本生成方法， 包括： 获取目标文本； 将所述目标文本输入到基于时序文本序列的文本生成模型中， 得到生成文本， 其中， 所权　利　要　求　书 1/2 页 2 CN 114169295 A 2述文本生成模型根据权利要求1 ‑9中任一项所述的模型训练方法训练得到 。 11.一种电子设备， 包括： 处理器、 存储器、 通信 接口和通信总线， 所述处理器、 所述存储 器和所述通信接口通过所述通信总线完成相互间的通信； 所述存储器用于存放至少一可执 行指令， 所述可执行指 令使所述处理器执行如权利要求 1‑10中任一项 所述的方法对应的操 作。 12.一种计算机存储介质， 其上存储有计算机程序， 该程序被处理器执行时实现如权利 要求1‑10中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114169295 A 3