(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210819636.3 (22)申请日 2022.07.13 (71)申请人 科大讯飞华 南人工智能研究院 （广 州） 有限公司 地址 511458 广东省广州市南沙区丰泽 东 路106号 （自编1号楼） X13 01-G5145 (72)发明人 许光辉　杜倩云　梅林海　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王雨 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/126(2020.01) (54)发明名称 语言模型训练及自然语 言任务处理方法、 装 置及相关 设备 (57)摘要 本申请公开了一种语言模型训练及自然语 言任务处理方法、 装置及相关设备， 区别于传统 的以掩码字符对应的编码特征来预测目标字符 的方式， 本案改为利用掩码字 符所在训练文本末 尾处的第二占位符对应的编码特征来预测目标 字符， 从而将训练文本中局部信息编码进第二占 位符中， 使得第二占位符对应的编码特征能够表 示训练文本中局部的语义。 同时， 本申请也可 以 通过第一占位符提取到训练文本整体的语义， 使 得提取到的最终特征同时包含了全局和局部语 义特征， 特征更加丰富、 准确。 应用于下游任务 时， 能够更好的区分相似语义的文本 。 权利要求书3页 说明书11页 附图3页 CN 115186675 A 2022.10.14 CN 115186675 A 1.一种语言模型训练方法， 其特 征在于， 包括： 对训练文本进行占位符添加及随机字符掩码处理， 得到编辑后训练文本， 所述训练文 本中随机选取的目标字符在所述编辑后训练文本中用设定掩码字符替代， 且所述编辑后训 练文本中在首条训练文本的起始字符前添加有第一占位符， 在每条训练文本的末 尾添加有 第二占位符； 确定所述编辑后训练文本中包括第一、 第二占位符及掩码字符在内的， 每个字符的编 码特征； 利用语言模型处理各字符的编码特征， 得到与所述第一占位符对应的全局语义特征， 以及与所述第二占位符对应的局部语义特征； 所述全局语义特征用于表示所述训练文本整 体的语义， 所述局部语义特 征用于表示所述训练文本中局部的语义； 基于所述掩码字符所在训练文本的末尾处的第 二占位符对应的局部语义特征， 预测所 述掩码字符对应的目标字符， 直至 达到设定训练结束条件， 得到训练后的语言模型。 2.根据权利要求1所述的方法， 其特征在于， 所述对训练文本进行占位符添加及随机字 符掩码处 理， 得到编辑后训练文本， 包括： 在首条训练文本的起始字符前添加第 一占位符， 在每条训练文本的末尾添加第 二占位 符， 得到包 含占位符的训练文本； 将所述包含占位符的训练文本按照字符进行拆分， 并随机选取目标字符用设定掩码字 符替代， 得到编辑后训练文本； 或， 将每条训练文本按照字符进行拆分， 并随机选取目标字符用设定掩码字符替代， 得到 掩码后训练文本； 在首条掩码后训练文本的起始字符前添加第 一占位符， 在每条掩码后训练文本的末尾 添加第二占位符， 得到编辑后训练文本 。 3.根据权利要求1所述的方法， 其特征在于， 确定所述编辑后训练文本中包括第一、 第 二占位符及掩码字符在内的， 每 个字符的编码特 征， 包括： 对于编辑后训练文本 中包括第 一、 第二占位符及掩码字符在内的， 每个字符： 分别确定 字符的字符编 码特征、 片段编码特征和位置编 码特征， 其中， 所述字符编 码特征表示字符本 身的含义， 所述片段编码特征表示字符所在训练文本的排序顺序， 所述位置编码特征表示 字符在编辑后训练文本中的位置； 将每个字符的字符编码特征、 片段编码特征和位置编码特征进行融合， 得到每个字符 融合后的编码特 征。 4.根据权利要求3所述的方法， 其特 征在于， 确定 字符的位置编码特 征的过程， 包括： 确定所述编辑后训练文本中的分词及各分词的排序顺序； 对于编辑后训练文本中每个字符， 按照字符所在分词的排序顺序， 确定字符的位置编 码特征。 5.根据权利要求1所述的方法， 其特征在于， 所述利用语言模型处理各字符的编码特 征， 得到与所述第一占位符对应的全局语义特征， 以及与所述第二占位符对应的局部语义 特征， 包括： 利用语言模型将所述编辑后训练文本中的每个字符， 分别与其余各字符进行注意力权　利　要　求　书 1/3 页 2 CN 115186675 A 2attention处理， 得到每个字符融合其余字符含义后的特征表示， 其中， 由第一占位符对应 的字符融合其余字符含义后的特征表示， 作为全局语义特征， 由第二占位符对应的字符融 合其余字符含义后的特 征表示， 作为局部语义特 征。 6.根据权利要求1 ‑5任一项所述的方法， 其特 征在于， 还 包括： 利用训练后的语言模型处理添加了第一、 第二占位符后的训练文本， 得到第一占位符 对应的全局语义特 征和第二占位符对应的局部语义特 征； 将所述全局语义特 征和所述局部语义特 征进行融合， 得到融合后语义特 征； 将所述融合后语义特征输入下游的任务处理模块， 得到任务处理模块预测的任务处理 结果， 以所述预测的任务处理结果趋近于所述训练文本对应的样本标签为 目标， 对任务处 理模块的网络参数进行微调。 7.一种自然语言任务处 理方法， 其特 征在于， 包括： 获取待处 理的任务文本； 利用权利要求1 ‑6任一项训练得到的语言模型处理所述任务文本， 得到所述语言模型 输出的第一占位符对应的全局语义特 征和第二占位符对应的局部语义特 征； 将所述全局语义特 征及局部语义特 征进行融合， 得到融合语义特 征； 利用预配置的任务处理模块， 基于所述融合语义特征进行指定任务处理， 得到任务处 理结果。 8.根据权利要求7 所述的方法， 其特 征在于， 所述任务处 理模块为分类模型； 所述利用预配置的任务处理模块， 基于所述融合语义特征进行指定任务处理， 得到任 务处理结果， 包括： 利用所述分类模型， 基于所述融合语义特征进行分类任务处理， 得到分类任务处理结 果。 9.根据权利要求7 所述的方法， 其特 征在于， 所述任务文本包含1条文本， 则所述语言模型输出的全局语义特征为1个， 局部语义特 征为1个； 或， 所述任务文本包含N条文本， N≥2， 则所述语言模型输出的全局语义特征为1个， 输出的 局部语义特 征包括与各 条文本末尾的第二占位符对应的共N个局部语义特 征； 所述将所述全局语义特 征及局部语义特 征进行融合， 得到融合语义特 征， 包括： 将所述全局语义特 征及N个局部语义特 征进行融合， 得到融合语义特 征。 10.一种语言模型训练装置， 其特 征在于， 包括： 训练文本编辑单元， 用于对训练文本进行占位符添加及随机字符掩码处理， 得到编辑 后训练文本， 所述训练文本中随机选取的目标字符在所述编辑后训练文本中用设定掩码字 符替代， 且所述编辑后训练文本中在首条训练文本的起始字符前添加有第一占位符， 在每 条训练文本的末尾添加有第二占位符； 编码特征确定单元， 用于确定所述编辑后训练文本中包括第一、 第二占位符及掩码字 符在内的， 每 个字符的编码特 征； 编码特征处理单元， 用于利用语言模型处理各字符的编码特征， 得到与所述第一占位 符对应的全局语义特征， 以及与所述第二占位符对应的局部语义特征； 所述全局语义特征权　利　要　求　书 2/3 页 3 CN 115186675 A 3