(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221084851 1.3 (22)申请日 2022.07.19 (71)申请人 北京龙智数 科科技服务有限公司 地址 100020 北京市朝阳区北 苑小街8号6 号楼五层5 305 (72)发明人 张文俊　暴宇健　 (74)专利代理 机构 北京嘉科知识产权代理事务 所(特殊普通 合伙) 11687 专利代理师 杨超 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/253(2020.01) G06F 40/30(2020.01) (54)发明名称 自然语言模型训练方法、 装置、 电子设备及 存储介质 (57)摘要 本申请提供了一种自然语 言模型训练方法、 装置、 电子设备及存储介质。 该方法包括： 对原始 文件语料执行分词操作得到多个词语， 并确定每 个词语对应的词性代码； 基于词性对照表分别将 每个词语的词性代码转换为目标词性信息， 利用 预设的词性标识符以及目标词性信息， 生成每个 词语对应的先验信息； 基于每个词语以及词语对 应的先验信息生成每个词语对应的二元组， 其中 每个词语对应的二元组之间利用预设的分隔符 进行分隔； 将 全部词语对应的二元组所组成的数 据集作为自然语 言模型训练时的训练集， 将训练 集输入到自然语 言模型中进行多轮训练， 得到训 练后的自然语 言模型。 本公开能够缩短自然语言 模型训练时间、 提高 中文语料理解能力。 权利要求书2页 说明书9页 附图3页 CN 115186661 A 2022.10.14 CN 115186661 A 1.一种自然语言模型训练方法， 其特 征在于， 包括： 获取用于模型预训练的原始文件语料， 对原始文件语料执行分词操作得到多个词语， 并确定每 个所述词语对应的词性代码； 基于预先配置的词性对照表， 分别将每个所述词语对应的词性代码转换为目标词性信 息， 利用预设的词性标识符以及所述目标词性信息， 生成每 个所述词语对应的先验信息； 基于每个所述词语以及所述词语对应的先验信 息生成每个词语对应的二元组， 其中每 个所述词语对应的二元组之间利用预设的分隔符进行分隔； 将全部所述词语对应的二元组所组成的数据集作为自然语言模型训练时的训练集， 将 所述训练集输入到所述自然语言模型中进行多轮训练， 得到训练后的自然语言模型。 2.根据权利要求1所述的方法， 其特征在于， 所述原始文件语料为中文语料， 所述获取 用于模型 预训练的原 始文件语料， 对原 始文件语料 执行分词操作得到多个词语， 包括： 获取用于模型预训练 的原始中文语料， 利用分词工具对所述原始中文语料执行分词操 作得到分词 结果， 所述分词结果中包含所述原始中文语料中的全部词语， 其中所述分词工 具包括Jieba 中文分词工具。 3.根据权利要求1所述的方法， 其特征在于， 所述基于预先配置的词性对照表， 分别将 每个所述词语对应的词性代码转换为目标词性信息， 包括： 根据每个所述词语对应的词性代码， 查询所述词性对照表中与 所述词性代码对应的目 标词性信息， 以便确定每个所述词语对应的目标词性信息， 其中所述词性对照表中包含词 性代码与目标词性信息之间的映射关系， 所述目标词性信息包括中文词性信息 。 4.根据权利要求1所述的方法， 其特征在于， 所述利用预设的词性标识符以及所述目标 词性信息， 生成每 个所述词语对应的先验信息， 包括： 基于预设的词性标识符， 将每个所述词语对应的所述目标词性信 息分别与 所述词性标 识符进行融合， 得到每个所述词语对应的先验信息， 其中所述先验信息由所述词性标识符 以及所述目标词性信息构成， 所述先验信息用于表征 所述词语对应的中文词性。 5.根据权利要求1所述的方法， 其特征在于， 所述基于每个所述词语以及所述词语对应 的先验信息生成每 个词语对应的二元组， 包括： 分别将每个所述词语与该词语对应的先验信息进行组合， 得到所述词语对应的二元 组， 以空格作为分隔符将不同词语对应的二元组之间进行分隔， 其中所述二元组中包含词 语以及词语对应的先验信息 。 6.根据权利要求1所述的方法， 其特征在于， 在所述将所述训练集输入到所述自然语言 模型中进行多轮训练之后， 所述方法还 包括： 将预训练后得到的自然语言模型部署到线上， 以便利用所述训练后的自然语言模型对 线上获取到的中文语料进行词性识别， 其中所述自然语言模型包括BERT模型。 7.根据权利要求1至6中任一项所述的方法， 其特征在于， 所述目标词性信息包括中文 词性信息、 英文词性信息和数字标识信息 。 8.一种自然语言模型训练装置， 其特 征在于， 包括： 获取模块， 被配置为获取用于模型预训练的原始文件语料， 对原始文件语料执行分词 操作得到多个词语， 并确定每 个所述词语对应的词性代码； 转换模块， 被配置为基于预先配置的词性对照表， 分别将每个所述词语对应的词性代权　利　要　求　书 1/2 页 2 CN 115186661 A 2码转换为 目标词性信息， 利用预设的词性标识符以及所述 目标词性信息， 生成每个所述词 语对应的先验信息； 生成模块， 被配置为基于每个所述词语以及所述词语对应的先验信 息生成每个词语对 应的二元组， 其中每 个所述词语对应的二元组之间利用预设的分隔符进行分隔； 训练模块， 被配置为将全部所述词语对应的二元组所组成的数据集作为自然语言模型 训练时的训练集， 将所述训练集输入到所述自然语言模型中进行多轮训练， 得到训练后的 自然语言模型。 9.一种电子设备， 包括存储器， 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 所述处 理器执行所述程序时实现如权利要求1至7中任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115186661 A 3