(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210636796.4 (22)申请日 2022.06.07 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 苑浩　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/289(2020.01) G06F 16/35(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 增强语义识别模型的训练数据的方法和装 置 (57)摘要 本公开提供了增强语义识别模型的训练数 据的方法和装置， 涉及人工智 能领域， 尤其涉及 自然语言处理领域。 具体实现方案为： 获取初始 训练数据和用于语义识别的预训练模型， 其中， 所述初始训练数据包括文本信息和用于标注语 义的标注信息； 将所述初始训练数据中的文本信 息随机屏蔽掉至少一个词， 得到待填空数据； 将 所述待填空数据输入所述预训练模 型， 进行语义 识别得到 预测向量； 将随机扰动向量与所述预测 向量叠加， 得到填空向量， 并将所述填空向量转 换成填空文本信息后与所述标注信息组合成增 强的训练数据。 通过该实施方式能够快速、 准确 地利用少量标注数据生成多样化的标注数据。 权利要求书2页 说明书8页 附图5页 CN 114896986 A 2022.08.12 CN 114896986 A 1.一种增强语义识别模型的训练数据的方法， 包括： 获取初始训练数据和用于语义识别的预训练模型， 其中， 所述初始训练数据包括文本 信息和用于标注语义的标注信息； 将所述初始训练数据中的文本信息随机屏蔽掉至少一个词， 得到待填空数据； 将所述待填空数据输入所述预训练模型， 进行语义识别得到预测向量； 将随机扰动向量与所述预测向量叠加， 得到填空向量， 并将所述填空向量转换成填空 文本信息后与所述标注信息组合成增强的训练数据。 2.根据权利要求1所述的方法， 其中， 所述随机扰动向量是从高斯分布中采样生成的。 3.根据权利要求1所述的方法， 其中， 所述预训练模型通过如下步骤训练： 获取样本集和用于语义识别的初始预训练模型， 其中， 所述样本集包括样本文本和标 签信息； 从所述样本集中选取样本， 以及执行以下训练步骤： 将选取的样本中的样本文本随机 屏蔽掉至少一个屏蔽词， 得到待填空样本； 将所述待填空样本输入所述初始预训练模型， 进 行语义识别得到预测样本； 根据所述预测样本与所述至少一个屏蔽词计算损失值； 若所述 损失值小于预定损失阈值， 则输出训练完成的预训练模型； 若所述损 失值大于等于预定损 失阈值， 则调整所述初始预训练模型中的相关参数， 以 及从所述样本集中重新选取样本， 继续执 行所述训练步骤。 4.根据权利要求3所述的方法， 其中， 所述初始预训练模型包括 提示信息参数； 以及 所述调整所述初始预训练模型中的相关参数， 包括： 调整所述初始预训练模型中的提 示信息参数， 其它参数保持不变。 5.根据权利要求3所述的方法， 其中， 所述样本集与所述初始训练数据的内容相同。 6.一种增强语义识别模型的训练数据的装置， 包括： 获取单元， 被配置成获取初始训练数据和用于语义识别的预训练模型， 其中， 所述初始 训练数据包括文本信息和用于标注语义的标注信息； 屏蔽单元， 被配置成将所述初始训练数据中的文本信息随机屏蔽掉至少一个词， 得到 待填空数据； 预测单元， 被配置成将所述待填空数据输入所述预训练模型， 进行语义识别得到预测 向量； 加扰单元， 被配置成将随机扰动向量与所述预测向量叠加， 得到填空向量， 并将所述填 空向量转换成填空文本信息后与所述标注信息组合成增强的训练数据。 7.根据权利要求6所述的装置， 其中， 所述随机扰动向量是从高斯分布中采样生成的。 8.根据权利要求6所述的装置， 其中， 所述装置还 包括训练单 元， 被配置成： 获取样本集和用于语义识别的初始预训练模型， 其中， 所述样本集包括样本文本和标 签信息； 从所述样本集中选取样本， 以及执行以下训练步骤： 将选取的样本中的样本文本随机 屏蔽掉至少一个屏蔽词， 得到待填空样本； 将所述待填空样本输入所述初始预训练模型， 进 行语义识别得到预测样本； 根据所述预测样本与所述至少一个屏蔽词计算损失值； 若所述 损失值小于预定损失阈值， 则输出训练完成的预训练模型； 若所述损 失值大于等于预定损 失阈值， 则调整所述初始预训练模型中的相关参数， 以权　利　要　求　书 1/2 页 2 CN 114896986 A 2及从所述样本集中重新选取样本， 继续执 行所述训练步骤。 9.根据权利要求8所述的装置， 其中， 所述初始预训练模型包括 提示信息参数； 以及 所述训练单 元进一步被配置成： 调整所述初始预训练模型中的提 示信息参数， 其它参数保持不变。 10.根据权利要求8所述的装置， 其中， 所述样本集与所述初始训练数据的内容相同。 11.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑5中任一项所述的方法。 12.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使所述计算机执 行根据权利要求1 ‑5中任一项所述的方法。 13.一种计算机程序产品， 包括计算机程序， 所述计算机程序在被处理器执行时实现根 据权利要求1 ‑5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114896986 A 3