(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210554642.0 (22)申请日 2022.05.19 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 田鑫　陈泽裕　刘佳琪　 (74)专利代理 机构 北京银龙知识产权代理有限 公司 11243 专利代理师 尹倩 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01) G06F 40/30(2020.01) (54)发明名称 模型训练方法、 装置、 电子设备及可读存储 介质 (57)摘要 本公开提供了一种模型训练方法、 装置、 电 子设备及可读存储介质， 涉及计算机技术领域， 尤其涉及深度学习技术领域。 具体实现方案为： 获取N个训练语句， 并将所述N个训练语句分别输 入第一模型和第二模型， N为大于1的整数； 获取 所述第一模型输出的第一自注意力关系值和第 二自注意力关系值， 以及所述第二模 型输出的第 三自注意力关系值和第四 自注意力关系值； 获取 所述第三自注意力关系值与所述第一自注意力 关系值之间的第一相似度， 以及所述第四 自注意 力关系值与所述第二自注意力关系值之间的第 二相似度； 基于所述第一相似度及所述第二相似 度对所述第二模型进行训练。 权利要求书2页 说明书9页 附图2页 CN 114819188 A 2022.07.29 CN 114819188 A 1.一种模型训练方法， 包括： 获取N个训练语句， 并将所述N个训练语句分别输入第一模型和第二模型， N为大于1的 整数； 获取所述第 一模型输出的第 一自注意力关系值和第 二自注意力关系值， 以及所述第 二 模型输出的第三自注意力关系值和第四自注意力关系值； 获取所述第 三自注意力关系值与 所述第一自注意力关系值之间的第 一相似度， 以及所 述第四自注意力关系值与所述第二自注意力关系值之间的第二相似度； 基于所述第一相似度及所述第二相似度对所述第二模型进行训练； 其中， 所述第 一自注意力关系值和所述第 三自注意力关系值为第 一目标语句中字与字 计算得到的自注意力关系值， 所述第二自注意力关系值和所述第四自注意力关系值为所述 第一目标语句中的字与第二目标语句中的字计算得到的自注意力关系值， 所述第一目标语 句和所述第二目标语句为所述 N个训练语句中不同的语句。 2.根据权利要求1所述的方法， 其中， 所述获取所述第 一模型输出的第 一自注意力关系 值和第二自注意力关系值， 以及所述第二模型输出的第三自注意力关系值和 第四自注意力 关系值， 包括： 获取所述N个训练语句中字的语义表示向量； 获取所述第一模型基于所述语义表示向量输出的第一自注意力关系值和第二自注意 力关系值， 以及所述第二模型基于所述语义表示向量输出的第三自注意力关系值和第四自 注意力关系值。 3.根据权利要求1所述的方法， 其中， 所述第一模型与所述第二模型为同一类型的模 型； 所述将所述 N个训练语句分别输入第一模型和第二模型之前， 所述方法还 包括： 基于所述第 一模型确定第 二模型的第 一模型层数， 所述第 一模型层数小于所述第 一模 型的模型层数； 对包含所述第一模型层数的第二模型的模型参数进行随机初始化。 4.根据权利要求3所述的方法， 其中， 所述基于所述第 一相似度及所述第 二相似度对所 述第二模型进行训练之后， 所述方法还 包括： 基于所述第二模型的训练结果， 对包含所述第一模型层数的第二模型进行优化， 以将 所述第一模型层数调整为第二模型层数。 5.根据权利要求1 ‑4中任一项所述的方法， 其中， 所述基于所述第一相似度及所述第二 相似度对所述第二模型进行训练， 包括： 基于相对熵对所述第 一相似度及所述第 二相似度进行判断， 以对所述第 二模型进行训 练； 其中， 训练后的第 二模型输出的第 三自注意力关系值与 所述第一自注意力关系值之间 的相似度大于第一预设值， 训练后的第二模型输出的第四自注意力关系值与所述第二自注 意力关系值之间的相似度大于第二预设值。 6.一种模型训练装置， 包括： 输入模块， 用于获取N个训练语句， 并将所述N个训练语句分别输入第一模型和第二模 型， N为大于1的整数；权　利　要　求　书 1/2 页 2 CN 114819188 A 2第一获取模块， 用于获取所述第 一模型输出的第 一自注意力关系值和第 二自注意力关 系值， 以及所述第二模型输出的第三自注意力关系值和第四自注意力关系值； 第二获取模块， 用于获取所述第 三自注意力关系值与 所述第一自注意力关系值之间的 第一相似度， 以及所述第四自注意力关系值与所述第二自注意力关系值之间的第二相似 度； 训练模块， 用于基于所述第一相似度及所述第二相似度对所述第二模型进行训练； 其中， 所述第 一自注意力关系值和所述第 三自注意力关系值为第 一目标语句中字与字 计算得到的自注意力关系值， 所述第二自注意力关系值和所述第四自注意力关系值为所述 第一目标语句中的字与第二目标语句中的字计算得到的自注意力关系值， 所述第一目标语 句和所述第二目标语句为所述 N个训练语句中不同的语句。 7.根据权利要求6所述的装置， 其中， 所述第一获取模块还用于： 获取所述N个训练语句中字的语义表示向量； 获取所述第一模型基于所述语义表示向量输出的第一自注意力关系值和第二自注意 力关系值， 以及所述第二模型基于所述语义表示向量输出的第三自注意力关系值和第四自 注意力关系值。 8.根据权利要求6所述的装置， 其中， 所述第一模型与所述第二模型为同一类型的模 型； 所述装置还 包括： 确定模块， 用于基于所述第一模型确定第二模型的第一模型层数， 所述第一模型层数 小于所述第一模型的模型层数； 初始化模块， 用于对 包含所述第一模型层数的第二模型的模型参数进行随机初始化。 9.根据权利要求6所述的装置， 其中， 所述装置还 包括： 优化模块， 用于基于所述第二模型的训练结果， 对包含所述第一模型层数的第二模型 进行优化， 以将所述第一模型层数调整为第二模型层数。 10.根据权利要求6 ‑9中任一项所述的装置， 其中， 所述训练模块还用于： 基于相对熵对所述第 一相似度及所述第 二相似度进行判断， 以对所述第 二模型进行训 练； 其中， 训练后的第 二模型输出的第 三自注意力关系值与 所述第一自注意力关系值之间 的相似度大于第一预设值， 训练后的第二模型输出的第四自注意力关系值与所述第二自注 意力关系值之间的相似度大于第二预设值。 11.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑5中任一项所述的方法。 12.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使所述计算机执 行根据权利要求1 ‑5中任一项所述的方法。 13.一种计算机程序产品， 包括计算机程序， 所述计算机程序在被处理器执行时实现根 据权利要求1 ‑5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114819188 A 3