(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210546544.2 (22)申请日 2022.05.18 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王赞博　曹宇慧　黄硕　陈永锋　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 训练文本审核 模型的方法和装置 (57)摘要 本公开提供了训练文本审核模型的方法和 装置， 涉及人工智 能领域， 尤其涉及自然语言处 理领域。 具体实现方案为： 获取预训练语言模型、 预训练语言微小模型、 标注数据、 无标注数据； 将 所述标注数据输入预训练语言模型进行有监督 训练， 得到教师模型； 将所述标注数据输入预训 练语言微小模型进行有监督训练， 得到学生模 型； 将所述无标注数据分别输入 所述教师模型和 所述学生模 型， 使用教师模型对 学生模型进行蒸 馏， 得到文本审核模型。 该实施方式能够在小规 模人工标注数据和大规模无标注数据上进行训 练， 得到效果 好、 速度快的文本审核 模型。 权利要求书3页 说明书9页 附图5页 CN 114969332 A 2022.08.30 CN 114969332 A 1.一种训练文本审核模型的方法， 包括： 获取预训练语言模型、 预训练语言微小模型、 标注数据、 无 标注数据； 将所述标注数据输入预训练语言模型进行有监 督训练， 得到教师模型； 将所述标注数据输入预训练语言微小模型进行有监 督训练， 得到学生模型； 将所述无标注数据分别输入所述教师模型和所述学生模型， 使用教师模型对学生模型 进行蒸馏， 得到文本审核模型。 2.根据权利要求1所述的方法， 其中， 所述将所述无标注数据分别输入所述教师模型和 所述学生模型， 使用教师模型对学生模型进行蒸馏， 得到文本审核模型， 包括： 将所述无 标注数据输入所述教师模型， 输出 软标签向量； 将所述无 标注数据输入所述学生模型， 输出 预测概率向量； 根据所述软 标签向量和所述预测概 率向量计算软 标签蒸馏损失； 基于所述软 标签蒸馏损失调整所述学生模型的网络参数， 得到文本审核模型。 3.根据权利要求1所述的方法， 其中， 所述将所述无标注数据分别输入所述教师模型和 所述学生模型， 使用教师模型对学生模型进行蒸馏， 得到文本审核模型， 包括： 获取所述教师模型的嵌入层第一输出向量和所述学生模型的嵌入层第二输出向量； 计算所述嵌入层第一输出向量和所述嵌入层第二输出向量的均方误差作为嵌入层蒸 馏损失； 基于所述嵌入层蒸馏损失调整所述学生模型的网络参数， 得到文本审核模型。 4.根据权利要求1所述的方法， 其中， 所述将所述无标注数据分别输入所述教师模型和 所述学生模型， 使用教师模型对学生模型进行蒸馏， 得到文本审核模型， 包括： 获取所述教师模型的隐含层第一输出向量和所述学生模型的隐含层第二输出向量； 计算所述隐含层第一输出向量和所述隐含层第二输出向量的均方误差作为隐含层蒸 馏损失； 基于所述隐含层蒸馏损失调整所述学生模型的网络参数， 得到文本审核模型。 5.根据权利要求1所述的方法， 其中， 所述将所述无标注数据分别输入所述教师模型和 所述学生模型， 使用教师模型对学生模型进行蒸馏， 得到文本审核模型， 包括： 对于所述无标注数据的每个元素， 获取该元素在所述教师模型中的注意力第 一矩阵和 所述学生模型中的注意力第二矩阵； 计算每个元素的注意力第一矩阵和注意力第二矩阵的均方误差作为注意力蒸馏损失； 基于所述注意力蒸馏损失调整所述学生模型的网络参数， 得到文本审核模型。 6.根据权利要求1所述的方法， 其中， 所述将所述无标注数据分别输入所述教师模型和 所述学生模型， 使用教师模型对学生模型进行蒸馏， 得到文本审核模型， 包括： 获取软标签蒸馏损失、 嵌入层蒸馏损失、 隐含层蒸馏损失、 注意力蒸馏损失； 基于软标签蒸馏损失、 嵌入层蒸馏损失、 隐含层蒸馏损失、 注意力蒸馏损失的加权和调 整所述学生模型的网络参数， 得到文本审核模型。 7.一种文本审核方法， 包括： 获取待审核的文本信息； 将所述文本信息输入根据权利要求1 ‑6中任一项所述的方法训练出的文本审核模型， 输出审核结果。权　利　要　求　书 1/3 页 2 CN 114969332 A 28.一种训练文本审核模型的装置， 包括： 获取单元， 被配置成获取预训练语言模型、 预训练语言微小模型、 标注数据、 无标注数 据； 第一训练单元， 被配置成将所述标注数据输入预训练语言模型进行有监督训练， 得到 教师模型； 第二训练单元， 被配置成将所述标注数据输入预训练语言微小模型进行有监督训练， 得到学生模型； 蒸馏单元， 被配置成将所述无标注数据分别输入所述教师模型和所述学生模型， 使用 教师模型对学生模型进行蒸馏， 得到文本审核模型。 9.根据权利要求8所述的装置， 其中， 所述蒸馏单 元进一步被配置成： 将所述无 标注数据输入所述教师模型， 输出 软标签向量； 将所述无 标注数据输入所述学生模型， 输出 预测概率向量； 根据所述软 标签向量和所述预测概 率向量计算软 标签蒸馏损失； 基于所述软 标签蒸馏损失调整所述学生模型的网络参数， 得到文本审核模型。 10.根据权利要求8所述的装置， 其中， 所述蒸馏单 元进一步被配置成： 获取所述教师模型的嵌入层第一输出向量和所述学生模型的嵌入层第二输出向量； 计算所述嵌入层第一输出向量和所述嵌入层第二输出向量的均方误差作为嵌入层蒸 馏损失； 基于所述嵌入层蒸馏损失调整所述学生模型的网络参数， 得到文本审核模型。 11.根据权利要求8所述的装置， 其中， 所述蒸馏单 元进一步被配置成： 获取所述教师模型的隐含层第一输出向量和所述学生模型的隐含层第二输出向量； 计算所述隐含层第一输出向量和所述隐含层第二输出向量的均方误差作为隐含层蒸 馏损失； 基于所述隐含层蒸馏损失调整所述学生模型的网络参数， 得到文本审核模型。 12.根据权利要求8所述的装置， 其中， 所述蒸馏单 元进一步被配置成： 对于所述无标注数据的每个元素， 获取该元素在所述教师模型中的注意力第 一矩阵和 所述学生模型中的注意力第二矩阵； 计算每个元素的注意力第一矩阵和注意力第二矩阵的均方误差作为注意力蒸馏损失； 基于所述注意力蒸馏损失调整所述学生模型的网络参数， 得到文本审核模型。 13.根据权利要求8所述的装置， 其中， 所述蒸馏单 元进一步被配置成： 获取软标签蒸馏损失、 嵌入层蒸馏损失、 隐含层蒸馏损失、 注意力蒸馏损失； 基于软标签蒸馏损失、 嵌入层蒸馏损失、 隐含层蒸馏损失、 注意力蒸馏损失的加权和调 整所述学生模型的网络参数， 得到文本审核模型。 14.一种文本审核装置， 包括： 获取单元， 被配置成获取待审核的文本信息； 审核单元， 被配置成将所述文本信息输入根据权利要求8 ‑13中任一项所述的装置训练 出的文本审核模型， 输出审核结果。 15.一种电子设备， 包括： 至少一个处 理器； 以及权　利　要　求　书 2/3 页 3 CN 114969332 A 3