(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111194648.3 (22)申请日 2021.10.13 (71)申请人 华为技术有限公司 地址 518129 广东省深圳市龙岗区坂田华 为总部办公楼 (72)发明人 李温鹏　邵云峰　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 熊永强　李稷芳 (51)Int.Cl. H04L 41/147(2022.01) H04L 41/14(2022.01) G06N 5/04(2006.01) G06N 20/00(2019.01) (54)发明名称 多任务模 型训练方法、 多任务预测方法及相 关产品 (57)摘要 本申请提供了一种多任务模 型训练方法、 多 任务预测方法及相关产品。 涉及人工智 能领域， 具体涉及计算机视觉领域。 包括： 通过每个门网 络对训练数据进行处理， 以获取与每个门网络对 应的多个目标专家网络以及权重； 通过多个目标 专家网络分别对训练数据进行特征提取， 以得到 与每个门网络对应的多个第一特征； 根据多个目 标专家网络的权重， 对多个第一特征进行加权， 以得到与每个门网络对应的T ower网络的输入数 据； 通过每个门网络对应的Tower网络对输入数 据进行任务预测， 以得到每个门网络对应的 Tower网络的任务预测结果； 根据每个门网络对 应的多个目标专家网络的权重以及多个Tower网 络的任务预测结果， 对 多任务模型进行训练。 权利要求书4页 说明书16页 附图6页 CN 114095381 A 2022.02.25 CN 114095381 A 1.一种多任务模型训练方法， 其特征在于， 所述多任务模型包括多个门网络、 多个专家 网络以及多个To wer网络， 所述多个门网络与所述多个To wer网络一 一对应； 所述方法包括： 通过所述多个门网络中的每个门网络对训练数据进行处理， 以从所述多个专家网络中 获取与每个所述门网络对应的多个目标专家网络， 以及获取每个所述门网络对应的多个目 标专家网络的权 重； 通过每个所述门网络对应的多个目标专家网络分别对所述训练数据进行特征提取， 以 得到与每 个所述门网络对应的多个第一特 征； 根据每个所述门网络对应的多个目标专家网络的权重， 对每个所述门网络对应的多个 第一特征进行加权， 以得到与每 个所述门网络对应的To wer网络的输入数据； 通过每个所述门网络对应的Tower网络， 对每个所述门网络对应的Tower网络的输入数 据进行任务预测， 以得到每 个所述门网络对应的To wer网络的任务预测结果； 根据每个所述门网络对应的多个目标专家网络的权重， 以及所述多个Tower网络的任 务预测结果， 对所述多任务模型进行训练。 2.根据权利要求1所述的方法， 其特征在于， 所述通过所述多个门网络中的每个所述门 网络对训练数据进行 处理， 以从所述多个专家网络中获取与每个所述门网络对应的多个目 标专家网络， 以及获取每 个所述门网络对应的多个目标专 家网络的权 重， 包括： 对所述训练数据进行 特征提取， 以得到每 个所述专 家网络对应的概 率； 基于每个所述专家网络对应的概率， 从所述多个专家网络 中获取与每个所述门网络对 应的多个目标专 家网络； 对每个所述门网络对应的多个目标专家网络的概率进行归一化， 以得到每个所述门网 络对应的多个目标专 家网络的权 重。 3.根据权利要求2所述的方法， 其特征在于， 所述多任务模型还包括多个噪声网络， 其 中， 所述多个噪声网络与所述多个门网络一一对应； 所述对所述训练数据进行特征提取， 以 得到每个所述专 家网络对应的概 率， 包括： 通过每个所述门网络对所述训练数据进行 特征提取， 以得到第二特 征； 通过每个所述门网络对应的噪声网络对所述训练数据进行特征提取， 以得到第三特 征； 通过每个所述门网络对应的噪声网络对所述第三特 征添加噪声， 以得到第四特 征； 对所述第二特 征和所述第四特 征进行融合， 以得到第五特 征； 对所述第五特 征进行处 理， 以得到每 个所述专 家网络对应的概 率。 4.根据权利要求1 ‑3中任一项所述的方法， 其特征在于， 所述根据每个所述门网络对应 的多个目标专家网络的权重， 以及所述多个Tower网络的任务预测结果， 对所述多任务模 型 进行训练， 包括： 根据所述多个Tower网络中每个所述Tower网络的任务预测结果， 确定每个所述Tower 网络对应的第一损失； 根据每个所述门网络对应的多个目标专家网络的权重， 以得到与每个所述门网络对应 的信息熵； 根据每个所述门网络对应的Tower网络的第一损失和每个所述门网络对应的信息熵， 确定与所述训练数据对应的目标损失；权　利　要　求　书 1/4 页 2 CN 114095381 A 2根据所述目标损失， 对所述多任务模型进行训练。 5.根据权利要求4所述的方法， 其特征在于， 根据每个门网络对应的Tower网络的第一 损失和每个所述门网络对应的信息熵， 确定与所述训练数据对应的目标损失之前， 所述方 法还包括： 根据每个所述门网络对应的多个目标专家网络的权重， 确定每个所述门网络分别选择 所述多个专 家网络的概 率； 根据每个所述门网络选择所述多个专家网络的概率， 确定多个目标门网络 中任意两个 所述目标门网络选择所述多个专家网络的概率之间的分布差异， 其中， 所述多个目标门网 络为所述多个门网络中的部分或全部； 所述根据每个所述门网络对应的Tower网络的第一损失和每个所述门网络对应的信息 熵， 确定与所述训练数据对应的目标损失， 包括： 根据每个门网络对应的Tower网络的第一损失、 每个所述门网络对应的信息熵、 以及所 述分布差异， 确定与所述训练数据对应的目标损失。 6.根据权利要求5所述的方法， 其特 征在于， 任意两个所述目标门网络对应的两个To wer网络的任务预测之间的差异性大于阈值。 7.根据权利要求5或6所述的方法， 其特 征在于， 所述分布差异通过任意两个所述目标门网络选择所述多个专家网络的概率之间的KL 散度、 JS散度或者 Wasserstein距离表征。 8.根据权利要求1 ‑7中任一项所述的方法， 其特 征在于， 所述训练数据为多个第一时刻下的视频数据组成的二维特征图， 每个所述Tower网络 的任务预测结果 为视频关键质量指标中的一种； 或者， 所述训练数据为多个第一用户特征数据， 每个所述Tower网络的任务预测结果为用户 行为中的一种。 9.一种多任务预测方法， 其特 征在于， 包括： 获取待预测数据； 将所述待预测数据输入到多任务模型， 以得到每个Tower网络对应的任务预测结果； 其 中， 所述多任务模型通过如权利要求1～8中任一项所述的方法进行训练得到； 其中， 当所述待预测数据为多个第二时刻下的视频数据组成的二维特征图时， 每个所 述Tower网络的任务预测结果为视频关键质量指标中的一种； 当所述待预测数据为多个第 二用户特 征数据时， 每 个所述To wer网络的任务预测结果 为用户行为中的一种。 10.一种多任务模型训练装置， 其特征在于， 所述多任务模型包括多个门网络、 多个专 家网络以及多个Tower网络， 所述多个门网络与所述多个Tower网络一一对应； 所述装置包 括： 获取单元和处理单元； 所述获取 单元， 用于获取训练数据； 所述处理单元， 用于通过所述多个门网络中的每个门网络对训练数据进行处理， 以从 所述多个专家网络中获取与每个所述门网络对应的多个目标专家网络， 以及获取每个所述 门网络对应的多个目标专 家网络的权 重； 所述处理单元， 还用于通过每个所述门网络对应的多个目标专家网络分别对所述训练权　利　要　求　书 2/4 页 3 CN 114095381 A 3