(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111635176.0 (22)申请日 2021.12.2 9 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 王睿　邹佳伶　辛佳雯　 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01) (54)发明名称 一种无需多任务联合标注的多任务深度学 习训练方法 (57)摘要 本发明涉及一种无需多任务联合标注的多 任务深度学习训练方法， 涉及计算机视觉领域。 首先， 利用与目标任务对应的单任务标注数据集 训练目标任务分支网络， 利用与若干辅助任务分 别对应的各单任务标注数据集训练各辅助分支 网络； 之后通过计算各辅助任务特征与目标任务 特征的Gram矩阵， 形成对各辅助任务特征的通道 注意力， 进而调整相应的辅助任务特征的各分量 权值， 再将调整后的多组辅助任务特征与目标任 务特征进行级联融合， 构建实现目标任务的整合 网络； 最后利用与目标任务对应的单任务标注数 据集训练整合网络实现目标任务。 本发明采用基 于Gram通道注意力机制的特征融合， 实现了针对 目标任务而无需多任务联合标注训练集的多任 务训练。 权利要求书2页 说明书5页 附图3页 CN 114298324 A 2022.04.08 CN 114298324 A 1.一种无需多任务联合标注的多任务深度学习训练方法， 包括： 步骤1， 利用与目标任务对应的单任务标注数据集训练目标任务分支网络， 确保目标任 务分支网络能够 初步实现对目标任务相关特 征的提取； 步骤2， 利用与若干辅助任务分别对应的各单任务标注数据集训练辅助分支网络， 确保 每个辅助分支网络能够实现对相应辅助任务相关特 征的提取； 步骤3， 通过每个辅助分支网络提取的特征(辅助任务特征)与目标任务分支网络提取 的特征(目标任务特征)计算Gram矩阵， Gram矩阵作为协方差阵能够定量表 示每组辅助任务 特征与目标任务特征之间的非线性相关性， 进而形成对每组辅助任务特征 的通道注意力， 以调整相应的辅助任务特征的各分量权值， 再将调整后的多组辅助任务特征与目标任务特 征进行级联， 实现特 征融合， 构建实现目标任务的整合网络， 具体为： 首先对所有K个辅助任务的特征及目标任务的特征进行批归一化， 规定特征大小为H × W×C， 其中W,H,C分别为特 征的长、 宽及通道数。 对于第k(k＝1, …,K)个辅助分支网络， 其提取特征表示为Xki(i＝1,2, …,Ck1)， 大小为H ×W×Ck1， 其中Xki为第k个辅助任务的第i通道 二维特征， 共Ck1个通道， 目标任务分支网络提 取的特征表示为Yj(j＝1,2, …,C2)， 大小为H ×W×C2， 其中Yj为第j通道的二维特征， 共C2个 通道。 利用Xk i及Yj计算二者的Frobenius矩阵内积作为Gramk(i ,j) ， 即 Gramk(i,j)可定量表 示Xki与Yj之间的非线性相关性： 当Gramk(i,j)为正， Xki与Yj呈正相关； 当Gramk(i,j)为负， Xki与Yj呈负相关； 当Gramk(i,j)的绝对值越大， Xki与Yj相关性越强。 通过将第k个辅助分支 网络的Ck1个辅助任务特 征与C2个目标任务特 征相乘可得到大小为Ck1×C2的Gramk矩阵。 对于该Gramk矩阵， 第i行代表第i通道的辅助任 务特征与每一通道目标任务特征两两之 间的相关性， 因此第i行的最大值即表示了第i通道的辅助任务特征与目标任务特征具有的 最大相关性， 当行最大值越 大， 相关性越强， 即可以认为该通道辅助任务特征越能够通过目 标任务特征表征， 因此该通道辅助任务特征对于融合后的特征冗余性越高， 对其分配的注 意力应降低， 反之对其分配的注意力应增加， 因此， 通过对该Gramk矩阵取各行的最大值形 成C1k×1的相关性向量， 反映了第k个辅助任务每个通道特征与目标任务特征之间的相关 性。 通过对相关性向量进 行全连接层计算得到对第k组辅助任务特征各通道的权重因子， 对 相应通道的辅助任务特征进行加权扩缩 可得到调整后的第k组辅助任务特征， 即第k组待融 合辅助任务特 征。 对K个辅助任务的每一组辅助任务的特征进行上述Gram注意力调整操作， 得到共K组待 融合辅助任务特征， 将这K组待融合辅助任务特征及目标任务特征共K+1组特征在通道维度 级联， 形成融合后特 征， 并构建整合网络； 步骤4， 迁移所有分支网络的训练参数到步骤3中构建的整合网络， 具体为： 将步骤1及 步骤2训练得到的分支网络参数迁移到步骤3中构建整合网络的各个分支， 作为步骤5训练 的初始参数； 步骤5， 利用与目标任务对应的单任务标注数据集训练步骤4中已初始化的整合网络， 具体为： 固定整合网络中各个辅助分支的编码器参数， 确保辅助任务分支在训练过程中仍 然提取辅助任务相关特征， 并通过步骤3对K个辅助任务每一轮训练后所输出的每一组辅助权　利　要　求　书 1/2 页 2 CN 114298324 A 2任务的特征进 行Gram注意力调整和与目标任务特征的融合操作， 实现对目标任务的多任务 训练。权　利　要　求　书 2/2 页 3 CN 114298324 A 3