(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210542353.9 (22)申请日 2022.05.17 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 魏巍　张磊　徐尊　王聪　 (74)专利代理 机构 西安凯多 思知识产权代理事 务所(普通 合伙) 61290 专利代理师 高凌君 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01) (54)发明名称 基于可靠样本选择和双分支动态网络的多 源域自适应方法 (57)摘要 本发明公开了一种基于可靠样本选择和双 分支动态网络的多源域自适应方法， 首先构建了 双分支动态网络， 通过 感知不同域的输入和不同 实例输入来动态调整网络参数， 得到域感知和实 例感知结合的特征表示。 在此基础上， 对目标域 无标记的数据， 通过选择模型的分类预测结果的 熵小于预先设定阈值的样本来作为可靠样本， 并 为可靠样 本分配伪标签作为监督信息， 来参与网 络的训练过程， 在训练过程中不断增大阈值以使 得更多可靠样本被选择， 模型达到收敛时， 对于 目标域无标记样本的分类结果即为最终结果。 本 发明能一定程度减小噪声伪标签的影 响， 进一步 提升模型的分类效果。 权利要求书3页 说明书7页 CN 115082725 A 2022.09.20 CN 115082725 A 1.一种基于可靠样本选择和双分支动态网络的多源域自适应方法， 其特征在于， 包括 如下步骤： 步骤1： 构建数据集； 对于N个源域， 定义数据集为 其中Di表示第i个源 域数据集， 表示第i个源域数据集训练样本总数， 表示第i个源域中第j个图片数据， 表示第i个源域中第j个图片数据的one ‑hot真实类别标签， dj表示第j条图片数据对应的 整数类型的域标签， 对于源域， dj＝1,2,...N； 对于无标记样本的目标域， 定义训练数据集 为 其中t作为下标或上标时表示该变量属于目标域， 对于目标域， dj＝N +1， 表示目标域数据集训练样本总数， 表示第j条目标域的训练数据； 步骤2： 构建双分支动态网络； 步骤2‑1： 所述双分支动态网络由特 征提取器和分类 器组成； 特征提取器部分由四层具有相同结构的网络模块组成， 每一个网络模块包含三个并行 的网络分支， 即基础卷积特 征分支、 动态实例感知特 征分支和动态域感知特 征分支； 将批次形式的图像数据或特征X作 为每一层网络模块的输入， 其中b 为批次数据样本总个数， xi代表第i个图像数据或特征， 对 于第一层网络模块， xi代表图像数 据， 对于后面 三层网络模块xi代表前一层的输出 特征； 步骤2‑2： 在每一个网络模块中， X首先输入到基础卷积特征分支， 依次经过一个二维卷 积层Conv层、 BN层、 Relu层， 得到基础卷积特征Fbase； 与此同时， X同时输入到动态实例感知 特征分支， 依次经过二维平均池化层、 MLP模块、 Softmax层， 得到未加权的实例特征Fins； 然 后将基础卷积特征Fbase并行通过K个二维卷积操作 得到Fins的K个权重 向量 然后利用 对Fins进行加权， 得到最终的动态 实例感知 特征 另一方面， 对于动 态域感知特征分支， 此分支输入数据为域级别的平均特征表示 是根据输入数据 中包含的域标签di将当前批次中每个域所有特征取平均得到的； 如式(1)所示， 其中 表 示当前批次数据中包 含di这个域的数据个数： 计算得到的 作为输入， 依次经过二维平均池化层、 MLP模块、 Softmax层， 得到未加权 的域感知特征Fd， 然后将基础卷积特征Fbase并行通过K个二维卷积操作 得到Fd的K个权重向量 然后利用对 对Fd进行加权， 得到最终的动态域感知特 征 步骤2‑3： 将三个网络分支得到的特征进行矩阵对应元素相加的操作融合成Fall， 如式 (2)所示： 其中conv表示需要将开始得到的Fbase再经过一层卷积层操作之后， 再进行融合； 最后将权　利　要　求　书 1/3 页 2 CN 115082725 A 2融合后的特征Fall依次经过BN层、 Relu层、 二维卷积Conv层、 BN层， 其结果再和原始的输入X 相加， 得到的结果再通过Relu激活函数激活， 得到最终该层的输出 该层的特征输出组 成下一层的输入， 重复上述单个网络层特征提取过程， 最后一层的特征输出作为特征提取 器最终输出的特 征； 步骤2‑4： 分类器部分， 包含两个相同结构的并行全连接层分类器， 对于每个全连接层 分类器， 包含3个全连接层， 对于前两个全连接层， 每层之后加上BN层， 并用Relu激活， 最后 一个全连接层， 只加上softmax层； 分类器把特征提取器提取的特征映射到标签空间， 得到 分类预测结果； 两个分类器得到的分类预测结果都参与训练过程， 并且两个分类器参数不 共享； 步骤3： 基于熵指导的可靠目标域样本 选择方法； 步骤2构建的网络有两个分类器， 因此一条图像数据会得到两个分类器输出pj和qi， 即 会得到两个熵， 选用两者中较小的熵Hi来和预先设定的熵阈值λ进行对比， 如式(3)所示， 根 据比较结果， 将目标域训练数据Dt分为： 不可靠的目标域 无标记训练样本 集合T1和可靠的目 标域样本集 合T2， 即Dt＝T1+T2， 具体规则如式(4)所示： 其中， pi,j表示第一个分类器对第i个样本的输出向量中第j个分量， 即预测为属于第j 个类的概率， qi,j表示第二个 分类器对第i个样 本的输出向量中第 j个分量， 即预测为属于第 j个类的概率， C表示总的类别数目； 步骤4： 双分支动态网络的对抗训练； 双分支动态网络的参数更新是利用反向传播算法求解式(5)到式(8)的子优化问题， 实 现网络的对抗训练， 得到适应于目标域的最优参数； 第一部分： 对于源域有标记数据， 通过标准的分类交叉熵损失函数， 有监督的训练网 络， 如式(5)所示： 其中， NS表示当前批次训练数据中包含 的源域样本个数， 表示当前批次训练数据中 第i条源域样本的真实类别标签， 带上标S表示该变量属于源域； Φ1,Φ2和Ψ分别表示两个 分类器参数和特 征提取器参数； 第二部分： 对不可靠的目标域样本集合T1， 通过式(6)使得两分类器对同一样本输出差 异最大化： 权　利　要　求　书 2/3 页 3 CN 115082725 A 3