(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111210163.9 (22)申请日 2021.10.18 (71)申请人 贵州师范大学 地址 550001 贵州省贵阳市宝山北路1 16号 贵州师范大学 (72)发明人 曹永锋　马顺　 (74)专利代理 机构 贵阳中新专利商标事务所 52100 代理人 李余江 (51)Int.Cl. G16H 50/20(2018.01) G16H 50/50(2018.01) G06V 10/70(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种结合主动学习与迁移学习的分类模型 训练方法 (57)摘要 本发明公开了一种结合主动学习与迁移学 习的分类模型训练方法， 主要包括如下重要步 骤： 1)采用源任务模型为目标任务模型挑选训练 样本的方式将 源任务知 识传递给目标任务模型； 2)源任务模型与目标任务模型各自主动挑选一 定比例样本用于训练目标任务模型； 3)源任务模 型挑选确定性高的样本， 而目标任务模型挑选不 确定性高的样本， 并且源任务模 型与目标任务模 型所挑选样本数量的相对比例由两个模型分类 性能的相对优劣动态决定。 本发明避免了负迁 移， 适用于需要数据安全/隐私保护的领域， 得到 的目标任务训练样本集质量高， 且学习更加高 效。 同时， 减少训练目标任务模型所需的训练样 本数量， 缓解训练样本不平衡问题， 可实现异质 模型间的知识迁移。 权利要求书2页 说明书9页 附图1页 CN 113936791 A 2022.01.14 CN 113936791 A 1.一种结合主动学习与迁移学习的分类模型训练方法， 其特 征在于包括： 1)采用源任务模型为目标任务模型挑选训练样本的方式将源任务知识传递给目标任 务模型； 2)源任务模型与目标任务模型 各自主动挑选一定比例样本用于训练目标任务模型； 3)源任务模型挑选确定性高的样本， 而目标任务模型挑选不确定性高的样本， 并且源 任务模型与目标任务模型所挑选样本数量的相对比例由两个模型分类性能的相对优劣动 态决定。 2.根据权利要求1所述的结合主动学习与迁移学习的分类模型训练方法， 其特征在于 包括按比例挑选样本进行标注： 即对未标注样本按照联合指标MIXM(x)进行排序， 无放回地 挑选前α·N个样本要求标注； 对未标注样本按照联合指 标MIXS(x)进行排序， 无放回地挑选 前(1‑α )·N个样本要求标注； 最后， 将所有已标注样本放入已标注样本池。 3.根据权利要求1所述的结合主动学习与迁移学习的分类模型训练方法， 其特征在于 包括： 使用类别相似性指标D#(x)， #∈{S， M}来衡量未标注样本与特定类别D的已标注样本 集之间的相似性， 通过在联合指标MIX#(x)， #∈{S， M}中增大类别相似性指标所占权重， 可 使模型S和M更多挑选属于特定类别D的样本， 从而缓解特定类别D与其他类别之 间的样本不 平衡， 或者达成在样本数量上的某种平衡。 4.根据权利要求1 ‑3中任意一项所述的结合主动学习与迁移学习的分类模型训练方 法， 其特征在于该 方法由如下步骤完成： 步骤1， 模型与样本准备： 将目标任务未标注样本放入未标注样本池U， 将目标任务已标 注样本放入已标注样本池L； 加载最新的源任务模型M和目标任务模型S； 设定本次迭代t要 标注的样本数目N； 步骤2， 未 标注样本分类预测； 步骤3， 类别相似性指标计算； 步骤4， 不确定性和 确定性指标计算； 步骤5， 联合指标计算； 步骤6， 按比例挑选样本进行 标注； 步骤7， 训练目标任务模型： 使用已标注样本池中的数据训练目标任务模型； 步骤8， 迭代： 重复步骤2至步骤7， 直至标注预算用完或目标任务模型已经达到特定性 能。 5.根据权利要求4所述的结合主动学习与迁移学习的分类模型训练方法， 其特征在于： 步骤2包括如下两种独立执 行或共同执 行的方案： ： 1)将未标注样本池中的每一个样本x通过目标任务模型S， 获得其分类预测的边缘概率 分布向量 FS(x)＝[pS(c＝1|x)， . ..， pS(c＝i|x)， ...， pS(c＝C|x)] 其中， C为类别总数， pS(c＝i|x)为模型S下样本x属于类别i的概 率； 2)将未标注样本池中的每一个样本x通过源任务模型M， 获得其分类预测的边缘概率分 布向量 FM(x)＝[pM(c＝1|x)， . ..， pM(c＝i|x)， ...， pM(c＝C|x)] 其中， C为类别总数， pM(c＝i|x)为模型M下样本x属于类别i的概 率。权　利　要　求　书 1/2 页 2 CN 113936791 A 26.根据权利要求4所述的结合主动学习与迁移学习的分类模型训练方法， 其特征在于： 步骤3包括如下两种独立执 行或共同执 行的方案： ： 1)计算每一个未 标注样本x在目标模型S下的类别相似性指标， 如下式 其中， DX为属于类别D的已标注样本构成的 集合， |DX|为 集合DX所包含样本的数目， D为类别集 合{1， ...， i， ...， C}的一个子集； 2)计算每一个未 标注样本x在源 模型M下的类别相似性指标， 如下式 其中， DX为属于类别D的已标注样本集合， |DX|为集合DX所包含样本的数目， D为类别集 合{1， ...， i， ...， C}的一个子集； 当|DX|＝0时， 取DS(x)＝DM(x)＝0。 7.根据权利要求4所述的结合主动学习与迁移学习的分类模型训练方法， 其特征在于： 步骤4包括如下两种独立执 行或共同执 行的方案： ： 1)计算每 个未标注样本x在目标任务模型S下的不确定性， 如下式 2)计算每 个未标注样本x在源 任务模型M下的确定性， 如下式 8.根据权利要求4所述的结合主动学习与迁移学习的分类模型训练方法， 其特征在于： 步骤5包括如下两种独立执 行或共同执 行的方案： ： 1)对每个未标注样本x， 结合步骤3， 步骤4的结果计算其相对于目标任务模型S的联合 指标， 如下式 MIXS(x)＝γ·UncertaintyS(x)+(1‑γ)·DS(x) 其中， γ∈[0， 1]为 一经验参数； 2)对每个未标注样本x， 结合步骤3， 步骤4的结果计算其相对于源任务模型M的联合指 标， 如下式 MIXM(x)＝γ·CncertaintyM(x)+(1‑γ)·DM(x) 其中， γ∈[0， 1]为 一经验参数。权　利　要　求　书 2/2 页 3 CN 113936791 A 3