(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210775075.1 (22)申请日 2022.07.01 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 王硕　张新宇　何向南　郝艳宾　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06F 16/35(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于多向知识迁移的小样本图像分类 方法 (57)摘要 本发明公开了一种基于多向知识迁移的小 样本图像分类方法， 包括以下步骤： 1、 视觉与文 本特征提取； 2、 类别间语义关系计算； 3、 文本知 识单向自迁移； 4、 视觉知识单向自迁移、 模态间 知识双向互迁移； 5、 模型训练与测试。 本发明通 过在文本端和视觉端分别进行的单向自迁移， 以 语义推理和视觉幻想的方式从基础类别中完善 对新类别的描述， 并通过跨模态互迁移交换来自 不同模态的知识， 使得不同模态间相互学习， 共 同训练， 从而能减轻基础类别和新类别间样本数 量差异的影响， 缓解不同模态数据间的语义鸿 沟， 并能提高小样本图像分类的准确度。 权利要求书3页 说明书9页 附图2页 CN 115131613 A 2022.09.30 CN 115131613 A 1.一种基于多向知识迁移的小样本图像分类方法， 其特 征是按以下步骤进行： 步骤1、 视 觉特征提取： 步骤1 .1、 利用预训练的CNN模型获取训练样本的视觉特征及其标签的集合 xi表示维度为dv的第i个训练样本的视觉特征， yi表示第i个训练样 本的类别标签， 且yi∈Cbase， Cbase表示基础类别集合， |Cbase|表示基础类别集合中的类别 数 量， Nbase表示每个基础类别中的训练样本数量； 步骤1.2、 利用所述预训练的CNN模型获取支持样本的视觉特征及其标签的集合 x′i表示维度为dv的第i′个支持样本的视觉特征， y ′i表示第i′个支持 样本的类别标签， 且y ′i∈Cnovel， Cnovel表示新类别集合， 且Cnovel与Cbase无交集， |Cnovel|表示 新类别集 合中的类别数量， Nnovel表示每个新类别中的支持样本数量； 步骤2： 文本特 征提取： 步骤2.1、 利用预训练的词嵌入方法获取基础类别集合Cbase中|Cbase|个基础类别的文本 特征 tk表示维度为dt的第k个基础类别的文本特 征； 步骤2.2、 利用所述预训练 的词嵌入方法获取新类别集合Cnovel中|Cnovel|个新类别的文 本特征 t′k′表示维度为dt的第k′个新类别的文本特 征； 步骤3： 计算类别间语义关系： 步骤3.1、 利用式(1)计算第k ′个新类别文本特征t ′k′和第k个基本类别的文本特征tk之 间的距离d(t ′k′,tk)： 步骤3.2、 获取与第k ′个新类别的文本特征t ′k′距离最近的前M个基础类别的文本特征， 从而得到第k ′个新类别的最近邻集 合 步骤3.3、 利用式(2)计算关系矩阵A中第k ′行第m列元 素ak′,m， 从而构建 关系矩阵A： 式(2)中， tm为最近邻集合 中的任意一个基础类别的文本特征， tv为最近邻集合 中的任意 一个基础类别的文本特 征； 步骤4： 文本知识单向 自迁移： 步骤4.1、 合并Tb与Tn得到|Cbase|+|Cnovel|个全体类别的文本特征， 并进行L2范数归一化 处理， 得到(|Cbase|+|Cnovel|)×dt维的输入特 征T； 步骤4.2、 利用式(3)计算在关系矩阵A中存在邻接关系的新类别文本特征t ′k′和文本特 征tm之间的第h个注意力头中的注意力系数 从而得到维度为|Cnovel|×|Cbase|的注意力 系数矩阵σh： 权　利　要　求　书 1/3 页 2 CN 115131613 A 2式(3)中， 为dv×dt维的第h个学习参数， [ ·||·]表示拼接操作， LeakyReLU表示 LeakyReLU激活函数； 步骤4.3、 利用式(4)计算第h个注意力头中维度为|Cnovel|×dv的新类别集合Cnovel的迁 移语义特 征 式(4)中， ⊙表示哈达 玛积， Wh为dv×dt维的第h个学习参数； 步骤4.4、 利用式(5)计算 新类别集 合Cnovel的迁移语义特 征 式(5)中， H表示注意力头的数量； 步骤4.5、 利用式(6)计算维度为(|Cbase|+|Cnovel|)×dv的直接语义特 征 式(6)中， 为(|Cbase|+|Cnovel|)×dv维的学习参数， 为dv维的学习参数， ReLU表示 ReLU激活函数； 步骤4.6、 利用式(7)得到维度为(|Cbase|+|Cnovel|)×dv的语义分类 器 式(7)中， Co nv1D表示卷积核为1 ×1的卷积操作； 步骤4.7、 利用式(8)定义文本端的交叉熵损失函数Lt： 式(8)中， B为一个批量训练样本的数量， xl表示一批量中第l个训练样本的视觉特征， 表示xl的转置， yl表示样本特 征xl对应的类别标签； 步骤5： 视 觉知识单向 自迁移： 步骤5.1、 初始化维度为(|Cbase|+|Cnovel|)×dv的视觉端原始分类器Wv； 步骤5.2、 利用式(9)计算视 觉端新类别集 合Cnovel的迁移分类 器 步骤5.3、 利用式(10)计算基于维度为(|Cbase|+|Cnovel|)×dv的视觉分类器 式(10)中， 表示按元 素相加； 步骤5.4、 利用式(1 1)定义视 觉端的交叉熵损失函数Lv： 步骤6： 模态间知识双向互迁移： 步骤6.1、 利用式(12)计算文本分类 器和视觉分类器间的均方误差Lc：权　利　要　求　书 2/3 页 3 CN 115131613 A 3