(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111642391.3 (22)申请日 2021.12.2 9 (71)申请人 云从科技 集团股份有限公司 地址 511457 广东省广州市南沙区南沙街 金隆路37号5 01房 (72)发明人 姚俊荣　 (74)专利代理 机构 北京瀚仁知识产权代理事务 所(普通合伙) 11482 代理人 屠晓旭　陈敏 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 图像分类方法、 装置以及计算机可读存储介 质 (57)摘要 本发明涉及图像处理技术领域， 具体提供一 种图像分类方法、 装置以及计算机可读存储介 质， 旨在解决如何提高图像分类准确性与效率的 问题。 为此目的， 本发明的方法包括： 将当前教师 模型的特征提取网络划分成至少一个第一特征 提取层， 将学生模型的特征提取网络划分成至少 一个第二特征提取层且第一、 第二特征提取层一 一对应； 获取当前教师模型中第一特征提取层提 取到的教师图像特征以及获取与第一特征提取 层对应的第二特征提取层提取到的学生图像特 征。 采用知识蒸馏方法， 使所有教师模型同时指 导学生模型使用每个教师模型各自对应的教师 图像特征与学生图像特征进行图像 分类训练， 提 高分类准确性。 同时学生模型的模型参数少， 因 而具备较高的分类效率。 权利要求书2页 说明书10页 附图3页 CN 114298224 A 2022.04.08 CN 114298224 A 1.一种图像分类方法， 其特 征在于， 所述方法包括： 针对每个教师模型， 将当前教师模型的特征提取网络划分成至少一个第一特征提取 层， 将学生模型的特征提取网络划分成至少一个第二特征提取层且所述第一特征提取层与 所述第二特 征提取层一 一对应； 其中， 所述教师模型 是训练好的图像分类模型； 获取当前教师模型中每个第一特征提取层提取到的图像样本的教师图像特征以及获 取学生模型中与每个第一特征提取层各自对应的第二特征提取层提取到的图像样本的学 生图像特 征； 采用知识蒸馏方法， 使所有教师模型同时指导所述学生模型使用每个教师模型各自对 应的教师图像特 征与学生图像特 征进行图像分类训练； 采用训练好的学生模型进行图像分类。 2.根据权利要求1所述的图像分类方法， 其特征在于， “采用知识蒸馏方法， 使所有教师 模型同时指导所述学生模型使用每个教师模型各自对应的教师图像特征与学生图像特征 进行图像分类训练 ”的步骤具体包括： 采用知识蒸馏方法并按照下式所示的知识蒸馏函数Ltotal进行图像分类训练： Ltotal＝LCE+Lteacher 其中， LCE表示所述学生模型对所述图像样本进行图像分类训练时确定的损失函数， 所 述Lteacher表示同时利用所有教师模型对所述学生模型使用每个教师模型各自对应的教师 图像特征与学生图像特 征进行训练指导学习时确定的知识蒸馏损失函数。 3.根据权利要求2所述的图像分类方法， 其特征在于， 所述知识蒸馏损失函数Lteacher如 下式所示： 其中， 所述wt表示第t个教师模型的第一蒸馏权重， 所述Llayer,t表示利用第t个 教师模型 对所述学生模型使用第t个 教师模型对应的教师图像特征与学生图像特征进 行训练指导学 习时确定的多层次蒸馏损失函数； Llayer,t＝∑wtiLti， 所述wti表示第t个教师模型中第i个第一特征提取层的第二蒸馏权 重， 所述Lti表示利用第t个教师模型对所述学生模型使用第t个教师模型中第 i个第一特征 提取层提取到的教师图像特征以及学生模型中与第i个第一特征提取层对应的第二特征提 取层提取到的学生图像特征进 行训练指导学习时确定的第i个第一特征提取层的蒸馏损失 函数。 4.根据权利要求3所述的图像分类方法， 其特征在于， 所述第i个第一特征提取层的蒸 馏损失函数Lti如下式所示： 其中， 所述Ttij表示第t个教师模型中第i个第一特征提取层提取到的教师图像特征中 的第j个特征值， Sj表示学生模型中与第i个第一特征提取层对应的第二特征提取层提取到 的学生图像特 征中的第j个特 征值。 5.根据权利要求3所述的图像分类方法， 其特征在于， 所述第二蒸馏权重wti的计算公式权　利　要　求　书 1/2 页 2 CN 114298224 A 2如下式所示： wti＝Dαti 其中， 所述D表示根据图像分类训练时采用的图像样本的Batch值确定的超参数， αti表 示预设的第t个教师模型中第i个第一特 征提取层的权 重超参数。 6.根据权利要求1所述的图像分类方法， 其特征在于， “获取当前教师模型中每个第一 特征提取层提取到的图像样本的教师图像特征 ”的步骤具体包括按照下式所示的方法分别 对每个第一特 征提取层提取到的教师图像特 征进行特征处理： 其中， 所述F ′j表示特征处理后的教师图像特征中的第j个特征值， 所述Fj表示特征处理 之前的教师图像特征中的第j个特征值， 所述t表示阈值且t＝E[Fi|Fi<0]， 所述E表示期望， “E[Fi|Fi<0]”表示教师图像特 征中小于零的特 征值的期望值。 7.根据权利要求1所述的图像分类方法， 其特征在于， “获取与每个第一特征提取层各 自对应的第二特征提取层提取到的图像样本的学生图像特征 ”的步骤具体包括： 对所述学 生图像特征进 行特征处理， 以使 所述学生图像特征的特征维度与所述教师图像特征的特征 维度相同。 8.一种图像分类装置， 其特 征在于， 所述装置包括： 模型划分模块， 其被配置成针对每个教师模型， 将当前教师模型的特征提取网络划分 成至少一个第一特征提取层， 将学生模型的特征提取网络划分成至少一个第二特征提取层 且所述第一特征提取层与所述第二特征提取层一一对应； 其中， 所述教师模型是训练好的 图像分类模型； 特征获取模块， 其被配置成针对每个教师模型， 获取当前教师模型中每个第一特征提 取层提取到的图像样本的教师图像特征以及获取与每个第一特征提取层各自对应的第二 特征提取层提取到的图像样本的学生图像特 征； 图像分类训练模块， 其被配置成采用 知识蒸馏方法， 使所有教师模型同时指导所述学 生模型使用每 个教师模型 各自对应的教师图像特 征与学生图像特 征进行图像分类训练； 图像分类模块， 其被 配置成采用训练好的学生模型进行图像分类。 9.一种控制装置， 包括处理器和存储装置， 所述存储装置适于存储多条程序代码， 其特 征在于， 所述程序 代码适于由所述处理器加载并运行以执行权利要求 1至4中任一项 所述的 图像分类方法。 10.一种计算机可读存储介质， 其中存储有多条程序代码， 其特征在于， 所述程序代码 适于由处 理器加载并运行以执 行权利要求1至4中任一项所述的图像分类方法。权　利　要　求　书 2/2 页 3 CN 114298224 A 3