(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210998890.4 (22)申请日 2022.08.19 (71)申请人 广东工业大 学 地址 510060 广东省广州市越秀区东 风东 路729号大院 (72)发明人 刘怡俊　陈少真　叶武剑　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 刘晓娟 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/42(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种花卉识别分类方法及装置 (57)摘要 本申请公开了一种花卉识别分类方法及装 置， 本申请提供的方案拍摄花卉获取图像， 或者 通过相册直接选择获取图像； 然后进行预处理， 对图像进行预处理后得到花卉对象； 最后， 将预 处理完成的花卉图像通过花卉识别模型得到最 终的分类结果， 而本申请的花卉识别模型采用 Transformer架构设计模型， 利用其自注意力机 制从图像全局提取特征， 将注 意力集中于花卉部 分而忽略复杂的背景， 从而实现准确提取花卉特 征， 进而实现准确分类， 解决了现有的分类方法 采用卷积方式提取图像局部特征， 难以同时关注 到局部和全局的关键特征， 特征提取能力不完 善， 导致分类不 准确的技 术问题。 权利要求书2页 说明书7页 附图3页 CN 115359353 A 2022.11.18 CN 115359353 A 1.一种花 卉识别分类方法， 其特 征在于， 包括： 采集待识别的花 卉图像； 对所述花卉图像进行 预处理； 将预处理后的所述花卉图像输入预设的花卉识别模型进行识别与分类， 以获得分类结 果， 其中， 所述花卉识别模型为基于Tr ansformer结构的机器学习模型， 且所述花卉识别模 型具体由一个线性映射层、 多个Co nv‑Trans模块、 多个ResMLP模块和一个分类 器组成； 所述Conv ‑Trans模块用于通过多头自注意力机制， 对所述图像块序列进行空间域特征 融合， 再通过 卷积运算方式对所述图像块序列进行通道域特 征融合； 所述ResMLP模块用于通过ResMLP处理方式， 对所述图像块序列的通道域特征和空间域 特征进行整合处 理； 所述分类 器为基于由知识蒸馏训练方式得到的学生网络模型进行构建得到的。 2.根据权利要求1所述的一种花卉识别分类方法， 其特征在于， 所述卷积处理 的公式具 体为： 式中， Zi表示图像块序列经过Conv ‑Trans模块的输出， Xi为输入的图像块序列， σ 为GELU 激活函数， n为图像块序列长度， T表示矩阵转置， W1代表基于第一卷积核的卷积运算， W2代表 基于第二卷积核的卷积运 算。 3.根据权利 要求1所述的一种花卉识别分类方法， 其特征在于， 所述ResMLP模块的公式 定义具体为Yi＝Xi+W3·σ·(W4·LayerNorm(X)i) i＝1,2,3, …,n 式中， Yi表示图像块序列经过ResMLP模块的输出， Xi为输入的图像块序列， σ 为GELU激活 函数， n为图像 块序列长度， W3代表基于第三 卷积核的卷积运算， W4代表基于第四卷积核的卷 积运算。 4.根据权利要求1所述的一种花卉识别分类方法， 其特征在于， 所述知识蒸馏训练方式 具体为软蒸馏训练方式。 5.根据权利要求4所述的一种花卉识别分类方法， 其特征在于， 所述分类器的目标函数 具体为： Ltotal＝(1‑λ )LCE( ψ(zs),y)+λT2LKL( ψ(zs,T), ψ(zt,T)) 式中， Ltotal是总的损失； LCE()是交叉熵损失函数； LKL()是KL散度损失函数； ψ()是软目 标函数； zs和zt分别是学生模型和教师模型输出的类别分类概率； T则是温度系数， λ是蒸馏 系数， y是分类标签； 所述软目标函数 具体为： 式中， qi为函数的软目标输出， zi是学生模型或 教师模型输出的类别分类概 率结果。 6.一种花 卉识别分类装置， 其特 征在于， 包括： 图像采集单 元， 用于采集待识别的花 卉图像；权　利　要　求　书 1/2 页 2 CN 115359353 A 2预处理单元， 用于对所述 花卉图像进行 预处理； 模型分类处理单元， 用于将预处理后的所述花卉图像输入预设的花卉识别模型进行识 别与分类， 以获得分类结果， 其中， 所述花卉识别模型为基于Tr ansformer结构的机器学习 模型， 且所述花卉识别模型具体由一个线性映射层、 多个Conv ‑Trans模块、 多个ResMLP 模块 和一个分类 器组成； 所述Conv ‑Trans模块用于通过多头自注意力机制， 对所述图像块序列进行空间域特征 融合， 再通过 卷积运算方式对所述图像块序列进行通道域特 征融合； 所述ResMLP模块用于通过ResMLP处理方式， 对所述图像块序列的通道域特征和空间域 特征进行整合处 理； 所述分类 器为基于由知识蒸馏训练方式得到的学生网络模型进行构建得到的。 7.根据权利要求6所述的一种花卉识别分类装置， 其特征在于， 所述卷积处理 的公式具 体为： 式中， Zi表示图像块序列经过Conv ‑Trans模块的输出， Xi为输入的图像块序列， σ 为GELU 激活函数， n为图像块序列长度， T表示矩阵转置， W1代表基于第一卷积核的卷积运算， W2代表 基于第二卷积核的卷积运 算。 8.根据权利 要求6所述的一种花卉识别分类装置， 其特征在于， 所述ResMLP模块的公式 定义具体为Yi ＝Xi+W3·σ·(W4·LayerNorm(X)i) i＝1,2,3, …,n 式中， Yi表示图像块序列经过ResMLP模块的输出， Xi为输入的图像块序列， σ 为GELU激活 函数， n为图像 块序列长度， W3代表基于第三 卷积核的卷积运算， W4代表基于第四卷积核的卷 积运算。 9.根据权利要求6所述的一种花卉识别分类装置， 其特征在于， 所述知识蒸馏训练方式 具体为软蒸馏训练方式。 10.根据权利要求9所述的一种花卉识别分类装置， 其特征在于， 所述分类器的目标函 数具体为： Ltotal＝(1‑λ )LCE( ψ(zs),y)+λT2LKL( ψ(zs,T), ψ(zt,T)) 式中， Ltotal是总的损失； LCE()是交叉熵损失函数； LKL()是KL散度损失函数； ψ()是软目 标函数； zs和zt分别是学生模型和教师模型输出的类别分类概率； T则是温度系数， λ是蒸馏 系数， y是分类标签； 所述软目标函数 具体为： 式中， qi为函数的软目标输出， zi是学生模型或 教师模型输出的类别分类概 率。权　利　要　求　书 2/2 页 3 CN 115359353 A 3