(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210482581.1 (22)申请日 2022.05.05 (71)申请人 扬州大学 地址 225009 江苏省扬州市邗江区大 学南 路88号 (72)发明人 洪青青　龚张杰　张正华　王雅琦　 李斌　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 贺翔 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06T 3/40(2006.01) G06T 5/00(2006.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像增强和改进YOLOv5的小麦赤霉病 检测方法 (57)摘要 本发明公开了基于图像增强和改进YOLOv5 的小麦赤霉病检测方法， 属于图像超分辨率领域 和病害检测领域。 包括收集小麦赤霉病害图像； 对收集的小麦赤霉病害图像通过数据增强对图 像数量进行扩充； 对病害图像进行YOL Ov5格式的 标注并标记病害类别， 形成小麦赤霉病数据集； 利用超分辨网络对图像进行预处理， 提高分辨 率； 将原有主干网络替换为Swin ‑Transformer网 络， 构建改进的YOLOv5的小麦赤霉病害检测模 型； 利用按比例划分的数据集对构建的小麦赤霉 病检测模型进行训练和模型误差分析。 本发明利 用超分辨率和改进后的YOLOv5网络模型增强了 小麦赤霉病检测模型对特征的提取， 从而提高了 小麦赤霉病检测的准确率， 能够 有效的适用于实 际的大田环境检测。 权利要求书2页 说明书6页 附图4页 CN 114841961 A 2022.08.02 CN 114841961 A 1.一种基于图像增 强和改进YOLOv5的小麦赤霉病检测方法， 其特征在于， 包括以下步 骤： 步骤1， 构建小麦赤霉病数据集： 收集小麦赤霉病图像， 通过数据增强扩展图像数量， 通 过Labelme标注工具按照 符合YOLOv5的格式对扩展后的图像进行标注， 并划分图像为训练 集和测试集； 步骤2， 构建图像超分辨率系统， 将所述训练集输入该系统进行预处理， 输出超分辨率 图像以提高图像的分辨率， 其中， 图像超分辨率系统使用Esrgan超分辨率生成器生成对抗 网络， 包括加入RDDB模块的生 成网络和RaGAN的对抗网络， 通过判别器判别Esrgan超分辨率 生成器输出的图像是否真实； 步骤3， 构 建改进后的YOLOv5的赤霉病害检测系统对赤霉病进行检测， 该系统包括依次 连接的用于特征提取的Backbone网络、 用于特征融合Neck网络和用于预测的Head网络， 将 步骤2输出的超分辨率图像输入改进后的YOLOv5网络中， 以输出不同尺寸大小的预测病害 目标； 步骤4， 基于测试集， 验证赤霉病害检测系统的准确率： 将测试集中的图像输入改进后 YOLOv5目标检测模型， 得到小麦赤霉病害种类以及病害位置的检测结果。 2.根据权利要求1所述的基于图像增 强和改进YOLOv5的小麦赤霉病检测方法， 其特征 在于， 所述数据增强为： 首先， 对图像进 行线性亮度和对比度调整； 其次， 对处理过的图像进 行尺度变换， 以调整至统一大小； 最后， 通过翻转和添加高斯噪声对图像数据集随机添加噪 声干扰并进行高斯滤波， 实现图像集的扩充。 3.根据权利要求2所述的基于图像增 强和改进YOLOv5的小麦赤霉病检测方法， 其特征 在于， 对图像进行标注即为对图像进行分类， 标注小麦赤霉病图像的病害种类以及病害位 置， 按照一定比例划分为训练集和检测集。 4.根据权利要求3所述的基于图像增 强和改进YOLOv5的小麦赤霉病检测方法， 其特征 在于， 步骤2中的图像超分辨率系统包括判别器网络、 Esrgan超分辨率生 成器和VGG 网络， 其 中， 判别器网络使用具有Ragan的网络模 型， 对生成的超分辨图片和真实的超分辨率图片进 行判别， 图像超分辨率系统的网络结构为VGG网络， 用于判别真实图片的概率值， 基于判别 结果不断优化 生成器， 得到最终预期的重建后超分辨 率样本。 5.根据权利要求3所述的基于图像增 强和改进YOLOv5的小麦赤霉病检测方法， 其特征 在于， 步骤2具体为:将图片输入到Esrgan超分辨率生成器网络提取浅层特征， 然后通过层 叠式残差密集模块RRDB提取深层特征； 其中， 残差密集模块RRDB包括3个Dense  block模块， 每个Dense  block模块包括5个相同的卷积层和LReLU模块， 彼此之间通过残差连接组成， 每 一层卷积层的输出都加入至下一层卷积层的输入， 使得浅层特征与深层特征相加， 以提高 图像的分辨 率。 6.根据权利要求1至5任意一项所述的基于图像增 强和改进YOLOv5的小麦赤霉病检测 方法， 其特征在于， 所述Backbone网络使用Swin ‑Transformer作为主干网络对超分辨率重 建后的图像进行调整并提取特征； 基于Backbone网络提取的不同维度的特征， Neck网络采 用PFN+PAN模块进行融合， 以提高对小尺寸目标检测， 输出的融合后特征层至Head网络； Head网络有若干个输出头， 在每个特征尺寸部 分， 再次通过一个卷积层得到预测结果， 分别 按照设置的不同分辨 率输出预测病害尺寸的目标。权　利　要　求　书 1/2 页 2 CN 114841961 A 27.根据权利要求6所述的基于图像增 强和改进YOLOv5的小麦赤霉病检测方法， 其特征 在于， 所述Backbone网络包括依次连接的Patch  Partiton模块、 Linear ‑Emebedding模块、 SwinTran ‑Block模块和Patch ‑Merging模块， 其中SwinTran ‑Block模块和Patch ‑Merging重 复相连三次； 三个Sw inTran‑Block模块的输出接入Neck网络 。 8.根据权利要求7所述的基于图像增 强和改进YOLOv5的小麦赤霉病检测方法， 其特征 在于， 所述SwinTran ‑Block模块包括两层串联的LX模块， 其中LX模块包括依次通过残差连 接的LayerN orm层、 多头注意力机制MSA模块、 LayerN orm层和MLP模块； 将输入每一层LX模块的特征层与经过MSA模块输出的特征层相加， 该相加的特征层输 入下一层LayerNorm层中， 且该相加的特征层与MLP模块输出的特征进行再次相加， 将二次 相加后的特 征层输入下一层LX模块， 实现特 征的深度提取。 9.根据权利要求8所述的基于图像增 强和改进YOLOv5的小麦赤霉病检测方法， 其特征 在于， 所述Neck网络包括四个子模块， 四个子模块均包括依次相连的卷积层Conv、 融合层 Concat和C3模块， 第一、 第二子模块的卷积层Conv与融合层Concat之间连接上采样 Upsampling模块， Backbone模块输出的特征分别连接至第一、 第二子模块的融合层Concat 的输入以及第一子模块的卷积层Conv的输入； 第一子模块的卷积层Conv的输出还连接第四 子模块的融合层Concat的输入， 第二子模块的卷积层Conv的输出还 连接第三子模块的融合 层Concat的输入； 第二、 第三、 第四子模块的C 3模块分别输出1*1卷积层至 Head模块。 10.根据权利要求9所述的基于图像增强和改进YOLOv5的小麦赤霉病检测方法， 其特征 在于， Concat模块接受Backbone网络提取的不同尺度特征提取图后， 将不同尺度的病害图 像采用PFN+PAN进行融合， 在输入C3模块之前， 将输入分为两步， 一部分通过BottleNeck进 行计算， 另一部 分通过卷积最后进 行融合Concat,最后再通过一个卷积层， 能够精简网络结 构， 减少模型参数。权　利　要　求　书 2/2 页 3 CN 114841961 A 3