(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210596417.3 (22)申请日 2022.05.30 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 李君　李灯辉　贾宇航　黄光文　 姚中威　林佩怡　周浩波　周峥琦　 李钊　伍源水　陈盈宜　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像识别的复杂果园龙眼串果检测方 法、 系统、 设备及 介质 (57)摘要 本发明公开了一种基于图像识别的复杂果 园龙眼串果检测方法、 系统、 设备及介质， 方法包 括： 构建图像识别模型； 图像识别模型包括预训 练参数加载模块、 图像尺寸归一化模块、 目标特 征提取模块、 池化模块、 多尺度特征融合模块和 目标预测模块； 对采集的龙眼串果图像进行数据 扩增和预处理， 获得初始数据集； 对初始数据集 中每个图像上的龙眼串果进行标注； 将完成标注 的初始数据集按照设定的比例分为训练集和验 证集； 利用训练集中的 图像和标注数据对图像识 别模型进行训练； 利用训练好的龙眼串果检测模 型对龙眼果园图像的龙眼串果进行检测。 本发明 将计算机视觉技术应用到自然条件下复杂果园 中龙眼的检测， 避免了基于形状、 颜色阈值等识 别方法的局限性。 权利要求书3页 说明书9页 附图3页 CN 115019301 A 2022.09.06 CN 115019301 A 1.基于图像识别的复杂果园龙眼串果检测方法， 其特 征在于， 包括下述 步骤： 构建图像识别模型； 所述图像识别模型包括预训练参数加载模块、 图像尺寸归一化模 块、 目标特征提取模块、 池化模块、 多尺度特征融合模块和目标预测模块； 所述特征提取模 块采用MobileNetV3模块， 所述MobileNetV3模块是图像识别模型的主干网络， MobileNetV3 模块使用一个标准卷积和多个bneck结构提取特征， bneck结构结合了深度可分离卷积与残 差结构， 增加龙眼串果的特征提取能力， 在特征提取层后使用卷积块代替全连接层， 并加入 最大池化层得到最后的分类结果； 获取复杂龙眼果园场景中处于成熟期的龙眼串果图像； 对采集的龙眼串果图像进行数 据扩增和预处理， 获得初始数据集； 对初始数据集中每个图像上的龙眼串果进 行标注， 获得 xml格式的信息文件； 将完成标注的初始数据集按照设定的比例分为训练集和验证集； 利用训练集中的图像和标注数据对图像识别模型进行训练； 利用训练好的龙眼串果检测模型对龙眼果园图像的龙眼串果进行检测。 2.根据权利要求1所述、 基于 图像识别的复杂果园龙眼串果检测方法， 其特征在于， 所 述预训练参数加载模块 导入预训练参数， 对目标 赋予一个初始权 重值； 所述图像尺寸归一化模块， 将待检测图像调整至统一像素大小， 调整时采取边缘填充 的方式， 不对图像进行拉伸； 所述池化模块采用SPP模块， 所述SPP模块分别使用多个不同大小的卷积核对前层特征 进行最大池化处理， 然后将多个处理后的结果连接起来组成新的特征层， 在增加网络深度 的同时保留了前层特 征， 以获取 更多局部特 征信息。 3.根据权利要求2所述基于图像识别的复杂果园龙眼串果检测方法， 其特征在于， 所述 多尺度特征融合模块包括特征金字塔网络和路径聚合网络， 所述路径聚合网络对 MobileNetV3模块特征提取的结果首先进行上采样， 再进行下采样， 加强所述特征金字塔网 络的信息提取能力， 提取 更深刻的龙眼串果语义信息， 检测出 更精细的龙眼串果目标。 4.根据权利要求1所述基于图像识别的复杂果园龙眼串果检测方法， 其特征在于， 所述 获取复杂龙眼果园场景中处于成熟期的龙眼串果图像， 具体为： 在龙眼果实处于成熟期阶段时， 分别选择晴天和阴天的白天时间； 采用RGB摄 像头在距离龙眼果实0.5 ‑1m之间采集图像； 在太阳直 射光下和背光下的场景中都要采集图像。 5.根据权利要求1所述基于图像识别的复杂果园龙眼串果检测方法， 其特征在于， 所述 对采集的龙眼串果图像进行 数据扩增 和预处理， 获得初始数据集， 具体为： 对采集的龙眼串果图像进行数据扩增， 图像扩增方式包括随机的平移、 随机裁剪和亮 度变换； 对采集的龙眼串果图像进行 预处理， 处理方式为图像归一 化。 6.根据权利要求1所述基于图像识别的复杂果园龙眼串果检测方法， 其特征在于， 所述 利用训练集中的图像和标注数据对图像识别模型进行训练， 具体包括： 利用模型加载模块 导入预训练参数， 对目标 赋予一个初始权 重值； 从训练集选取预定多张图像及其标注数据输入到图像尺寸归一化模块， 将待检测图像 调整至统一像素 大小， 调整时采取边 缘填充的方式， 不对图像进行拉伸； 将调整到统一像素 大小的图像输入到特 征提取模块， 提取深层次的龙眼串果特 征；权　利　要　求　书 1/3 页 2 CN 115019301 A 2将特征提取模块操作后的特征图像依次进行池化操作、 多尺度特征融合操作， 最后预 测结果； 在模型训练的过程中， 每完成一轮训练， 利用验证集中的图像和标注数据对当前图像 识别模型进行验证， 根据验证结果调整当前图像识别模型的权 重值； 设定最大迭代次数， 当达到预设的最大迭代次数或者在验证集上错误率不再下降时终 止训练， 选取验证结果 最优的图像识别模型作为龙眼串果的检测模型。 7.根据权利要求1所述基于图像识别的复杂果园龙眼串果检测方法， 其特征在于， 所述 利用训练好的龙眼串果检测模型对龙眼果园图像的龙眼串果进行检测， 具体为： 将摄像头实时采集的龙眼图像输入龙眼串果检测模型， 依次经过训练好的龙眼串果检 测模型的参数加载模块、 图像输入尺寸归一化模块、 目标特征提取模块、 池化模块、 多尺度 特征融合模块的处理， 在预测模块中通过卷积操作输出多个备选龙眼串果的最大外接矩形 框并且给出相应的置信度值， 将所有置信度大于0.75的矩形框标记的区域保存， 得到龙眼 串果检测结果。 8.基于图像识别的复杂果园龙眼串果检测系统， 其特征在于， 应用于权利要求1 ‑7中任 一项所述的基于图像识别的复杂果园龙眼串果检测方法， 包括图像识别模型构建模块、 龙 眼串果图像数据集获取模块、 检测模型训练模块、 检测识别模块和信息 显示模块； 所述图像识别模型构建模块包括预训练参数加载模块、 图像尺寸归一化模块、 目标特 征提取模块、 池化模块、 多尺度特征融合模块和目标预测模块； 所述特征提取模块采用 MobileNetV 3模块， 所述MobileNetV3模块是图像识别模型的主干网络， MobileNetV 3模块使 用一个标准卷积和多个bneck结构提取特征， bneck结构结合了深度可分离卷积与残差结 构， 增加了龙眼串果的特征提取能力， 在特征提取层后使用卷积块代替全连接层， 并加入最 大池化层得到最后的分类结果； 所述龙眼串果图像数据集获得模块， 用于收集自然条件下， 在晴天和阴天的白天时间， 采用相机采集太阳直射光和背光场景中的龙眼串果图像， 组成龙眼串果初始数据集， 并对 所述龙眼串果初始数据集进行数据扩增和预处理， 对图像中的目标进行标注， 得到龙眼串 果的训练集和验证集； 所述检测模型训练模块， 用于将所述龙眼串果训练集中的图像和标注数据导入目标检 测网络模型中进行迭代训练， 训练集中的图像数据每完成一轮迭代训练后， 将所述龙眼串 果验证集中的图像和标注数据导入模型中验证模型 的性能， 并且调整目标的权重值， 当达 到预设的最大迭代次数或者在 验证集上错误率不再下降时终止训练， 得到最优的龙眼串果 检测模型； 所述检测识别模块， 用于加载最优模型权重值， 将摄像头实时采集的龙眼图像导入所 述龙眼串果检测识别模型， 得到龙眼串果的检测结果； 所述信息显示模块， 用于将所述龙眼串果的检测结果图像输入到显示设备上进行展 示。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序指令， 所述计算机程序权　利　要　求　书 2/3 页 3 CN 115019301 A 3