(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210454540.1 (22)申请日 2022.04.28 (65)同一申请的已公布的文献号 申请公布号 CN 114565826 A (43)申请公布日 2022.05.31 (73)专利权人 南京绿色科技研究院有限公司 地址 210061 江苏省南京市江北新区星火 路9号软件大厦B座5 09室 (72)发明人 欧吉顺　张伟　周楚新　吴德才　 周发展　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 杜阳阳 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06F 16/31(2019.01) G06F 16/35(2019.01) G06F 16/36(2019.01) G06F 40/295(2020.01) G06Q 50/02(2012.01) (56)对比文件 CN 111916207 A,2020.1 1.10 JP 2020064568 A,2020.04.23 审查员 叶旭庆 (54)发明名称 一种农业病虫害识别诊断方法、 系统及装置 (57)摘要 本发明涉及一种农业病虫害识别诊断方法、 系统及装置， 属于农业病虫害领域， 考虑农业病 虫害文本 特征、 图像特征以及知识图谱等多模态 数据源的特点， 采用多模态机器学习方法， 研究 农业病虫害多模态数据融合在 线诊断方法， 通过 结合各类数据源的互补性， 有效提高农业病虫害 诊断的准确性、 鲁棒 性和可靠性。 权利要求书5页 说明书9页 附图3页 CN 114565826 B 2022.07.22 CN 114565826 B 1.一种农业病虫害识别诊断方法， 其特 征在于， 所述方法包括： 利用农业病虫害图像库， 基于深度学习， 构建病虫害图像诊断模型； 利用农业病虫害 文本库， 基于关联规则， 构建病虫害 文本关联诊断模型； 构建每个预设区域每种农作物在每月的农业病虫害知识图谱； 所述农业病 害知识图谱 的节点表示农作 物所在预设区域和月份、 农作 物类型实体、 病虫害名称实体、 病虫害类型实 体、 发病部位实体和症状实体； 获取摄像头捕获的待诊断农作物的实时图像和与待诊断农作物病虫害症状相关的描 述文本； 将所述实时图像输入病虫害图像诊断模型， 获得第一病虫害诊断结果； 所述第一病虫 害诊断结果 为病虫害类型和发生 概率； 提取所述与待诊断农作物病虫害症状相关的描述文本 中的病虫害特征、 发病月份和待 诊断农作物所在预设区域； 所述病虫害特 征包括农作物名称、 发病部位和症状； 将所述病虫害特征输入病虫害文本关联诊断模型， 获得第二病虫害诊断结果； 所述第 二病虫害 诊断结果 为病虫害类型和发生 概率； 根据所述病虫害特征、 发病月份和待诊断农作物所在预设区域， 从所述农业病虫害知 识图谱中获得第三病虫害 诊断结果； 所述第三病虫害 诊断结果 为病虫害类型； 采用图像处 理技术识别所述实时图像中的特 征向量和特 征值； 根据识别的特征向量和特征值， 采用基于目标多特征的mass函数确定方法， 确定第一 病虫害诊断结果的mass值、 第二病虫害诊断结果的mass值和第三病虫害诊断结果的mass 值， 并将最大mas s值对应的病虫害 诊断结果确定为待 诊断农作物的病虫害 诊断类型。 2.根据权利要求1所述的农业病虫害识别诊断方法， 其特征在于， 所述利用农业病虫害 图像库， 基于深度学习， 构建病虫害图像诊断模型， 具体包括： 将农业病虫害图像库划分为农作物病害样本图像库和农作物虫害样本图像库； 标注所述农作物病害样本图像库中同一种农作物的每 个样本图像的发病部位； 按照发病部位进行分类， 获得同一种农作物的每 个发病部位的标注样本图像； 将同一种农作物的每个发病部位的标注样本图像作为输入量， 病 害名称作为标签构 成 该种农作物的病害样本集； 利用该种农作物的病 害样本集对深度残差神经网络进行训练和验证， 获得该种农作物 的病害图像诊断模型； 标注所述农作物虫害样本图像库中同一种虫害的每个样本图像的位置； 所述同一种虫 害包括同一种虫子的幼虫和成虫； 将同一种虫害已标注位置的样本图像作为输入量， 虫害名称作为标签构 成该种农作物 的虫害样本集； 利用该种农作物的虫害样本集对深度残差神经网络进行训练和验证， 获得该种农作物 的虫害图像诊断模型； 该种农作物的虫害图像诊断模型和该种农作物的病害图像诊断模型构成该种农作物 的病虫害图像诊断模型。 3.根据权利要求2所述的农业病虫害识别诊断方法， 其特征在于， 所述利用该种农作物 的病害样本集对深度残差神经网络进行训练和验证， 获得该种农作物的病害图像诊断模权　利　要　求　书 1/5 页 2 CN 114565826 B 2型， 具体包括： 利用ImageNet数据集对ViTransformer模型进行 预训练， 获得 预训练模型； 基于模型迁移学习和深度学习框架， 将预训练模型的网络参数迁移至深度残差神经网 络模型中； 利用该种农作物的病 害样本集调 整迁移后的深度残差神经网络模型的权重， 获得该种 农作物的病害图像诊断模型。 4.根据权利要求1所述的农业病虫害识别诊断方法， 其特征在于， 所述利用农业病虫害 文本库， 基于关联规则， 构建病虫害 文本关联诊断模型， 具体包括： 对农业病虫害 文本库的每 个文本进行文本语义分析； 从本文语义分析后的文本中提取农作物类型、 发病部位和病虫害特 征； 根据提取的农作物类型、 发病部位和病虫害特征构建关联规则库， 作为病虫害文本关 联诊断模型。 5.根据权利要求1所述的农业病虫害识别诊断方法， 其特征在于， 所述构建每个预设区 域每种农作物在每月的农业病虫害知识图谱， 具体包括： 对从互联网采集的多个农业技术文章进行分类索引， 获得每个预设区域每种农作物在 每月的农业 技术文章； 对每个预设区域每种农作物在每月的农业技术文章进行DOM树解析， 提取每个农业技 术文章的要素； 所述要素包括文章标题、 内容和发布来源； 根据所提取的每 个农业技术文章的要素， 建立哈希字典； 利用所述哈希字典对所提取的所有农业 技术文章的要素进行去重； 针对去重后的要素进行中文分词和语法语义分析； 基于分析 结果， 利用Ber t预训练模型， 从文本内容中提取实体和 属性； 基于知识图谱技 术， 对实体关系进行自动抽取； 根据提取的实体、 属性和实体关系建立图数据库， 构建每个预设区域每种农作物在每 月的农业病虫害知识图谱。 6.根据权利要求1所述的农业病虫害识别诊断方法， 其特征在于， 所述根据识别的特征 向量和特征值， 采用基于目标多特征的mass函数确定方法， 确定第一病虫害诊断结果的 mass值、 第二病虫害 诊断结果的mas s值和第三病虫害 诊断结果的mas s值， 具体包括： 确定待识别的目标框架{ A1,A2,A3}； 其中，A1、A2和A3分别表示第一病虫害诊断结果、 第 二病虫害 诊断结果和第三病虫害 诊断结果； 根据目标框架和识别的特 征向量， 利用三分法计算特 征隶属度矩阵 T；权　利　要　求　书 2/5 页 3 CN 114565826 B 3