(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210815432.2 (22)申请日 2022.07.12 (65)同一申请的已公布的文献号 申请公布号 CN 114881047 A (43)申请公布日 2022.08.09 (73)专利权人 杭州远传新 业科技股份有限公司 地址 310051 浙江省杭州市滨江区信诚路 857号世贸中心 23楼 (72)发明人 嵇望　安毫亿　陈默　梁青　 王伟凯　 (74)专利代理 机构 杭州创智卓英知识产权代理 事务所(普通 合伙) 33324 专利代理师 刘宏全 (51)Int.Cl. G06F 40/35(2020.01) G06F 40/30(2020.01) G06F 40/289(2020.01) G06F 16/583(2019.01) G06F 16/36(2019.01) G06N 3/08(2006.01) (56)对比文件 CN 113516164 A,2021.10.19CN 113538390 A,2021.10.2 2 CN 114565826 A,202 2.05.31 CN 113673246 A,2021.1 1.19 CN 112348191 A,2021.02.09 CN 113779220 A,2021.12.10 CN 112800203 A,2021.0 5.14 CN 110851620 A,2020.02.28 JP 2001142888 A,2001.05.25 US 2022198154 A1,202 2.06.23 US 2021312 230 A1,2021.10.07 US 2015169758 A1,2015.0 6.18 赵明等.基 于BIGRU的番 茄病虫害问答系统 问句分类 研究. 《农业机 械学报》 .2018,(第0 5 期),278-283. 张雪等.自动术语抽取研究综述. 《软件学 报》 .2020,(第07期),13 6-168. 杜文倩等.融合实体描述及类型的知识图谱 表示学习方法. 《中文信息学报》 .2020,(第07 期),54-63. 来纯晓.基 于深度学习的小麦抗寒性识别研 究及应用. 《中国优秀硕士学位 论文全文数据库 农业科技 辑(月刊)》 .2021,(第07期),D047- 66. 审查员 王茜 (54)发明名称 一种蔬菜病虫害图片问答方法及装置 (57)摘要 本发明涉及一种蔬菜病虫害图片问答方法 及装置， 其方法包括： 获取与蔬菜病虫害相关的 数据集； 使用数据集对蔬菜病虫害图片问答模型 进行训练， 以得到训练好的蔬菜病虫害图片问答 模型， 蔬菜病虫害图片问答模型的输出向量为混 合了病虫害症状描述文本的文本特征和涉及的 农业蔬菜知识信息以及蔬菜症状图片的通道维 度特征和空间维度特征之后所得到的， 蔬菜症状 图片的通道维度特征和空间维度特征分别采用 注意力机制所得到； 通过训练好的蔬菜病虫害图 片问答模型对输入的待识别数据进行处理， 以得到蔬菜病虫害类型。 本发明能够提升蔬菜病虫害 图片问答结果的准确性。 权利要求书4页 说明书8页 附图3页 CN 114881047 B 2022.10.25 CN 114881047 B 1.一种蔬菜病虫害图片问答方法， 其特 征在于， 包括： 获取与蔬菜病虫害相关的数据集； 使用所述数据集对蔬菜病虫害图片问答模型进行训练， 以得到训练好的蔬菜病虫害图 片问答模型， 所述蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文 本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之 后所得到的， 所述蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得 到； 通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理， 以得到蔬菜病 虫害类型； 所述混合所述文本特征a、 农业蔬菜知识信息b、 通道维度特征d和空间维度特征g以得 到输出向量包括： 对文本特 征a基于通道维度特 征d的注意力机制表示t1为： 其中， W1和W2为所述数据集对蔬菜病虫害图片问答模型的待训练参数， 病虫害症状描述 文本S= （ω1,ω2,……， ωM） ， M为病虫害症状描述文本的特 征数量； 对农业蔬菜知识信息b基于通道维度特 征d的注意力机制表示t2为： 其中， 病虫害症状描述文本所包含的农业蔬菜知识图谱实体为 （e1,e2,……， eT） ， T为病 虫害症状描述文本所包 含的农业蔬菜知识图谱的实体数量； 对文本特 征a基于空间维度特 征g的注意力机制表示t3为： 对农业蔬菜知识信息b基于空间维度特 征g的注意力机制表示t4为：权　利　要　求　书 1/4 页 2 CN 114881047 B 2混合所述注意力机制t1、 t 2、 t3、 t4以得到 输出向量； 所述输出向量表示 为： 其中， w1、 w2、 w3、 w4分别为注意力机制t1、 t 2、 t3、 t4对应的权 重。 2.如权利要求1所述的一种蔬菜病虫害图片问答方法， 其特征在于， 得到所述蔬菜病虫 害图片问答模型的输出向量包括： 对所述数据集中的病虫害症状描述文本进行分词和编码， 得到词语级向量的文本特征 a； 对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码， 得 到词语级向量的农业蔬菜知识信息b； 对所述数据集中的蔬菜症状图片在通道维度和空间维度上分别使用注意力机制进行 表示， 得到通道维度特 征d和空间维度特 征g； 混合所述文本特征a、 农业蔬菜知识信息b、 通道维度特征d和空间维度特征g以得到输 出向量。 3.如权利要求2所述的一种蔬菜病虫害图片问答方法， 其特征在于， 在使用所述数据集 对蔬菜病虫害图片问答模型进行训练之前还 包括： 获取农业领域文本语料， 对所述农业领域文本语料进行清洗并分词， 之后使用Bert模 型对分词后的所述农业领域文本语料进行词向量的预训练， 得到基于农业领域的词语级向 量； 根据构建的农业蔬菜知识图谱， 训练以得到所述农业蔬菜知识图谱的TransE向量， 所 述TransE向量将所述农业蔬菜知识图谱中的实体和关系映射到向量空间； 所述对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编 码包括： 对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体用训练好 TransE向量进行编码。 4.如权利要求2所述的一种蔬菜病虫害图片问答方法， 其特征在于， 所述对所述数据集 中的病虫害症状描述文本和其所包含的农业蔬菜知识图谱实体的编码均为通过BiGRU进 行 编码。 5.一种蔬菜病虫害图片问答装置， 包括存储器、 处理器及存储在存储器上并可在处理 器上运行的计算机程序， 其特 征在于， 所述处 理器执行所述计算机程序时实现以下步骤： 获取与蔬菜病虫害相关的数据集； 使用所述数据集对蔬菜病虫害图片问答模型进行训练， 以得到训练好的蔬菜病虫害图 片问答模型， 所述蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文 本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之权　利　要　求　书 2/4 页 3 CN 114881047 B 3