(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111666428.6 (22)申请日 2021.12.3 0 (71)申请人 广西慧云信息技 术有限公司 地址 530000 广西壮 族自治区南宁市高新 区创新路23号9号楼三层 (72)发明人 苏家仪　韦光亮　王筱东　张玉国　 申智辉　顾小宁　 (74)专利代理 机构 南宁东之智专利代理有限公 司 45128 专利代理师 汪治兴 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/26(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种基于图注意力网络的葡萄疏果识别方 法 (57)摘要 本发明属于及葡萄图像识别领域， 特别涉及 一种基于图注 意力网络的葡萄疏果识别方法。 本 发明通过实例分割算法得到葡萄果粒的分割结 果， 根据葡萄果粒自身特征与果粒之间的关联特 征建立图结构， 其中， 果粒的自身特征用果粒位 置与尺寸信息表示， 通过图注 意力网络学习得到 大小一致性特征， 果粒之间的关联特征用果粒距 离表示， 通过图注意力网络学习得到果粒间隙特 征， 使用图注意力网络进行葡萄疏果整 图分类， 挖掘果粒图结构与是否疏果的判断之间存在的 关联性， 实现葡萄疏果识别。 与现有葡萄疏果识 别做法相比， 提高了葡萄疏果自动识别的准确 性。 权利要求书3页 说明书8页 附图2页 CN 114511849 A 2022.05.17 CN 114511849 A 1.一种基于图注意力网络的葡萄疏果识别方法， 其特 征在于： 包括以下步骤： 步骤S1， 实例 分割数据集制作： 采集葡萄果穗 图片数据， 并对果粒进行实例分割标注， 用标注工具标注葡萄果穗图片中每颗果粒的多边形区域， 将采集的葡萄果穗图片数据划分 为训练集、 验证集与测试集； 步骤S2， 图注意力网络数据集制作： 对步骤S1中的训练集、 验证集分别进行疏果分类标 注， 标注人员对葡萄果穗图片进行分析判断， 标注为已疏果或未疏果， 并建立图结构， 得到 图注意力网络模型的训练集与验证集； 所述葡萄果穗图片为一个完全图， 设该完全图包括N 个顶点， 所有顶点由一条边相互连接， 每 个顶点代 表一个果粒； 步骤S3， 实例分割模型训练： 将步骤S1中的训练集输入实例分割模型中进行训练， 训练 过程中， 将步骤S1中的验证集输入至训练好的实例分割中间模型进行验证； 当训练好的实 例分割中间模型的识别正确率大于等于预设值时， 则将训练好的实例分割中间模型作为最 终的实例分割模 型输出， 若 是实例分割中间模型的识别正确率小于预设值， 则重复步骤S 3， 直至训练好的实例分割中间模型的识别正确率大于等于预设值； 步骤S4， 图注意力网络构建： 构建图注意力网络模型， 所述图注意力网络包括输入层、 图注意力模块、 输出层； 所述输入层为包含顶 点特征的图结构， 每个顶点包含F个特征， 所述 特征至少包括归一化后的果粒中心点的横坐标、 归一化后的果粒中心点的纵坐标、 归一化 后的果粒像素面积； 通过归一化后的果粒像素面积表征果粒大小一致性， 通过归一化后的 果粒之间的距离表征果粒间隙； 所述归一化后的果粒之 间的距离通过归一化后的果粒中心 点的横坐标、 归一 化后的果粒中心点的纵坐标计算得到； 所述图注意力模块通过多头注意力 机制加权求和的方式实现特征学习； 所述输出层用 于对葡萄是否疏果进行识别； 步骤S5， 图注意力网络损失函数构建： 采用交叉熵作为整图分类训练的损失函数； 步骤S6， 图注意力网络模型训练： 将步骤S2中处理好的图注意力 网络训练集输入至步 骤S4中构建的图注意力网络模型， 并采用步骤S5构建的损失函数进行监督训练， 训练过程 中， 将步骤S2中的图注意力网络验证集输入至训练好的图注意力网络中间模型进行验证； 当训练好的图注意力网络 中间模型的识别正确率大于等于预设值 时， 则将训练好的图 注意力网络中间模型作为最 终的图注意力网络模型输出， 若 是图注意力网络中间模型的识 别正确率小于预设值， 则重复步骤S6， 直至训练好的图注意力网络中间模型 的识别正确率 大于等于预设值； 步骤S7， 模型推理： 将步骤S1中的测试集的葡萄果穗 图片输入至步骤S3中训练好的实 例分割模 型进行推理， 得到实例分割结果； 对实例分割结果进 行图结构的特征选择， 最后将 图结构及其特征输入至步骤S 6中训练好的图注 意力网络模型进 行判断是否疏果， 最 终得到 葡萄疏果整图分类结果。 2.根据权利要求1所述的一种基于图注意力网络的葡萄疏果识别方法， 其特征在于： 所 述步骤S1中将采集的葡萄果穗图片数据按照0.8： 0.1： 0.1的比例划分为训练集、 验证集与 测试集。 3.根据权利要求1所述的一种基于图注意力网络的葡萄疏果识别方法， 其特征在于： 所 述步骤S2中图注意力网络数据集制作具体包括： 采用opencv的convexHull函数对步骤S1 中 每张葡萄果穗图片对应的实例分割标注计算出果穗轮廓， 通过contourArea函数得到果穗权　利　要　求　书 1/3 页 2 CN 114511849 A 2轮廓的面积A， 通过minAreaRect函数计算得到果穗轮廓的宽w和果穗轮廓的高h； 通过 opencv的moments函数计算得到果粒中心点横坐标x； 通过opencv的moments函数计算得到 果粒中心点纵坐标y； 通过opencv的co ntourArea函数计算得到单个果粒的像素面积a。 4.根据权利要求1所述的一种基于图注意力网络的葡萄疏果识别方法， 其特征在于： 所 述步骤S3中采用的实例分割模型选择ResNet ‑50的Mask R‑CNN模型。 5.根据权利要求1所述的一种基于图注意力网络的葡萄疏果识别方法， 其特征在于： 所 述步骤S4中输入层的特 征通过以下 方式计算， 具体为： 所述归一 化后的果粒中心点的横坐标通过以下公式计算： 其中， x为葡萄果 穗图片中果粒中心点的横坐标， w 为葡萄果 穗图片中果 穗轮廓的宽； 所述归一 化后的果粒中心点的纵坐标通过以下公式计算： 其中， y为葡萄果 穗图片中果粒中心点的纵坐标， h为葡萄果 穗图片中果 穗轮廓的高； 所述归一 化后的果粒像素面积通过以下公式计算： 其中， a为葡萄果 穗图片中单个果粒的像素面积， A为葡萄果 穗图片中果 穗轮廓的面积。 6.根据权利要求5所述的一种基于图注意力网络的葡萄疏果识别方法， 其特征在于： 所 述步骤S4中图注意力模块包括L个堆叠的图注意力层， 第l+1个图注意力层第i个顶点维度 为Fl+1的新特征向量 采用以下公式计算得到： 其中， K表示多头注意力机制的头数； Ni表示第i个顶点的邻居顶点的集合， 为第l个 图注意力层第k个头 中顶点i和顶点j的注意力系数； Wlk表示第l个图注意力层第 k个头的权 重矩阵； 表示第l个图注意力层第j个顶点维度为Fl的特征向量； 所述第k个头中顶点 i和顶点j的注意力系数 通过以下公式计算得到： 其中， 表示第l个图注意力层第i个顶点维度为Fl的特征向量； 表示注意力权重向 量； 运算符||表示特征拼接； λij表示第i个果粒和第j个果粒归一 化后的距离； 所述第i个果粒和第j个果粒归一 化后的距离 λij通过以下公式计算：权　利　要　求　书 2/3 页 3 CN 114511849 A 3