(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210966333.4 (22)申请日 2022.08.12 (71)申请人 仲恺农业工程学院 地址 510220 广东省广州市海珠区纺织路 东沙街24 号大院 (72)发明人 朱立学　张智浩　林桂潮　张世昂　 (74)专利代理 机构 重庆晶智汇知识产权代理事 务所(普通 合伙) 50229 专利代理师 施永卿 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01)G06V 10/30(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) A01D 46/04(2006.01) A01D 46/30(2006.01) (54)发明名称 一种用于名优茶嫩芽采摘过程的定位方法 (57)摘要 本发明提供一种用于名 优茶嫩芽采摘过程 的定位方法， 包括以下步骤： 步骤a、 制作原始数 据集； 步骤b、 基于改进的YOL Ov5网络模型进行训 练； 步骤c、 获得三维点 云并通过密度峰值聚类与 簇间融合合并进行处理； 步骤d、 拟合嫩芽最小外 接长方体， 获得嫩芽的位置与采摘点。 该定位方 法能够快速有效的实现对名优茶嫩芽的精准识 别定位， 从而提高采摘效率、 降低采摘成本 。 权利要求书4页 说明书9页 附图2页 CN 115187803 A 2022.10.14 CN 115187803 A 1.一种用于名优茶嫩芽采摘过程的定位方法， 其特 征在于： 包括以下步骤： 步骤a： 制作名优茶嫩芽的原 始数据集； 步骤b： 基于改进的YOLOv5网络模型对步骤a 中的数据集进行训练； 步骤c： 基于步骤b中的训练结果， 获得三维点云； 再依次通过密度峰值聚类与簇间融合 合并完成三维点云的聚类及噪声点的去除， 获得嫩芽三维点云； 步骤d： 基于嫩芽三维点云， 拟合嫩芽最小外 接长方体， 获得嫩芽的位置与采摘点。 2.根据权利要求1所述的一种用于名优茶嫩芽采摘过程的定位方法， 其特征在于： 所述 步骤a具体为： 步骤a1： 使用RGB ‑D相机近距离采集 不同尺寸、 不同天气状态下的名优茶图像； 步骤a2： 将步骤a1中的名优茶图像进行筛选与清理， 挑选出名优茶清晰、 明确的图像， 从而获得名优茶的彩色图像与深度图像数据； 步骤a3： 采用Label img标注工具对彩色图像进行 标注， 获得嫩芽数据集； 步骤a4： 将步骤a3中的嫩芽数据集划分为训练集、 测试集与验证集。 3.根据权利要求1或2所述的一种用于名优茶嫩芽采摘过程的定位方法， 其特征在于： 所述步骤b具体为： 步骤b1： 对步骤a4中的训练集进行预处理， 从而统一训练集中图像的分辨率； 并将预处 理后的图像数据输入到 YOLOv5网络模型中的Backbo ne模块， 获得不同尺寸的特 征图； 步骤b2： 将步骤b1获得的不 同尺寸的特征图输入到YOLOv5网络模型中的Neck模块中， 并在Neck模块中采用双向特征金字塔网络替代原有的路径聚合网络进 行多特征融合； 然后 对特征图依次进行上采样、 下采样， 及通过通道注意力机制的拼接产生多种尺 寸的特征图， 并输入到 YOLOv5网络模型中的Head模块中； 步骤b3： 通过多种损失函数进行反向传播， 对步骤b2中的模型的梯度进行更新、 调 节权 重参数； 步骤b4： 采用测试集与验证集进行验证， 获得改进的YOLOv5网络模型。 4.根据权利要求3所述的一种用于名优茶嫩芽采摘过程的定位方法， 其特征在于： 所述 步骤c中获得三维点云的具体步骤为： 步骤c1： 基于步骤b4 中改进的YOLOv5网络模型的结果， 获得检测框坐标， 从而生成与彩 色图像对应的深度图像的感兴趣区域； 然后根据深度图像的像素坐标与彩色图像的像素坐 标之间的映射， 结合深度图像的坐标值、 像素值及记录距离， 获得对应映射的彩色图像坐 标； 步骤c2： 通过步骤c1中彩色图像坐标与深度图像坐标之间的融合， 获得三维点云， 具体 为： 权　利　要　求　书 1/4 页 2 CN 115187803 A 2式中， 表示三维点云的坐标系； 表示彩色图像的坐标系； D表示深度值、 通过深 度图像获得； fx、 fy表示相机焦距。 5.根据权利要求3或4所述的一种用于名优茶嫩芽采摘过程的定位方法， 其特征在于： 所述步骤c中密度峰值聚类具体为： 步骤c1‑1： 采用欧氏距离度量， 完成步骤c2中三维点云的K近邻搜索， 获得点云KNN； 点 云KNN中由近至远进行近邻排序， 即距离越近、 排序越靠前； 步骤c1‑2： 根据步骤c1 ‑1中点云KN N计算点云数据的密度值， 具体为： 式中， ρi表示第i个点云数据的密度值； K表示点云KNN中近邻个数、 为定值； dij表示第i 个点云数据与第j近邻的距离； 步骤c1‑3： 遍历点云KNN， 对于每个点云数据， 将其合向在点云KNN最近邻、 且第一个比 它密度高的点云数据中， 从而完成密度峰值聚类。 6.根据权利要求5所述的一种用于名优茶嫩芽采摘过程的定位方法， 其特征在于： 所述 步骤c中簇间融合 合并具体为： 步骤c2‑1： 针对步骤c1 ‑3中密度峰值聚类形成的小簇进行簇中心点的计算， 具体为： 式中， (xc,yc,zc)表示簇中心点； (xk,yk,zk)表示三维点云的坐标； 步骤c2‑2： 完成簇中心点K近邻搜索， 获得中心KN N； 步骤c2‑3： 遍历中心KN N， 计算簇间互近邻； 其中， 簇间互近邻表示两个簇之间， 一个簇中心点云数据为另一个簇中心点云数据近 邻的衡量； 具体为： 式中， aij表示两个簇i与j间的互近邻； nij表示簇i的点云数据为簇j的点云数据的条件 近邻的个数； Ni表示簇i的点云数据的样 本数； nji表示簇j的点云数据为簇i的点云数据的条 件近邻的个数； Nj表示簇j的点云数据的样本数； 其中， 点云数据qi为点云数据qj的条件近邻需同时满足： (1)点云数据qi在点云数据qj的点云KN N近邻序列内； (2)点云数据qi与点云数据qj之间的距离dq小于dm； 其中， dm为条件近邻的距离门限值； 步骤c2‑4： 预设互近邻门限am， 将簇间互近邻高于互近邻门限、 即aij＞am的两个簇i与j 进行合并， 完成簇间融合 合并、 获得嫩芽三维点云。 7.根据权利要求6所述的一种用于名优茶嫩芽采摘过程的定位方法， 其特征在于： 所述 步骤d具体为：权　利　要　求　书 2/4 页 3 CN 115187803 A 3