(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211249740.X (22)申请日 2022.10.12 (71)申请人 湖北工业大 学 地址 430068 湖北省武汉市洪山区南李路 28号 (72)发明人 吴颖丹　吕辉　周宁琳　郭依蓓　 邵洋琳　兰琰茜　徐久红　 (74)专利代理 机构 武汉宇晨专利事务所(普通 合伙) 42001 专利代理师 余晓雪 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/74(2022.01) G06T 7/80(2017.01) G06T 7/593(2017.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于多阶几何约束整体匹配的果实快速三 维定位方法 (57)摘要 本发明属于智慧农业领域， 涉及一种基于多 阶几何约束整体匹配的果实快速三维定位方法， 包括： 1） 对双 目相机的立体视觉系统进行标定， 通过标定后的双目相机获取果实图像； 2） 基于 Yolo v3模型以及迁徙学习的方式对步骤1） 或获 取得到的果实图像进行果实识别； 3） 基于多阶几 何约束整体匹配的方式对步骤2） 识别得到的果 实进行同名果实配对。 本发明提供了一种匹配速 度快以及果实匹配结果可靠性强的基于多阶几 何约束整体匹配的果实快速三维定位方法。 权利要求书3页 说明书7页 CN 115471728 A 2022.12.13 CN 115471728 A 1.一种基于多阶几何约束整体匹配的果实快速三维定位方法， 其特征在于： 所述基于 多阶几何约束 整体匹配的果实快速三维定位方法包括以下步骤： 1)对双目相机的立体视 觉系统进行 标定， 通过 标定后的双目相机获取果实图像； 2)基于Yolo  v3模型以及迁徙学习的方式对步骤1)或获取得到的果实图像进行果实识 别； 3)基于多阶几何约束 整体匹配的方式对步骤2)识别得到的果实进行同名果实配对。 2.根据权利要求1所述的基于多阶几何约束整体匹配的果实快速三维定位方法， 其特 征在于： 所述 步骤3)的具体实现方式是： 3.1)构建融合多阶几何约束的高阶图模型； 3.2)对高阶图模型的超边进行采样； 3.3)对高阶图模型进行解 算， 完成对步骤2)识别得到的果实进行同名果实配对。 3.根据权利要求2所述的基于多阶几何约束整体匹配的果实快速三维定位方法， 其特 征在于： 所述 步骤3.1)的具体实现方式是： 通过双目相机获取左幅图像以及右幅图像， 设左幅图像上果实中心点集合为P1， 个数为 N1， 右幅图像上果实中心点集合为P2， 个数为N2， 表示集合P1和P2的第i个特 征点； 集合P1和P2对应的高阶图模型为G＝(V， E， A)和G ′＝(V′， E′， A′)； 其中， V和V ′为顶点集 合， 即 为超边的集合， d表示 构成超边的顶 点个数； A和A ′为超边所对应的属性集； 假设左右可能的顶 点响应集合为C＝V ×V′， 那么C的一个k元组如公式(1)所示： cs1＝(v1， v′1)，…， csk＝(vk， v′k)    (1) 其中： (v1，…， vk)∈V， (v′1，…， v′k)∈V′； 对于一个k阶的高阶图匹配， 通过比较两个度为k的 超边的相似性 来衡量k元组的相似性； 指定k维相似 性度量函数fk， 它的参数为高阶图属性集合A和A ′中的元素； 按照一种递归 关系将低阶超边同时考虑， 此时k阶超边的相似度张量 为： Tsi(1)＝f1(ai， a′i)    (2) 式中： 参数γ(k)表示k阶超边相似度的加权系数； T的右上标(k)表示张量的维数； a1，…， k， a′1，…， k分别表示k阶高阶图属性集合中的元素； 设超边最大阶数为 δ， 相似性张量Tδ为高阶张量， 包 含了所有不同度超边的相似性信息 。 4.根据权利要求3所述的基于多阶几何约束整体匹配的果实快速三维定位方法， 其特 征在于： 所述 步骤3.2)的具体实现方式是： 对左幅图像上的每个果实中心点， 采用随机采样的方式， 抽取一定数量的包含该特征 点的三元组作为其3阶超边； 对右幅图像上的果实中心点， 采样所有的三元组， 并采用kd树 建立空间索引； 对左幅图像上每个三元组， 寻找右幅图像上与之最邻近的若干个三元组， 完权　利　要　求　书 1/3 页 2 CN 115471728 A 2成高阶图模型的超边采样。 5.根据权利要求4所述的基于多阶几何约束整体匹配的果实快速三维定位方法， 其特 征在于： 所述 步骤3.3)的具体实现方式是： 高阶图匹配， 就是在顶点响应集合C中， 寻找最优的响应关系， 用一个二进制赋值矩阵 描述， 其一般满足双向约束， 即 对二进制赋 值矩阵X向量 化， 用x表示， 则对于x， 其对应匹配总相似度为： 用张量积表示 为： 为此， score(x)取得最大值所对应的x*即为最优二进制赋值矩阵所对应的向量； 根据向 量x得到二进制赋值矩阵X， 得到左右幅图像上果实中心点的对应关系。 6.根据权利要求1 ‑5任一项所述的基于多阶几何约束整体匹配的果实快速三维定位方 法， 其特征在于： 所述 步骤1)的具体实现方式是： 1.1)采集图像： 选用9 ×7的棋盘格标定板， 格子尺寸为30mm ×30mm； 将双目相机位置固 定， 改变棋盘格标定板不同的位置、 高度、 旋转角度， 利用双目相机获取多对棋盘格标定板 的立体图像； 1.2)提取角点： 打开Matlab软件的Stereo  Camera Calibration， 勾选Tangential   distortion以及3coefficient选项， 导入所采集的立体影像， 将棋盘格的格子尺寸设置为 30mm； 图像载入后， 会自动检测出棋盘内的角点， 删除角点特 征不满足条件的立体图像对； 1.3)相机标定： 执行标定操作， 剔除掉重投影误差比较大的图像对重新计算， 直到标定 精度满足要求， 获得双目相机立体视觉系统标定参数， 该参数包括每个相机镜头焦距 f、 镜 头畸变参数k以及光轴中心 坐标(Cx， C y)内参数的精确值， 以及两台相机 之间的相对旋转矩 阵R和平移向量T； 1.4)获取双目相机所构成的立体视觉系统与机械臂坐标系统的转换关系： 采集若干个 角点的真实三维空间坐标， 利用空间后方交会技术， 计算某相机的外方位元素， 利用步骤 1.3)所获取的两台相机 之间的相对旋转矩阵R和平移向量T， 计算另外一个相机的外方位元 素， 完成双目相机立体视 觉系统的标定 工作。 7.根据权利要求6所述的基于多阶几何约束整体匹配的果实快速三维定位方法， 其特 征在于： 所述 步骤2)的具体实现方式是： 2.1)果实识别数据集构建； 2.2)果实识别模型训练； 2.3)利用训练完成的果实识别模型， 对双目相机拍摄获取的左右两幅图像分别进行果 实识别， 获取果实边界矩形框， 取矩形框的中心作为 果实中心点。 8.根据权利要求7所述的基于多阶几何约束整体匹配的果实快速三维定位方法， 其特 征在于： 所述 步骤2.1)的具体实现方式是： 2.1.1)对步骤1)所获取 得到的果实图像进行 数据预处 理， 获取得到样本图像； 其中： 预处 理的方式是： a)将果实图像样本统一调整为相同大小；权　利　要　求　书 2/3 页 3 CN 115471728 A 3