(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210800523.9 (22)申请日 2022.07.06 (71)申请人 苏州镁伽科技有限公司 地址 215127 江苏省苏州市苏州工业园区 兴浦路20 0号1#101、 201单 元 (72)发明人 代杰　孙新　张鑫　 (74)专利代理 机构 北京润平知识产权代理有限 公司 11283 专利代理师 陈潇潇 (51)Int.Cl. G06V 20/69(2022.01) G06V 20/64(2022.01) G06T 7/70(2017.01) G06T 7/246(2017.01) G06V 10/25(2022.01)G06V 10/82(2022.01) B25J 9/16(2006.01) (54)发明名称 目标对象捕获方法、 装置、 设备及存 储介质 (57)摘要 本发明实施方式提供一种目标对象捕获方 法、 装置、 设备及存储介质， 属于图像识别技术领 域。 方法包括： 实时获取包括执行末端的至少两 张图像， 至少两张图像的拍摄角度方向不同； 识 别至少两张图像中的目标对象， 确定同一目标对 象在每一图像中的位置， 依据执行末端及各目标 对象在每一图像中的位置信息在目标对象中确 定待捕获目标对象； 控制执行末端向待捕获目标 对象移动， 直至执行末端与待捕获目标对象之间 的相对位置满足捕获条件， 控制执行末端捕获待 捕获目标对象。 本发明通过从不同角度实时获取 包括执行末端的至少两张图片， 依据识别到的各 目标对象在每一图像中的位置信息确定目标对 象与执行末端的相对位置， 有效提高了目标对象 的捕获成功率。 权利要求书2页 说明书16页 附图7页 CN 115171104 A 2022.10.11 CN 115171104 A 1.一种目标对象捕获方法， 其特 征在于， 包括： 实时获取包括执 行末端的至少两张图像， 所述至少两张图像的拍摄角度方向不同； 识别所述至少两张图像中的目标对象， 确定同一目标对象在每一图像中的位置， 依据 所述执行末端及各目标对 象在每一图像中的位置信息在所述目标对 象中确定待捕获目标 对象； 控制所述执行末端向所述待捕 获目标对象移动， 直至所述执行末端与 所述待捕获 目标 对象之间的相对位置满足捕获条件， 控制所述执 行末端捕获所述待捕获目标对象。 2.根据权利要求1所述的目标对象捕 获方法， 其特征在于， 所述依据所述执行末端及各 目标对象在每一图像中的位置信息确定待捕获目标对象， 包括： 依据所述执 行末端及各目标对象在每一图像中的位置信息判断是否存在目标对象； 若否， 则控制执 行末端随机移动至新的位置 。 3.根据权利要求1所述的目标对象捕 获方法， 其特征在于， 所述依据所述执行末端及各 目标对象在每一图像中的位置信息确定待捕获目标对象， 包括： 依据所述执 行末端及各目标对象在每一图像中的位置信息判断是否存在目标对象； 若存在且所述目标对象包括目标对象群， 则控制所述执 行末端分离所述目标对象群。 4.根据权利要求1所述的目标对象捕 获方法， 其特征在于， 所述依据所述执行末端及各 目标对象在每一图像中的位置信息确定待捕获目标对象， 包括： 依据所述执 行末端及各目标对象在每一图像中的位置信息判断是否存在目标对象； 若存在且所述目标对象包括离散目标对象， 则在依据所述执行末端与 各目标对象在目 标空间的相对位置， 且存在位于所述执行末端的任一直接移动方向的离散目标对象的情况 下， 在位于所述执行末端的该直接移动方向的离散目标对象中确定出所述待捕获目标对 象； 在依据所述执行末端与各目标对象在目标空间的相对位置， 且未存在位于所述执行末 端的任一直接移动方向的离散目标对象的情况下， 确定与所述执行末端之 间的相对距离最 小的离散目标对象为待捕获目标对象。 5.根据权利要求1所述的目标对象捕 获方法， 其特征在于， 所述识别所述至少两张图像 中的目标对象， 确定同一目标对象在每一图像中的位置， 包括： 以一张图像作为基础图像， 根据所述至少两张图像的拍摄角度关系， 判断所述基础图 像中的多个目标对 象在另一个图像上是否会存在重叠现象， 若M个目标对 象在另一个图像 上存在重叠现象， 根据重叠目标对 象在所述另一个图像中的位置信息确定M个所述 目标对 象各自在该另一个图像中的位置信息， M为大于等于2的整 数； M个目标对象在所述另一个图 像中成像称为重 叠目标对象； 确定M个所述目标对象各自在至少两张图像上的位置信息为重叠目标对象的位置信 息。 6.根据权利要求5所述的目标对象捕 获方法， 其特征在于， 所述根据所述至少两张图像 的拍摄角度关系， 判断所述基础图像中的多个目标对象在另一个图像上是否会存在重叠现 象， 包括： 确定所述基础图像中所述目标对象的边界点与所述另一个图像的拍摄位置在所述基 础图像上的坐标转换点的连线形成的最大夹角区域；权　利　要　求　书 1/2 页 2 CN 115171104 A 2判断多个目标对象的最大夹角区域是否存在重叠， 若M个目标对象的最大夹角区域存 在重叠， 则确定该M个目标对象存在重 叠现象。 7.根据权利要求1 ‑6中任一项权利要求所述的目标对象捕获方法， 其特征在于， 所述识 别所述至少两张图像中的目标对象， 包括： 对每一张所述图像进行 预处理， 以得到非有效目标； 将每一张所述图像输入至经训练的识别模型中进行推理， 得到识别出的初始目标对 象； 在所述初始目标对象中去除所述非有效目标， 作为 最终的目标对象。 8.根据权利要求1 ‑6任意一项权利要求所述的目标对象捕获方法， 其特征在于， 所述依 据所述执行末端及各目标对 象在每一图像中的位置信息在所述目标对 象中确定待捕获目 标对象， 包括： 依据所述执行末端及各目标对象在每一图像中的位置信息确定所述执行末端与各目 标对象在目标空间的相对位置； 根据所述执行末端与 各目标对象在目标空间的相对位置， 在预设相对位置 阈值范围内 的目标对象中确定待捕获目标对象。 9.根据权利要求1所述的目标对象捕 获方法， 其特征在于， 所述至少两张图像的拍摄角 度至少包括 一组相互垂直的拍摄角度。 10.根据权利要求3所述的目标对象捕 获方法， 其特征在于， 所述目标对象为微生物， 所 述执行末端为能够吹气的吸管； 所述控制所述执行末端分离所述目标对象群， 包括： 控制所述执行末端向所述目标对 象群吹气， 以分离所述目标对象； 所述控制所述执行末端捕获所述待捕获目标对象， 包括： 控制所述执行末端吸取所述 待捕获目标对象。 11.一种目标对象捕获装置， 其特 征在于， 包括： 图像获取模块， 被配置为实时获取包括执行末端至少两张图像， 所述至少两张图像的 拍摄角度方向不同； 识别模块， 被配置为识别所述至少两张图像中的目标对象， 确定同一目标对象在每一 图像中的位置， 依据所述执行末端及各目标对象在每一图像中的位置信息在所述目标对象 中确定待捕获目标对象； 捕获模块， 被配置为控制所述执行末端向所述待捕获目标对象移动， 直至所述执行末 端与所述待捕获目标对象之 间的相对位置满足捕获条件， 控制所述执行末端捕获所述待捕 获目标对象。 12.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1 ‑10中 任一项权利要求所述的目标对象捕获方法的步骤。 13.一种计算机可读存储介质， 所述存储介质中存储有指令， 当其在计算机上运行时， 使得计算机执 行权利要求1～10中任一项权利要求所述的目标对象捕获方法的步骤。权　利　要　求　书 2/2 页 3 CN 115171104 A 3