(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111546749.2 (22)申请日 2021.12.16 (71)申请人 深圳致星科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道大冲社区深南大道9676号大冲商务 中心 （一期） 2栋 3号楼18C -1 (72)发明人 孙军欢　张春海　冀旭　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 赖妙旋 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 吸盘作业周期生成方法、 存储介质、 电子设 备及装置 (57)摘要 本申请涉及一种吸盘作业周期生 成方法、 存 储介质、 电子设备及装置。 方法包括： 获取图像 集； 针对每个图像， 获得该图像对应的吸盘检测 框和车厢区域检测框和分别计算其之间的交集 和并集， 以及计算该交集和该并集的比值作为该 图像的交互比； 通过比较每个图像的交互比和预 设交互比阈值从而筛选出多个有效图； 和基于多 个有效图确定吸盘相对于车厢区域运动的至少 一个吸盘作业周 期。 其中， 吸盘检测模型利用基 于训练图像集的每个训练图像各自的改进交互 比的损失函数进行训练， 该改进交互比包括第一 部分和第二部分， 该第一部分是交集和并集的比 值， 该第二部分用于表征该训练图像对应的吸盘 标签和车厢区域标签之间的距离测度。 如此提高 预测准确率。 权利要求书3页 说明书13页 附图2页 CN 114241262 A 2022.03.25 CN 114241262 A 1.一种吸盘作业周期生成方法， 其特 征在于， 所述吸盘作业周期生成方法包括： 获取图像集， 该图像集的图像分别在不同时刻采集； 针对该图像集的每个图像， 获得该图像对应的吸盘检测框和车厢区域检测框， 分别计 算所述吸盘检测框和所述车厢区域检测框之间的交集和并集， 以及计算该 交集和该并集的 比值作为该图像的交互比， 其中， 该图像对应的吸盘检测框通过将该图像输入吸盘检测模 型获得； 通过比较该图像集的每个图像的交互比和预设交互比阈值来判断该图像是否为有效 图， 从而从所述图像集中筛 选出多个有效图； 和 基于所述多个有效图确定吸盘相对于车厢区域 运动的至少一个吸盘作业周期， 其中， 所述吸盘检测模型利用基于训练图像集的每个训练图像各自的改进交互比的损 失函数进 行训练， 该训练图像集的每个训练图像各自的改进交互比包括第一部 分和第二部 分， 该第一部分是该训练图像对应的吸盘标签和车厢区域标签之间的交集和并集的比值， 该第二部分用于表征 该训练图像对应的吸盘标签和车厢区域标签之间的距离测度。 2.根据权利要求1所述的吸盘作业周期生成方法， 其特征在于， 所述图像集的图像通过 同一图像采集设备采集并且所述图像集的至少两个图像通过该同一个图像采集设备按照 不同缩放尺度或者 不同距离采集。 3.根据权利要求1所述的吸盘作业周期生成方法， 其特征在于， 所述图像集的图像通过 同一图像采集设备采集， 并且在所述图像采集设备采集所述图像集的图像的过程中， 所述 图像采集设备的缩放尺度和/或所述图像采集设备的采集距离可调整。 4.根据权利要求1所述的吸盘作业周期生成方法， 其特征在于， 所述吸盘检测模型包括 yolov3目标检测模型、 yo lov4目标检测模型或者yo lov5目标检测模型。 5.根据权利要求1所述的吸盘作业周期生成方法， 其特征在于， 该训练图像集的每个训 练图像各自的改进交互比的第二部分基于该训练图像对应的吸盘标签和车厢区域标签之 间的并集和包括该训练图像对应的吸盘标签和车厢区域标签的最小外 接矩形。 6.根据权利要求1所述的吸盘作业周期生成方法， 其特征在于， 该训练图像集的每个训 练图像各自的改进交 互比满足以下关系： 其中， GIOU是该训练图像的改进交互比， M是该训练图像对应的吸盘标签和车厢区域标 签之间的交集， N是该训练图像对应的吸盘标签和车厢区域标签之间的并集， C是包括该训 练图像对应的吸盘标签和车厢区域标签的最小外 接矩形。 7.根据权利要求6所述的吸盘作业周期生成方法， 其特征在于， 基于该训练图像集的每 个训练图像各自的改进交 互比的损失函数满足以下关系： LOSS＝1‑GIOU 其中， GIOU是该训练图像的改进交互比， LOSS是基于该训练图像的改进交互比的损失 函数。 8.根据权利要求7所述的吸盘作业周期生成方法， 其特征在于， 所述吸盘检测模型利用 基于该训练图像集的每 个训练图像各自的改进交 互比的损失函数进行训练， 包括： 当特定训练图像的改进交互比的第 一部分为零 时， 通过该特定训练图像的改进交互比权　利　要　求　书 1/3 页 2 CN 114241262 A 2的第二部分所表征的该特定训练图像对应的吸盘标签和车厢区域标签之间的距离测度对 所述吸盘 检测模型进行优化。 9.根据权利要求1所述的吸盘作业周期生成方法， 其特征在于， 通过比较所述图像集的 每个图像的交 互比和所述预设交 互比阈值 来判断该图像是否为有效图， 包括： 针对所述图像集的每个图像， 当该图像的交互比小于所述预设交互比阈值并且与 该图 像对应的状态信息不同于留存状态信息时， 判断该图像为有效图像并且用与该图像对应的 状态信息更新该留存状态信息 。 10.根据权利要求1所述的吸盘作业周期生成方法， 其特征在于， 所述吸盘作业周期生 成方法还包括： 通过去重模型对所述图像集进行去重操作从而删除所述图像集中相似度高 于预设的相似度阈值的图像。 11.根据权利要求1所述的吸盘作业周期生成方法， 其特征在于， 所述图像集的图像经 过数据增强操作， 所述数据增强操作包括以下至少之一： 随机翻转、 旋转、 翻转及旋转、 随机 变换、 随机缩放、 随机 裁剪、 模糊化、 高斯噪声添加、 填充。 12.根据权利要求1所述的吸盘作业周期生成方法， 其特征在于， 所述吸盘作业周期生 成方法用于废钢料件集合的搬运作业， 所述吸盘用于搬运所述废钢 料件集合， 所述车厢区 域指示用于装载所述废钢料件集合的车辆的车厢， 所述废钢料件搬运作业是所述吸盘将所 述车厢上的所述废钢料件集 合经过所述至少一个吸盘作业周期全部搬运离开所述车厢。 13.一种非瞬时性计算机可读存储介质， 所述计算机可读存储介质存储有计算机指令， 该计算机指令被处理器执行时实现根据权利要求 1至12中任一项 所述的吸盘作业周期生成 方法。 14.一种电子设备， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器通过运行所述可执行指令以实现根据权利要求1至12中任一项所述 的吸盘作业周期生成方法。 15.一种计算机程序， 所述计算机程序被处理器执行以使得该处理器执行根据权利要 求1至12中任一项所述的吸盘作业周期生成方法。 16.一种吸盘作业周期生成装置， 其特 征在于， 所述吸盘作业周期生成装置包括： 接收模块， 用于获取图像集， 该图像集的图像分别在不同时刻采集； 交互比生成模块， 用于针对该图像集的每个图像， 获得该图像对应的吸盘检测框和车 厢区域检测框， 分别计算所述吸盘检测框和所述车厢区域检测框之间的交集和并集， 以及 计算该交集和该并集的比值作为该图像的交互比， 其中， 该图像对应的吸盘检测框通过将 该图像输入吸盘 检测模型获得； 有效图筛选模块， 用于通过比较该图像集的每个图像的交互比和预设交互比阈值来判 断该图像是否为有效图， 从而从所述图像集中筛 选出多个有效图； 和 作业周期生成模块， 用于基于所述多个有效图确定吸盘相对于车厢区域运动的至少一 个吸盘作业周期， 其中， 所述吸盘检测模型利用基于训练图像集的每个训练图像各自的改进交互比的损 失函数进 行训练， 该训练图像集的每个训练图像各自的改进交互比包括第一部 分和第二部权　利　要　求　书 2/3 页 3 CN 114241262 A 3