(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211204153.9 (22)申请日 2022.09.29 (71)申请人 杭州海康机 器人股份有限公司 地址 310051 浙江省杭州市滨江区丹 枫路 399号2号楼B楼3 04室 (72)发明人 陈波　周杨　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 丁芸　马敬 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于视觉引导的拆垛方法、 装置、 电子 设备及系统 (57)摘要 本申请实施例提供了一种基于视觉引导的 拆垛方法、 装置、 电子设备及系统， 应用于计算机 视觉技术领域， 通过提取箱垛的顶层箱体点云区 域， 确定顶层箱 体点云区域在可见光图像中对应 的区域， 可以过滤掉可见光图像中非顶层箱体的 干扰区域， 对顶层箱体的箱 体掩膜区域进行箱体 实例分割， 能够减少可见光图像中其他信息的干 扰， 从而提高箱体分割区域定位的准确性； 此外 还结合箱 体为矩形的特点， 通过矩形与直线的查 找， 筛选出最优的矩形， 然后在进行矩形边缘的 校正， 从而得到箱体的校正后的矩形框， 最终能 够有效提升 拆垛时箱体的定位精度。 权利要求书4页 说明书17页 附图8页 CN 115533902 A 2022.12.30 CN 115533902 A 1.一种基于 视觉引导的拆垛方法， 其特 征在于， 所述方法包括： 获取箱垛的深度图和可 见光图像， 其中， 所述箱垛包括至少一个箱体； 基于所述深度图， 提取 所述箱垛的顶层箱体点云区域； 确定所述顶层箱体点云区域在所述可 见光图像中对应的区域， 获得箱体掩膜区域； 对所述箱体掩膜区域进行箱体实例分割， 得到每 个箱体各自的分割区域； 根据每个箱体的分割区域， 对所述箱垛进行拆垛。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述深度图， 提取所述箱垛的顶 层箱体点云区域， 包括： 在深度图像坐标系下， 将所述深度图转换为第一 点云数据； 将所述第一 点云数据映射到所述箱垛的坐标系下， 得到第二 点云数据； 对所述第 二点云数据进行分割， 得到至少一个点云分类， 其中， 同一点云分类 中的各点 云的平面特 征相同； 在所述至少一个点云分类中， 选取高度最高的点云分类， 得到所述箱垛的顶层箱体点 云区域。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述箱体掩膜区域进行箱体实例分 割， 得到每 个箱体各自的分割区域， 包括： 利用预先训练的深度学习模型， 对所述箱体掩膜区域进行箱体实例分割， 得到每个箱 体各自的分割区域， 其中， 所述深度学习模型通过样本箱体掩膜图像训练得到， 所述样 本箱 体掩膜图像为样本箱垛中顶层箱体的图像。 4.根据权利要求1所述的方法， 其特征在于， 所述根据每个箱体的分割区域， 对所述箱 垛进行拆垛， 包括： 针对每一个箱体， 提取该箱体的分割区域的图像边缘特征， 或提取该箱体的分割区域 的灰度图像的图像边 缘特征； 将每个箱体的分割区域映射到由所述深度图转换成的点云数据中， 得到每个箱体的点 云映射区域； 针对每一个箱体， 提取 该箱体的点云映射区域的点云边 缘特征； 针对每一个箱体， 根据该箱体的图像边缘特征及点云边缘特征， 确定该箱体的边缘直 线特征； 针对每一个箱体， 对该箱体的边缘直线特征进行矩形拼接， 得到该箱体至少一个候选 矩形框； 针对每一个箱体， 在该箱体的候选矩形框中选取 该箱体的箱体矩形框； 按照每个箱体的箱体矩形框， 对所述箱垛进行拆垛。 5.根据权利要求4所述的方法， 其特征在于， 所述针对每一个箱体， 根据该箱体的图像 边缘特征及点云边 缘特征， 确定该箱体的边 缘直线特征， 包括： 针对每一个箱体， 根据该箱体的图像边缘特征及点云边缘特征， 在所述深度图中确定 该箱体的边 缘像素区域； 对该箱体的边 缘像素区域进行直线特 征提取， 得到该箱体的边 缘直线特征。 6.根据权利要求4所述的方法， 其特征在于， 所述针对每一个箱体， 对该箱体的边缘直 线特征进行矩形拼接， 得到该箱体至少一个候选矩形框， 包括：权　利　要　求　书 1/4 页 2 CN 115533902 A 2计算所述可见光图像的可见光图像坐标系与所述顶层箱体点云区域的顶层箱体坐标 系的第一 转换关系； 针对每一个箱体， 根据第一转换关系， 将该箱体的分割区域转换到所述顶层箱体坐标 系中， 得到该箱体的尺寸范围； 按照该箱体的尺寸范围及预设矩形角度阈值， 对该箱体的边缘直线特征进行矩形拼 接， 得到该箱体至少一个候选矩形框 。 7.根据权利要求4所述的方法， 其特征在于， 所述针对每一个箱体， 在该箱体的候选矩 形框中选取 该箱体的箱体矩形框， 包括： 针对每一个箱体， 根据该箱体的点云映射区域， 分别计算该箱体的每个候选矩形框的 投影点云占空比； 分别计算该箱体的每 个候选矩形框的图像边 缘强度及矩形度； 针对每一个候选矩形框， 根据该候选矩形框的投影点云占空比、 图像边缘强度及矩形 度， 计算得到该候选矩形框的得分； 根据相邻的候选矩形框之间的位置关系， 计算各相邻的候选矩形框之间的干涉程度； 根据各所述候选矩形框的得分、 相邻候选矩形框之间的干涉程度， 确定每个箱体的箱 体矩形框 。 8.根据权利要求7所述的方法， 其特征在于， 所述根据各所述候选矩形框的候选得分、 相邻候选矩形框之间的干涉程度， 确定每 个箱体的箱体矩形框， 包括： 在各所述候选矩形框 中， 选取得分最高的前N个候选矩形框作为种子矩形框； 其中， N为 预设的整数； 针对所述N个种子矩形框中的每一个候选矩形框， 将该候选矩形框作为基准， 以得分、 干涉程度、 箱体数量作为约束条件， 确定包括该候选矩形框的一组候选矩形框； 在N组候选矩形框中， 选取 得分最高的一组， 得到每 个箱体的箱体矩形框 。 9.根据权利要求4所述的方法， 其特征在于， 在所述按照每个箱体的箱体矩形框， 对所 述箱垛进行拆垛的步骤之前， 所述方法还 包括： 针对每一个箱体矩形框， 在所述深度图中确定该箱体矩形框对应的深度像素区域， 对 该箱体矩形框的深度像素区域进行扩展， 得到该箱体矩形框的深度像素扩展区域； 在所述可见光图像中确定该箱体矩形框对应的可见光像素区域， 对该箱体矩形框的可 见光像素区域进行扩展， 得到该箱体矩形框的可 见光像素扩展区域； 确定该箱体矩形框的深度像素扩展区域及可见光像素扩展区域在相同坐标系下的交 集区域； 以该箱体矩形框的边的图像梯度、 灰度边缘点直线度、 距离所述顶层箱体点云区域边 缘的距离作为约束条件， 在该箱体矩形框的交集区域中对该箱体矩形框进行修 正； 所述按照每 个箱体的箱体矩形框， 对所述箱垛进行拆垛， 包括： 按照每个箱体的修 正后的箱体矩形框， 对所述箱垛进行拆垛。 10.一种基于 视觉引导的拆垛装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取箱垛的深度图和可 见光图像， 其中， 所述箱垛包括至少一个箱体； 提取模块， 用于基于所述深度图， 提取 所述箱垛的顶层箱体点云区域； 获得模块， 用于确定所述顶层箱体点云区域在所述可见光图像中对应的区域， 获得箱 体掩膜区域；权　利　要　求　书 2/4 页 3 CN 115533902 A 3