(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210384167.7 (22)申请日 2022.04.13 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 谢巍　李国城　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 戴晓琴 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/22(2022.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于旋转目标检测的包裹位置实时检测方 法、 装置、 设备和介质 (57)摘要 本发明公开了一种基于旋转目标检测的包 裹位置实时检测方法、 装置、 计算机设备和存储 介质， 包括： 根据获取的实时物流包裹图片得到 数据集； 根据数据集的特点， 设计的旋转目标检 测网络模型采用目标检测网络Yolov5作为基础 架构， 在特征融合Neck中， 修改PANet结构为双向 特征金字塔的特征融合网络Bi ‑FPN， 在Bi ‑FPN中 插入注意力机制， 在检测层H ead中调整检测头分 支数以及增加角度分类输出和角度损失函数， 根 据增加的角度分类输出预测物流包裹的旋转矩 形框； 利用数据集对模型进行训练； 将获取的视 频流输入训练好的模型， 根据输出包裹的实时状 态信息， 实现包裹单件分离。 本发明提供的方法， 不受包裹尺寸限制， 检测精度高。 权利要求书2页 说明书9页 附图4页 CN 114821408 A 2022.07.29 CN 114821408 A 1.一种基于 旋转目标检测的包裹 位置实时检测方法， 其特 征在于， 所述方法包括： 获取实时的物流包裹图片， 根据所述物流包裹图片， 得到数据集； 根据所述数据集的特点， 设计旋转目标检测网络模型， 包括： 所述旋转目标检测网络模 型采用目标检测网络Yolov5作为基础架构， 在特征融合Neck中， 修改PANet结构为双向特征 金字塔的特征融合网络Bi ‑FPN， 在特征融合网络Bi ‑FPN中插入注意力机制； 在检测层Head 中调整检测头 分支数以及增加角度分类输出和角度损失函数， 根据所述角度分类输出预测 物流包裹的旋转矩形框； 利用所述数据集对旋转目标检测网络模型进行训练； 将获取的视频流输入训练好的旋转目标检测网络模型， 输出包裹的实时状态信息； 根 据所述包裹的实时状态信息， 实现包裹单件分离 。 2.根据权利要求1所述的包裹位置实时检测方法， 其特征在于， 所述特征融合网络Bi ‑ FPN通过在同一尺度的输入节点和输出节点之间增加跳跃连接， 为了在不增加额外计算的 基础上， 在相同层融合更多的特征， 并能进 行自顶向下和自底向上的双向特征融合， 实现多 尺度特征融合。 3.根据权利要求1所述的包裹位置实时检测方法， 其特征在于， 所述在特征融合网络 Bi‑FPN中插入注意力机制， 包括： 在特征融合网络Bi ‑FPN中插入多个注意力机制CBAM； 所述注意力机制CBAM在CS P模块与基础卷积CBL模块之间插 入。 4.根据权利要求1所述的包裹位置实时检测方法， 其特征在于， 所述在检测层Head中调 整检测头分支数， 包括： 基于所述数据集中未出现小目标包裹的特点， 去掉检测层Head中负责预测较小尺寸的 预测模块， 根据实时的包裹在图片中的大小占比， 保留适应大小的预测模块。 5.根据权利要求4所述的包裹位置实时检测方法， 其特征在于， 对检测层Head保留的预 测模块， 增 加角度分类输出维度， 用来分类输出角度值； 其中， 所述角度为设定阈值； 将输出角度值与水平框表示的信息相结合， 预测出包裹的旋转矩形框 。 6.根据权利要求5所述的包裹位置实时检测方法， 其特征在于， 所述角度损 失函数为： 使用二进制交叉熵和L ogits损失函数计算输出角度值的损失； 所述设计旋转目标检测网络模型还 包括修改置信度损失函数， 具体为： 用旋转矩形框IOU代替水平框IOU作为置信度损失函数中的权重系数， 使置信度损失与 输出角度值相关联。 7.根据权利要求6所述的包裹位置实时检测方法， 其特征在于， 所述设计旋转目标检测 网络模型还 包括改善非极大值抑制算法NMS， 具体为： 使用结合角度信息的旋转矩形框IOU计算替换原基于水平框的IOU计算， 过滤掉多余重 叠的旋转预测框 。 8.根据权利要求1所述的包裹位置实时检测方法， 其特征在于， 利用所述数据集对旋转 目标检测网络模型进行训练， 包括： 利用K‑mean聚类算法获取对应的锚框Anc hor， 进而更新特 征图的锚框； 根据所述数据集样本量少的特点， 所述旋转目标检测网络模型选择使用Adam优化器； 对所述旋转目标检测网络模型进行多尺度训练， 通过设置不同的尺度， 训练时每个迭权　利　要　求　书 1/2 页 2 CN 114821408 A 2代周期随机 选择一种尺度的输入图片进行训练， 增强模型鲁棒 性， 最后得到网络 权重。 9.根据权利要求1所述的包裹位置实时检测方法， 其特征在于， 在利用所述数据集对旋 转目标检测网络模型进行训练前， 对所述数据集进行 预处理； 利用预处 理后的数据集对旋转目标检测网络模型进行训练； 所述预处 理包括数据清洗和数据增强， 具体包括： 所述数据清洗是对劣质的、 标注有误的图片进行排除和处 理； 所述数据增强是针对所述数据集的特点与 数据集中样本数量， 采取数据增强方式或数 据增广方法， 增 加数据集中样本的数量。 10.根据权利要求1 ‑9任一项所述的包裹位置实时检测方法， 其特征在于， 所述根据所 述物流包裹图片， 得到数据集， 包括： 对每个所述物流包裹图片进行 标注， 得到每 个物流包裹的多边形角点 坐标信息； 根据所述多边形角点 坐标信息， 获取最小外 接矩形框的四个角点 坐标； 将所述四个角点 坐标转换为长边表示法； 将每个物流包裹的长边表示法作为一个样本， 所有物流包裹的长边表示法构 成样本的 数据集。权　利　要　求　书 2/2 页 3 CN 114821408 A 3