(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210432628.3 (22)申请日 2022.04.22 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 顾菊平　胡俊杰　张新松　朱建红　 王子旭　周伯俊　赵凤申　张思续　 (51)Int.Cl. G06V 20/00(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于改进YOLOv5的输电线路零部件识 别方法 (57)摘要 本发明公开了一种基于改进YOLOv5的输电 线路零部件识别方法， 包括： 首先， 收集输电线路 航拍图像， 通过数据增强方法对其进行扩充； 然 后， 基于YOLOv5网络进行改进， 增加更小尺度检 测层， 并在PAN层添加跳跃连接， 融合多路径特 征， 提升小目标检测性能； 提出PCSA注意力机制， 融合空间维度和通道维度的特征关系， 提高图像 中目标的显著度； 提出LSCIoU作为bounding  box 的损失函数， 对不同大小的目标自动调整位置损 失大小， 增加小目标、 难识别目标的损失， 提高困 难样本的识别 能力； 最后， 利用训练集图片对改 进后的YOLOv5网络进行训练， 并用测试集图片 对 其进行测试。 本发明可以对一幅图像中的多种零 部件进行识别及定位， 在目标较小、 背景复杂以 及存在遮档的情况 下仍有较好的识别效果。 权利要求书2页 说明书6页 附图6页 CN 114821278 A 2022.07.29 CN 114821278 A 1.一种基于改进YOLOv5的输电线路零部件识别方法， 其特 征在于， 包括以下步骤： 步骤一、 收集输电线路航拍图像， 并对其进行 数据增强； 步骤二、 构造改进后的YOLOv5网络， 包括以下内容： 首先对网络结构进行改进， 增加更 小尺度检测层， 并在PAN层添加跳跃连接； 然后提出PCSA注意力机制， 构建PCSA  block替换 部分C3模块； 最后提出LSCIoU， 作为boundi ng box的损失函数； 步骤三、 将步骤一得到的数据集按8： 2的比例划分为训练集和测试集， 将训练集放入改 进后的YOLOv5网络进行训练， 取其训练结果 最好的权重best.pt作为 最终权重； 步骤四、 将步骤三得到的权重载入网络， 用测试集图片进行测试， 用精确度、 召回率和 平均精确率均值评价 最终测试 结果。 2.根据权利要求1所述的一种基于改进YOLOv5的输电线路零部件识别方法， 其特征在 于， 步骤一具体如下： 步骤1.1、 首先将图片调整到统一大小； 然后裁剪出数量较少的零部件图片， 其余部分 用黑色背 景填充， 通过平移 生成不同的新图片， 增加数量较少的零部件图片； 最后对全部图 像进行翻转、 旋转， 并且通过调整亮度、 通道变换 方法模拟不同光照条件下的情况； 步骤1.2、 利用L abelimg软件对图片进行手动标注， 用矩形框标注出物体的位置并记录 类别信息， 生成一一对应的XML格式文件， XML格式文件记录了图片的大小、 名称， 物体的位 置信息、 类别 信息。 3.根据权利要求1所述的一种基于改进YOLOv5的输电线路零部件识别方法， 其特征在 于， 步骤二具体如下： 步骤2.1、 网络结构改进为： 从FPN结构的第二个Concat模块引出一个分支， 通过C3、 Conv、 上采样模块与Backbone的第一个C3模块的输出进行堆叠， 其结果经过一个C3模块后 一路送往检测头， 另一路经 过Conv、 Concat模块接入PAN结构； 将Backbone的第2个C3的输出通过1*1的卷积模块降低一半通道数， 与PAN结构中对应 大小的Concat模块进行堆叠， 第3个C3模块以同样的方式与PAN结构的Concat模块进行堆 叠； 步骤2.2、 构造PCSA注意力机制， 包括位置注意力机制和通道注意力机制， 位置注意力 机制具体如下： 对于输入特征图， 经过3个不同的1*1卷积生成不同的特征图， 分别对应 query、 key、 value； 然后对query和key进行通道维度上的平均池化， 然后将query进行转置 与key进行矩阵乘法再经过Softmax得到位置权重， 将value与转置的位置权重做矩阵乘法 得到加权后的特 征图1； 通道注意力机制具体如下： 对query和key进行进行空间维度上的平均池化， 然后将 query与转置的key进行矩阵乘法再经过Softmax 得到通道权重， 将 权重与value进行矩阵乘 法得到加权后的特征图2， 最后将特征图1和特征图2乘上不同的可训练的权重系 数与原特 征图相加得到 输出； 公式为： 其中， 为权重， avgc为通道维度 上平均池化， avgs为平面维度上平均池化， T为转 置， Q、 K、 V分别代 表着输入X 经过3个1*1卷积生成的特 征图。权　利　要　求　书 1/2 页 2 CN 114821278 A 2步骤2.3、 改进位置损失函数， LSCIoU公式为： 其中， λ为可调参数， IoU为交并比， wgt、 hgt分别为真实框的宽、 高， w、 h分别为预测框的 宽、 高， ρ(b,bgt)为两框中心点 坐标的欧式距离， c为两 框最小外 接矩形的对角线长度。 4.根据权利要求3所述的一种基于改进YOLOv5的输电线路零部件识别方法， 其特征在 于， 在步骤二中， 构造PCSA  block模块， 结构为输入经过1*1卷积模块和PSCA模块后与输入 经过另一个1*1卷积模块进 行堆叠， 再通过一个1*1卷积模块得到输出； 其中前两个1*1卷积 模块输出的通道数为输入的一半， 最后一个1*1卷积模块输出通道数等于 输入； 公式为： Out＝Conv(Concat(PCSA(Co nv(x)),Conv(x))) 用PCSA block模块替换Backbo ne的最后一个C 3模块以及PAN层的最后一个C 3模块。 5.根据权利要求1所述的一种基于改进YOLOv5的输电线路零部件识别方法， 其特征在 于， 步骤三具体如下： 步骤3.1、 将步骤一得到的图片和XML文件按8： 2的比例划分训练集、 测试集； 步骤3.2、 设置训练参数为： 批次大小为48， 训练轮次为250次， 图像大小为640*640， 初 始学习率为0.01， 最终学习率为0.2， 优化函数为SGD， 冲量为0.937， 权重衰减系数为 0.0005， LSCIoU的λ为20； 步骤3.3、 将训练集图片送入改进后的YOLOv5 网络进行训练， 通过多次训练使损失函数 尽可能降低， 在损失函数收敛后 或者到达最大训练轮次后停止训练， 保存此次训练的最佳 网络权重best.pt。 6.根据权利要求1所述的一种基于改进YOLOv5的输电线路零部件识别方法， 其特征在 于， 步骤四具体如下： 步骤4.1、 将步骤三训练得到的网络权重载入网络， 用测试集对其进行测试训练效果， 用精确度、 召回率和平均精确率均值指标对网络性能进行评价； 步骤4.2、 训练后的模型能够自动识别出输电线路图片中零部件的类别及位置， 并用矩 形框在图中标注出来。权　利　要　求　书 2/2 页 3 CN 114821278 A 3