(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210506022.X (22)申请日 2022.05.09 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 杨强　徐昊　苏超　曹园　蒋迪　 邱恺頔　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 郑海峰 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于显著性图和语义嵌入特征金字塔的输 电线路缺陷识别方法 (57)摘要 本发明公开了一种基于显著性图和语义嵌 入特征金字塔的输电线路缺陷识别方法， 包括以 下步骤。 步骤1： 对数据集进行数据清理和划分； 步骤2： 通过EL ‑ESRGAN超分辨率增广算法， 对输 电线路小目标进行超分辨率图像生成； 步骤3： 通 过构建嵌套U型网络， 对数据集进行图像显著性 检测； 步骤4： 通过Gridmask和随机擦除(Cut   Out)算法， 对数据集进行基于显著性图的数据增 广， 生成分类数据集； 步骤5： 通过深度语义嵌入 的特征金字塔分类网络， 利用ResNet 34分类算法 对的正常集和缺陷集进行图片分类。 本发明将图 像显著性检测和数据增广结合， 通过深度语义嵌 入的特征金字塔分类网络作为ResNet34分类的 补充， 用于无人机输电线路巡检图像中故障识 别， 具有较强的系统鲁棒 性。 权利要求书2页 说明书7页 附图5页 CN 114841972 A 2022.08.02 CN 114841972 A 1.一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法， 其特征在于包 括以下步骤： 1)将输电线路目标图像作为数据集， 根据输电线路是否有缺陷标记为正常集合和缺陷 集合； 根据目标图像的尺寸大小， 按照给定阈值划分小目标集 合和非小目标集 合； 2)针对小目标集合， 经过EL ‑ERSGAN超分辨率增广 算法进行图像超分辨率拓展； 将非小 目标集合和经过图像超分辨率拓展后的小目标集合组合后， 压缩成同一尺寸， 并划分训练 集和测试集； 3)通过嵌套显著性检测网络U2‑Net生成训练集图像的显著性图， 通过形态学膨胀算法 保证目标关键区域的完整性， 在显著性分数低于阈值部分随机生成擦除区域， 并填充随机 像素形成数据增广后的图像集 合； 4)将数据增广后的图像及其标签输入到深度语义嵌入的特征金字塔分类网络进行训 练， 获得训练好的分类 器； 5)实时获取输电线路巡检的目标图像数据， 并作为训练好的分类器的输入， 输出识别 结果。 2.根据权利要求1所述的一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识 别方法， 其特征在于， 步骤2)所述的经过EL ‑ERSGAN超分辨率增广算法进行图像超分辨率拓 展， 具体包括： 2.1)对EL ‑ERSGAN超分辨率增广模型的生成器和鉴别器的损失函数进行定义， 其公式 如下： 式中， 表示生成器的GAN损失函数， 表示鉴别器的GA N损失函数， DRa(xr,xf)代表鉴 别图像比虚假图像更真实的概率， DRa(xf,xr)表示鉴别图像比真实图像更虚假的概率， 代表对处理批次中所有虚假数据进行的平均操作， xi代表输入GAN网络的低分辨率图 像， xf表示GAN网络生成的判定为虚假的鉴别图像， xr表示GAN网络生成的判定为真实的鉴别 图像； 2.2)使用输电线路非小目标集合训练超分辨率增广模型EL ‑ERSGAN的生成器得到一个 二阶退化模型， 并使用L1损失函数、 感知损失函数和 所表示的GAN损失函数共同构 建EL‑ERSGAN的整体损失函数， 训练得到 EL‑ERSGAN模型； 2.3)使用训练后的EL ‑ERSGAN模型对输电线路小目标集 合进行超分辨 率图像增广。 3.根据权利要求1所述的一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识 别方法， 其特 征在于， 所述 步骤3)具体为： 3.1)以残差块网络结构为基础， 构建U型残差块网络； 3.2)通过堆叠3.1)中所述U型残差块网络， 构建11阶段组成的嵌套显著性检测网络U2‑ Net； 3.3)使用嵌套显著性检测网络U2‑Net生成输电线路 目标图像的显著分数， 通过形态学权　利　要　求　书 1/2 页 2 CN 114841972 A 2膨胀的确保算法 保证目标关键区域的完整性， 生成图像掩膜区域； 3.4)随机选择GridMask和随机擦除算法在图像掩膜区域进行随机擦除， 并填充随机像 素。 4.根据权利要求1所述的一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识 别方法， 其特 征在于， 所述 步骤4)采用的深度语义嵌入的特 征金字塔分类网络， 包括： ResNet特 征提取模块， 其输入为输电线路目标图像， 输出为该图像不同尺度的特 征； 特征增强金字塔模块， 其输入为ResNet特征提取模块生成的不同尺度的特征， 输出为 相邻尺度的融合特 征； 深层语义嵌入模块(DSE)， 其输入为特征增强金字塔模块生成的融合特征， 输出为具有 丰富语义信息的低分辨 率特征和具有丰富 位置信息的高分辨 率特征； 深度特征融合模块(DFF)， 其输入为深层语义嵌入模块生成的低分辨率特征与高分辨 率特征， 输出为高分辨 率和低分辨 率特征经过卷积、 池化操作后的特 征向量； 图像分类网络(OC)， 其输入为深度特征融合模块生成的高分辨率特征和低分辨率特征 的特征向量， 输出为输电线路巡检目标 是否存在故障的分类结果。 5.根据权利要求1所述的一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识 别方法， 其特 征在于， 所述 步骤1)使用的数据集 为输电线路绝 缘子自爆数据集。权　利　要　求　书 2/2 页 3 CN 114841972 A 3