(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210930261.8 (22)申请日 2022.08.03 (71)申请人 国网江苏省电力有限公司电力科 学 研究院 地址 211103 江苏省南京市江宁区帕威尔 路1号 (72)发明人 黄新宇　高嵩　邱刚　张廼龙　 谭笑　陈杰　刘建军　杨景刚　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 母秋松 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多尺度融合的电网智能巡检方法及装 置 (57)摘要 本发明公开了一种多尺度融合的电网智能 巡检方法及装置， 将标注后的电力设备小目标图 像作为训练图像， 将训练图像组成训练样本。 利 用训练样 本迭代训练小目标检测模 型， 得到训练 后的小目标检测模型。 将待检测图像输入训练后 的小目标检测模 型， 得到待检测图像的目标检测 结果。 本发 明提供的一种多尺度融合的电网智能 巡检方法及装置， 通过注意机制和多尺度特征融 合模块提取到更多的图像特征， 解决了小目标不 容易检测的问题， 具有更好的检测效果。 权利要求书3页 说明书9页 附图4页 CN 115311223 A 2022.11.08 CN 115311223 A 1.一种多尺度融合的电网智能巡检方法， 其特 征在于： 包括如下步骤： 将标注后的电力设备小目标图像作为训练图像， 将训练图像组成训练样本； 利用训练样本迭代训练小目标检测模型， 得到训练后的小目标检测模型； 所述小目标 检测模型通过特征提取网络、 注意机制和特征融合网络对输入的小目标图像进行特征图提 取， 再将特 征图输入预测网络获取小目标图像的检测结果； 将待检测图像输入训练后的小目标检测模型， 得到待检测图像的目标检测结果。 2.根据权利要求1所述的一种 多尺度融合的电网智能巡检方法， 其特征在于： 将标注后 的电力设备小目标图像作为训练图像， 将训练图像组成训练样本， 包括： 获取电力设备小目 标图像， 或者从采集视频中提取电力 设备小目标图像， 采用标注工具标注电力 设备小目标 图像中的待检测目标， 对已标注的电力设备小目标图像进行预 处理， 得到训练图像， 将训练 图像收集在训练样本 。 3.根据权利要求1所述的一种 多尺度融合的电网智能巡检方法， 其特征在于： 所述小目 标检测模型包括： 主干特征提取网络CSPDar knet53、 注意机制模块、 多尺度特征融合网络和 预测网络； 输入图像通过CSPDarknet53的CSPRes1模块提取到特征图F1， 将特征图F1输入到 第一注意机制模块， 第 一注意机制模块的输出与 特征图F1相融合得到特征图F1′； 将特征图 F1′输入到CSPDarknet53的CSP Res2模块提取到特征图F2， 将特征图F2输入到第二注意机制 模块， 第二注意机制模块的输出与特征图F2相融合得到特征图F2′； 将特征图F2′输入到 CSPDarknet53的其余特征提取模块输出最终的特征图F； 最终的特征图F输入到多尺度特征 融合网络， 输出特征图FB′、 FC′、 FD′、 FE′； 特征图FB′、 FC′、 FD′、 FE′输入到预测网络， 输出目标 检测结果。 4.根据权利要求3所述的一种多尺度融合的电网智能巡检方法， 其特征在于： CSPRes1 模块代表1个Res_unit单元模块， 输出大小为304 ×304的特征图； CSPRes2模块代表2 个Res_ unit单元模块级联组成， 输出大小为152 ×152的特征图； 其余特征提取模块为依次相连的 CSPResn模块， n分别取3、 4、 5， CSP Res3模块代表3个Res_unit单元模块级联组成， 输出大小 为76×76的特征图； CSPRes4模块代表4个Res_unit单元模块级联组成， 输出大小为38 ×38 的特征图； CSPRes5模块代 表5个Res_un it单元模块级联组成， 输出 大小为19 ×19的特征图。 5.根据权利要求3所述的一种 多尺度融合的电网智能巡检方法， 其特征在于： 第 一注意 机制模块、 第二注意机制模块输出公式如下： 其中， Aba为主干分支输出， Abr为分支输出， softmax(*)概率 分布函数， T为注意力重新校 准权重； F1′＝[F1:F1·T] 其中： F1′表示第一次融合后的特 征， [:]表示融合操作； F2′＝[F2:F2·T] 其中： F2′表示第二次融合后的特 征， [:]表示融合操作。 6.根据权利要求3所述的一种 多尺度融合的电网智能巡检方法， 其特征在于： 多尺度 特 征融合网络包括： 对最终的特 征图F分别输入特 征缩放层， 得到特 征图FB、 FC、 FD、 FE； FB＝C0(F)权　利　要　求　书 1/3 页 2 CN 115311223 A 2FC＝C2(F) FD＝C4(F) FE＝C8(F) 其中， Cn(*)表示特征缩放操作， n表示缩放率， F表示最终的特征图， FB表示不缩放的特 征图， FC表示缩放 率为2的特征图， FD表示缩放 率为4的特征图， FE表示缩放 率为8的特征图； 将压缩后特 征图FB、 FC、 FD、 FE分别输入特 征融合层， 输出 特征图FB′、 FC′、 FD′、 FE′； FE′＝ATT8(FE) 其中： 表示特征图通道一致性操作， ATTn(*)表示在压缩率为n的特征的注意机制特征 融合操作。 7.根据权利要求3所述的一种 多尺度融合的电网智能巡检方法， 其特征在于： 预测网络 包括： 将特征图FB′、 FC′、 FD′、 FE′输入到回归层和分类层， 在回归层会产生候选框的坐标， 同时 分类层计算 候选框的置信度， 取置信度最大的候选 框作为目标检测结果。 8.一种多尺度融合的电网智能巡检装置， 其特 征在于： 包括如下模块： 图像处理模块： 用于将标注后的 电力设备小目标图像作为训练图像， 将训练图像组成 训练样本； 模型训练模块： 用于利用训练样本迭代训练小目标检测模型， 得到训练后的小目标检 测模型； 所述小目标检测模型通过特征提取网络、 注意机制和特征融合网络对输入的小目 标图像进行 特征图提取， 再将特 征图输入预测网络获取小目标图像的检测结果； 目标检测模块： 用于将待检测图像输入训练后的小目标检测模型， 得到待检测图像的 目标检测结果。 9.根据权利要求8所述的一种 多尺度融合的电网智能巡检装置， 其特征在于： 图像处理 模块， 包括： 获取电力设备小目标图像， 或者从采集视频中提取电力设备小目标图像， 采用标注工 具标注电力设备小目标图像中的待检测目标， 对已标注的电力设备小目标图像进行预处 理， 得到训练图像， 将训练图像收集在训练样本 。 10.根据权利要求8所述的一种多尺度融合的电网智能巡检装置， 其特征在于： 所述小 目标检测模 型包括： 主干特征提取网络CSPDar knet53、 注 意机制模块、 多尺度特征融合网络 和预测网络； 输入图像通过CSPDarknet53的CSPRes1模块提取到特征图F1， 将特征图F1输入 到第一注意机制模块， 第一注意机制模块的输出与 特征图F1相融合得到特征图F1′； 将特征 图F1′输入到CSPDarknet53的CSPRes2模块提取到特征图F2， 将特征图F2输入到第二注意机 制模块， 第二注意机制模块的输出与特征图F2相融合得到特征图F2′； 将特征图F2′输入到 CSPDarknet53的其余特征提取模块输出最终的特征图F； 最终的特征图F输入到多尺度特征 融合网络， 输出特征图FB′、 FC′、 FD′、 FE′； 特征图FB′、 FC′、 FD′、 FE′输入到预测网络， 输出目标 检测结果。权　利　要　求　书 2/3 页 3 CN 115311223 A 3