(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210881433.7 (22)申请日 2022.07.26 (71)申请人 华北电力大 学 （保定） 地址 071003 河北省保定市莲池区永华北 大街619号 华北电力大 学 (72)发明人 李冰　王天　赵宽　白云山　 张效铭　翟永杰　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 杜阳阳 (51)Int.Cl. G06V 20/60(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种逆光条件下的绝 缘子识别系统及方法 (57)摘要 本发明涉及一种逆光条件下的绝缘子识别 系统及方法， 所述识别系统包括： 第一单模态特 征金字塔解码器、 第二单模态特征金字塔解码 器、 特征融合模块和交互式增强解码器。 本发明 考虑到可见光成像在逆光条件下纹理特征少的 缺点， 利用红外图像来补充RGB图像的信息， 分别 利用第一单模态特征金字塔解码器、 第二单模态 特征金字塔解码器对绝缘子的RGB图像和红外图 像进行特征提取， 之后利用特征融合模块中进行 特征的融合， 以加强特征的信息， 之后将融合后 的特征送入到交互式解码器中进行图像的恢复 与检测。 本发 明可实现逆光条件 下绝缘子的有效 识别。 权利要求书2页 说明书7页 附图3页 CN 115223155 A 2022.10.21 CN 115223155 A 1.一种逆光条件下的绝缘子识别系统， 其特征在于， 所述识别系统包括： 第 一单模态特 征金字塔解码 器、 第二单模态特征金字塔解码 器、 特征融合模块和交互式增强解码 器； 所述 第一单模态特征金字塔解码器和所述第二单模态特征金字塔解码器均与所述特征融合模 块连接； 所述特 征融合模块与所述交 互式增强解码器连接； 所述第一单模态特征金字塔解码器用于对绝缘子的RGB图像进行特征提取， 获得RGB图 像特征； 所述第二单模态特征金字塔解码器用于对绝缘子的红外图像进行特征提取， 获得红外 图像特征； 绝缘子的RGB图像和绝 缘子的红外图像均为在逆光条件下进行拍摄获得的； 所述特征融合模块用于对所述RGB图像特征和所述红外图像特征进行融合， 获得融合 后的特征； 所述交互式增强解码器用于对融合后的特征进行解码检测， 获得绝缘子的语义分割结 果。 2.根据权利要求1所述的逆光条件下的绝缘子识别系统， 其特征在于， 所述第 一单模态 特征金字塔解码器包括依次连接的ResNet ‑50主干网络和特 征金字塔网络 。 3.根据权利要求1所述的逆光条件下的绝缘子识别系统， 其特征在于， 所述第 二单模态 特征金字塔解码器包括依次连接的改进后的ResNet ‑50主干网络和特 征金字塔网络； 获得改进后的ResNet ‑50主干网络的改进方式为： ResNet ‑50主干网络中用于输入绝缘 子的红外图像的卷积层的输入通道的数量设置为 1， 将ResNet ‑50主干网络中的平均池化层 和全连接层删除。 4.根据权利要求1所述的逆光条件下的绝缘子识别系统， 其特征在于， 所述特征融合模 块包括多模态特 征融合模块和全局特 征融合模块。 5.根据权利要求4所述的逆光条件下的绝缘子识别系统， 其特征在于， 所述多模态特征 融合模块包括： 第一拼接模块、 第一卷积模块、 X维度 平均池化层、 Y维度 平均池化层、 第二拼 接模块、 第一卷积层、 BN和非线性激活函数层、 第二卷积层、 第三卷积层、 第一Sigmoid激活 函数层、 第二Sigmoid激活函数层、 乘法运算模块、 第一通道注 意力模块、 第三拼接模块和第 四卷积层； 所述第一拼接模块与所述第一卷积模块连接， 所述第一卷积模块分别与X维度平均池 化层、 Y维度平均池化层和第一 通道注意力模块连接； X维度平均池化层和Y维度平均池化层均与所述第 二拼接模块连接， 所述第 二拼接模块 与所述第一卷积层连接， 所述第一卷积层与所述BN和非线性激活函数层连接， 所述BN和非 线性激活函数层分别与所述第二卷积层和所述第三卷积层连接， 所述第二卷积层与所述第 一Sigmoid激活函数层连接， 所述第三卷积层与所述第二Sigmo id激活函数层连接； 所述第一Si gmoid激活函数层、 所述第二Si gmoid激活函数层和所述第一卷积模块均与 所述乘法运 算模块连接； 所述乘法运算模块和所述第 一通道注意力模块均与所述第 三拼接模块连接， 所述第 三 拼接模块与所述第四卷积层连接； 所述第一卷积模块包括依次连接的1 ×1卷积、 BN层和ReLu激活函数。 6.根据权利要求4所述的逆光条件下的绝缘子识别系统， 其特征在于， 所述全局特征融 合模块包括依次连接的第四拼接模块、 第二通道注意力模块、 第二卷积模块、 全局自适应池权　利　要　求　书 1/2 页 2 CN 115223155 A 2化层、 第三卷积模块、 上采样层、 第四拼接模块和第四卷积模块； 所述第二卷积模块还与所 述第四拼接模块连接； 所述第二卷积模块和所述第四卷积模块均包括依次连接的1 ×1卷积、 BN层和ReLu激活 函数； 所述第三卷积模块包括多个1 ×1的卷积， 每个所述1 ×1的卷积均分别与全局自适应池 化层和上采样层连接 。 7.一种逆光条件下的绝缘子识别方法， 其特征在于， 所述识别方法应用于权利要求1 ‑6 任一项所述的识别系统， 所述识别方法包括如下步骤： 获取绝缘子的RGB图像和绝缘子的红外图像； 绝缘子的RGB图像和绝缘子的红外图像均 为在逆光条件下进行拍摄获得的； 通过第一单模态特征金字塔解码器对绝缘子的RGB图像进行特征提取， 获得RGB图像特 征； 通过第二单模态特征金字塔解码器对绝缘子的红外图像进行特征提取， 获得红外图像 特征； 通过特征融合模块对所述RGB图像特征和所述红外图像特征进行融合， 获得融合后的 特征； 通过交互式增强解码器对融合后的特 征进行解码检测， 获得绝 缘子的语义分割结果。 8.根据权利要求7所述的逆光条件下的绝缘子识别方法， 其特征在于， 所述通过第 一单 模态特征金字塔解码器对绝 缘子的RGB图像进行 特征提取， 获得RGB图像特 征， 具体包括： 通过第一单模态特征金字塔解码器中的ResNet ‑50主干网络提取RGB图像的多尺度特 征； 通过第一单模态特征金字塔解码器 中的特征金字塔网络对RGB图像的多尺度特征进行 融合， 得到RGB图像的多尺度融合特 征作为RGB图像特 征。 9.根据权利要求7所述的逆光条件下的绝缘子识别方法， 其特征在于， 融合后的特征包 括模态融合特征和全局融合特征， 所述通过特征融合模块对所述RGB图像特征和所述红外 图像特征进行融合， 获得融合后的特 征， 具体包括： 通过多模态特征融合模块对所述RGB图像特征和所述红外 图像特征进行模态融合， 获 得模态融合特 征； 通过全局特征融合模块对所述RGB图像特征和所述红外图像特征进行全局融合， 获得 全局融合特 征。 10.根据权利要求7所述的逆光条件下的绝缘子识别方法， 其特征在于， 所述通过第一 单模态特征金字塔解码器对绝缘子的RGB图像进行特征提取， 获得RGB图像特征， 之前还包 括： 获取逆光场景 下绝缘子的RGB图像和红外图像， 构建数据集； 将所述数据集划分为训练集、 验证集和 测试集； 利用所述训练集、 所述验证集和所述测试集， 基于NVIDIARTX3090平台对网络结构进行 训练、 验证和测试， 获得训练好的网络结构作为所述识别系统， 所述网络结构包括第一单模 态特征金字塔解码器、 第二单模态特 征金字塔解码器、 特 征融合模块和交 互式增强解码器。权　利　要　求　书 2/2 页 3 CN 115223155 A 3