(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210487272.3 (22)申请日 2022.05.06 (71)申请人 国网河北省电力有限公司石家庄供 电分公司 地址 050051 河北省石家庄市红旗大街6 6 号 申请人 国家电网有限公司 (72)发明人 张益辉　张颖　吴灏　傅伯雄　 王丽华　董璇　李炀　苏克　 (74)专利代理 机构 石家庄新世纪专利商标事务 所有限公司 1310 0 专利代理师 张晓佩 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01)G06T 5/30(2006.01) G06T 5/40(2006.01) G06T 7/00(2017.01) G06T 7/13(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习与形态学融合的状态自动检 测方法与装置 (57)摘要 本发明涉及一种基于深度学习与形态学融 合的状态自动检测方法和装置； 首先保护压板图 像帧进行目标定位和初始类型分析， 对I和II型 保护压板采集图像进行自动识别， 得到识别状 态； 并利用特征参数提取方法提取图像特征， 得 到特征参数； 并将识别状态与特征状态基于融合 信息进行融合， 确定I型和II型保护压板的最终 检测状态。 本发 明提供的基于深度学习 与形态学 融合的状态自动检测方法和装置， 能实现对不同 类型保护压板状态的有效检测， 识别精准， 适用 性高具有较好的鲁棒性， 有助于对保护压板实时 状态的监测和管控， 方案高效实用客观准确， 能 够辅助用于电力系统中进行保护压板和电力的 巡检， 从而更好 地保证电力系统的安全性。 权利要求书3页 说明书15页 附图12页 CN 114913370 A 2022.08.16 CN 114913370 A 1.一种基于深度学习与 形态学融合的状态自动检测方法， 用于对保护 压板进行自动检 测， 其特征在于， 包括如下步骤： S 01， 对采集的保护压板图像帧进 行目标定位和初始类型分 析， 获取各图像帧中目标保护压板的对应类型， 分别记 为I型和II型； S 02， 对I型保护压板采 集图像进行预处理， 并利用深度学习目标网络对其工作状态进行自动识别， 得到第一识别 状态； S03， 利用三次样条差值及色彩空间特征的特征参数提取方法对I型保护压板提取图 像特征， 得到第一特征参数； S 04， 基于第一特征参数检测保护压板对应的第一特征状态， 并 将第一识别状态与第一特征状态基于融合信息进行融合， 确定I型保护压板的最终检测状 态； S05， 对II型保护压板利用改进的深度学习网络对其状态进行自动识别， 得到第二识别 状态； S06， 基于色彩空间及形态学融合特征的的特征参数提取方法对II型保护压板提取图 像特征， 得到第二特 征参数； S07， 确定I I型保护压 板的最终检测状态。 2.如权利要求1所述的一种基于深度学习与形态学融合的状态自动检测方法， 其特征 在于， S07确定II型保护压板的最 终检测状态的方法： 基于第二特征参数检测II型保护压板 对应的第二特 征状态， 并将第二识别状态与第二特 征状态基于融合信息进行融合。 3.如权利要求2所述的一种基于深度学习与形态学融合的状态自动检测方法， 其特征 在于， 步骤S01包括： 首先对输入的保护压板图像帧进行sobel边缘检测， 获得图片的边缘信息后， 对其进行 最大最小滤波处理， 同时通过全局阈值处理获得图像的二值信息后， 根据连通域面积去除 小连通域， 再通过连通域外接矩形获得图片 中的每一个保护压板对 象， 最后通过对每一个 对象进行直线检测， 判断目标保护压 板属于I型还是I I型。 4.如权利要求3所述的一种基于深度学习与形态学融合的状态自动检测方法， 其特征 在于， 步骤S02中对I型保护压 板采集图像进行 预处理包括： 分别对图像进行x方向、 y方向和135 °方向上的sobel算子提取， 再将三个图像按比例合 并得到梯度处 理后的最终特 征图像， 最后将最终特 征图像作为目标网络的输入用于识别。 5.如权利要求2所述的一种基于深度学习与形态学融合的状态自动检测方法， 其特征 在于， 步骤S0 3包括： S301， 首先对原始图像使用基于三次样条插值的图像分辨 率降低方法； S302， 其次利用基于限制对比度自适应的直方图均衡化方法对保护压板图像进行预处 理； S303， 对图像进行中值滤波后， 基于HSV色彩空间对图像进行分割， 将三通道的二值化 图像叠加后得到的初始分割图像进行 形态学处 理， 得到最终的二 值化分割结果； S304， 利用基于连通域外接矩形参数提取方法对保护压板提取形状特征参数， 从而用 于对深度学习的识别结果进行优化和补充。 6.如权利要求5所述的一种基于深度学习与形态学融合的状态自动检测方法， 其特征 在于， 步骤S04包括： S401， 基于第一特 征参数检测保护压 板对应的第一特 征状态； 通过前述步骤获得I型保护压板的第一特征参数h、 w、 S1、 S2， 其中h和w分别为保护压板 外接矩形框的长和宽， S1、 S2分别为根据高度h和宽度w所得的特征值， S1为保护压板外接矩 形的面积， S2为所有检测的保护压 板外接矩形面积的均值， 如式(5) ‑(6)所示: S1＝h*w                              (5)权　利　要　求　书 1/3 页 2 CN 114913370 A 2然后通过 单参数阈值判断方法判断I型保护压 板状态A， 选择公式如式(7)所示： 根据参数范围自动选择， 可得到I型保护压板对应的的两种状态A1、 A2， 其中A1为投入状 态， A2为退出状态； S402， 基于融合状态信息的保护压 板状态自动检测； 在第一特征参数提取完成后目标保护压板存在一个矩形框信息Ar(x， y， h， w)， 同时在第 一识别状态结果中存在目标保护压 板的矩形区域Br； 将Ar与Br进行交集判断， 若Ar与Br的交集为空， 则I型保护压板最终状态为Ai； 若Ar与Br的 交集不为空， 则I型保护压板最终状态为Bi， 最终得到保护压板图像中所有对象的最终检测 状态为E， 如式(8)所示： 7.如权利要求1所述的一种基于深度学习与形态学融合的状态自动检测方法， 其特征 在于， 步骤S0 5中利用改进的深度学习网络对I I型保护压 板状态进行自动识别包括： 为了抑制II型保护压板复杂背景的干扰， 在YOLOv5网络模型的CSP模块后引入通道和 空间卷积块注意模型、 通道 注意力模块和空间注意力模块。 8.如权利要求7所述的一种基于深度学习与形态学融合的状态自动检测方法， 其特征 在于， 步骤S0 6包括： S601， 首先对原始图像基于像素差异的高光区域的自动检测， 并利用快速行进算法进 行图像高光区域 修复； S602， 其次利用分水岭算法实现 保护压板前景分割； S603， 基于HSV色彩空间进行图像分割， 将三通道的二值化图像叠加后得到的初始分割 图像进行 形态学处 理， 得到最终的二 值化分割结果； S604， 利用基于连通域外接矩形的压板形状特征参数提取方法实现压板开关的特征参 数提取， 从而对深度学习的分类结果进行优化和补充。 9.如权利要求1所述的一种基于深度学习与形态学融合的状态自动检测方法， 其特征 在于， 步骤S07包括： S701， 在获得的第二特征参数的基础上， 通过基于参数特征的保护压板状态自动检测 方法得到第二特 征状态A’； 输入第二特征参数宽度 w与高度h后， 首先进行多参数计算， 获得特征值a、 S3、 S4， 其中a 为h与w的比值， S3为外接矩形的面积， S4为所有检测 对象的外接矩形面积均值， 如式(14) ‑ (16)所示： S3＝h*w                               (15) 权　利　要　求　书 2/3 页 3 CN 114913370 A 3