(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111631707.9 (22)申请日 2021.12.28 (71)申请人 河南大学 地址 475001 河南省开封市顺河区明伦街 85号 (72)发明人 何欣　刘红阳　陈永超　于俊洋　 王光辉　 (74)专利代理 机构 郑州大通专利商标代理有限 公司 41111 专利代理师 张立强 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/136(2017.01) G06T 5/00(2006.01) G06T 5/30(2006.01) (54)发明名称 基于深度学习的七段数码管液晶显示屏识 别方法及系统 (57)摘要 本发明公开了一种基于深度学习的七段数 码管液晶显示屏识别方法及系统， 该方法步骤如 下： (1)识别图像的预处理操作： 对输入图像进行 归一化、 灰度化、 高斯滤波、 自适应阈值分割、 图 像去噪等一系列操作； (2)液晶显示屏中七段数 码管定位操作： 使用YOL Ov3对液晶显示屏中的数 码管进行区域定位； (3)图像增强操作： 对图像进 行腐蚀、 膨胀 操作， 以减少图像中的干扰区域， 以 及使前后背景更加分离， 消除数码管之间的空 洞； (4)图像识别操作： 对处理出来的感兴趣区域 进行数字字符分割操作， 使每一个数字单独分割 为一张图片， 然后使用穿线法进行识别。 本发明 可以更加精确的读取七段数码管液晶显示屏中 的相关内容。 权利要求书2页 说明书10页 附图3页 CN 114519694 A 2022.05.20 CN 114519694 A 1.一种基于深度学习的七段 数码管液晶显示屏识别方法， 其特 征在于， 包括： 步骤1： 采用加权平均值的归一化方法将图像转换成255个灰度值表示的单通道灰度图 像， 然后通过双边高斯滤波对图像进行降噪， 并通过固定阈值二值化增加图像前景和背景 信息的区分度； 步骤2： 对步骤1处理后的图像使用YOLOv3进行液晶显示屏的区域定位； YOLOv3通过 Darknet‑53网络提取浅层特征， 通过上采样分离深层特征， 并将提取的深层特征和浅层特 征进行融合； 步骤3： 对二值化后的图像进行腐蚀处理， 使目标区域即感兴趣区域更加突出； 再进行 图形膨胀处 理， 消除每段 数码管之间的空白区域， 填补数字之间的空洞区域； 步骤4： 采用阈值分割方法， 将步骤3处理后的图像不同位置对应不同灰度值， 将目标区 域与背景区域即不感兴趣区域转换成两个不同的灰度级， 依 次完成目标区域的分离提取； 然后再用投影法将各数字分割为单独的图片； 最后使用穿线法识别出每个数字， 然后拼接 在一起。 2.根据权利要求1所述的基于深度学习的七段数码管液晶显示屏识别方法， 其特征在 于， 所述步骤1还包括： 将RGB图像转换成HSV图像， 然后再对HSV图像进行分离， 分别分离出 H、 S、 V图像。 3.根据权利要求1或2所述的基于深度 学习的七段数码管液晶显示屏识别方法， 其特征 在于， 所述加权平均值的归一 化方法包括： W(a,b)＝(MR*G(a,b)R+MG*G(a,b)G+MB*G(a,b)B)/3 其中W(a,b)表示归一化 后的像素点(a,b)的像素值， MR、 MG、 MB分别表示G(a,b)R、 G(a,b)G、 G (a,b)B的权重值， G(a,b)R、 G(a,b)G、 G(a,b)B分别表示像素点(a,b)中的R、 G、 B三个分量。 4.根据权利要求2所述的基于深度学习的七段数码管液晶显示屏识别方法， 其特征在 于， 所述双边高斯滤波的计算如下： 其中Mm是一个标准 量： 其中EP[J]表示灰度 值J的双边 高斯滤波， Mm为高斯双边滤波的归一化系数， Jm和Jn分别 为需要处理图像中 的像素点坐标分别为m和n对应的灰度值， σr表示在卷积运算中高斯滤波 的图像亮度标准差， σd表示高斯函数的标准差， 为双边滤波器中的空间邻近度函数， 为双边滤波器中的灰度相似度函数； S表示在初始图像中将图像转换到HSV域， 选取S通 道图像进行二 值化得到的图像范围。 5.根据权利要求1所述的基于深度学习的七段数码管液晶显示屏识别方法， 其特征在 于， 所述步骤2包括： 在整个YOLOv3网络中的3个不同位置的3种不同尺度特征图上检测需要的区域， 使用多 个独立的逻辑分类器代替YOLOv3的Sofmax函数， 通过Darknet ‑53网络提取浅层特征， 通过 上采样提取深层特 征， 在通道纬度上进行拼接实现深层特 征与浅层特 征的融合。权　利　要　求　书 1/2 页 2 CN 114519694 A 26.根据权利要求4所述的基于深度学习的七段数码管液晶显示屏识别方法， 其特征在 于， 所述步骤3包括： 按照下式进行腐蚀处 理： 其中Q是点(a,b)通过腐蚀后得到的新值， G表示二值化后的图像， Hab表示结构元素H从 原点移动到点(a,b)处， W为连通域； 当结构元素H从原点移动到(a,b)处时， 如果 则 在腐蚀处 理后将该点 值定义为1， 反之定义为0； 按照下式进行膨胀处 理： 其中Q′是点(a,b)通过膨胀后得到的新值， G ′表示腐蚀后的二值图像， H ′ab表示结构元 素H′从原点移动到点(a,b)处， W ′为连通域； 如果H ′与W′有交集， 则膨胀后将该点值定义为 1， 反之定义为0。 7.根据权利要求1所述的基于深度学习的七段数码管液晶显示屏识别方法， 其特征在 于， 所述步骤4包括： 步骤4.1： 计算出图像中所有像素点的阈值即灰度值， 然后再计算出全局阈值， 如果某 一像素点的阈值与全局阈值相 差数值大， 直接使用全局阈值对该点进行二值化， 反之利用 局部阈值分割的方法对该点进行二 值化； 步骤4.2： 阈值分割后， 再遍历感兴趣区域中的轮廓， 去掉 面积小于固定值的轮廓； 步骤4.3： 进行水平投影分割， 选出感兴趣区域所在的位置， 再对选出的位置进行垂直 投影分割， 将各 数字分割为单个图片； 步骤4.4： 判断识别出的数字是否是1和8， 若否将垂线个数相同的数字放在一起， 再按 照穿线法、 通过位置和垂线个数判断出 所识别的数字 。 8.一种基于深度学习的七段 数码管液晶显示屏识别系统， 其特 征在于， 包括： 预处理模块， 用于采用加权平均值的归一化方法将图像转换成255个灰度值表示的单 通道灰度图像， 然后通过双边高斯滤波对图像进行降噪， 并通过固定阈值二值化增加图像 前景和背景信息的区分度； 特征提取模块， 用于对预处理模块处理后的图像使用YOLOv3进行液晶显示屏的区域定 位； YOLOv3通过Dar knet‑53网络提取浅层特征， 通过上采样分离深层特征， 并将提取的深层 特征和浅层特 征进行融合； 腐蚀、 膨胀处理模块， 用于对二值化后的图像进行腐蚀处理， 使目标区域即感兴趣区域 更加突出； 再进行图形膨胀处理， 消除每段数码管之间的空白区域， 填补数字之 间的空洞区 域； 数字识别模块， 用于采用阈值分割方法， 将腐蚀、 膨胀处理模块处理后的图像不同位置 对应不同灰度值， 将目标区域与背景区域即不感兴趣区域转换成两个不同的灰度级， 依 次 完成目标区域的分离提取； 然后再用投影法将各数字分割为单独的图片； 最后使用穿线法 识别出每 个数字， 然后拼接在一 起。权　利　要　求　书 2/2 页 3 CN 114519694 A 3