(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211021205.9 (22)申请日 2022.08.24 (71)申请人 江西山水光电科技股份有限公司 地址 332005 江西省九江市濂溪区生态工 业城安平路1010号 (72)发明人 顾磊　肖光伟　沈李峰　 (74)专利代理 机构 武汉华旭知识产权事务所 42214 专利代理师 刘荣　周宗贵 (51)Int.Cl. G06V 20/62(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度神经网络的目标检测车牌识 别方法 (57)摘要 本发明涉及一种基于深度神经网络的目标 检测车牌识别方法， 属于车牌识别领域。 本发明 通过改进后在嵌入环境下实时运行的YOLO卷积 神经网络模 型来做样本的训练， 对 特征提取网络 模型进行改进， 在增加卷积层深度同时为满足车 牌识别特定场景需求， 以K ‑Mean聚类算法求解目 标样本BOX高宽大小， 并作为预测6类先验框 AnchorBox大小， 以满足实时性以及准确性要 求， 采用一种多输出卷积神经网络进行车牌的矫正 与类型分类， 采用矫正之后的端到端模型进行车 牌的识别， 结合各类样本数据进行车牌的识别。 本发明能够对通过神经网络训练， 解决了现有传 统方式因为复杂环境与光照等导致车牌定位、 识 别率大幅降低的问题， 极大提升车牌识别率。 权利要求书2页 说明书5页 附图3页 CN 115410184 A 2022.11.29 CN 115410184 A 1.一种基于深度神经网络的目标检测车牌识别方法， 其特 征在于至少包括以下步骤： (1)车牌图像采集： 通过摄像头对待检测区域内的车辆车牌图像信息进行采集， 将所采 集到的车牌图像信息上传至服 务器中； (2)图像预处理： 服务器通过高斯模糊将所采集到的车牌图像信息进行平滑处理， 将高 分辨率图像的热点信息分割存储在服务器中， 其中热点信息为实际车牌区域范围， 将热点 信息集合为样本训练集T， 并将 样本训练集T存 储在服务器中； (3)定位预处理： 服务器通过K ‑Mean聚类算法对样本训练集T进行聚类计算， 求解出的 AnchorBox作为用于车牌定位的先验框； (4)改进YOLO ‑TINY模型： 建立至少包括由CBL、 CSP、 Conv和MaxPooling组成的YOLO ‑ TINY模型， 在原YOLO ‑TINY模型的基础上进一步增加卷积层的数量， 以原有YOLO ‑TINY模型 中Conv12、 Conv13、 Conv24和Conv15为基础， 在其后方增加3*3的卷积层， 同时增加4层卷积 用于平衡YOLO模型的精度与性能； (5)车牌区域完整图像定位： 通过YOLO ‑TINY模型对车牌图像信息进行目标检测推理， 即通过计算IOU交并比预测车牌图像的实际位置信息概率， 将目标检测推理后的结果根据 概率进行筛选， 去除概率低于预设阈值的车牌图像， 对剩余车牌图像进 行非极大值抑制， 去 除冗余候选区域， 只保留极大值车牌区域， 获取 车牌区域完整图像； (6)车牌矫正分类： 对得到的车牌区域完整图像信 息进行四个角点的投影变换， 采用多 输出通道在回归角点数据时对车牌类型分类， 其中采取3通道固定大小为输入， 经过3*3卷 积层与池化层后， 再经过N次相同的b lock块进行操作， N为常数， 每个block块为两个3*3卷 积层连接一个Pooling层， block块后 方设有采用MSE均方误差做LOSS函数回归角点的全连 接层A， 和使用softmax为分类， 二分交叉熵做LOSS函数的全连接层B， 得到校正后的车牌图 像信息； (7)车牌识别： 通过自定义多输出通道CNN卷积神经网络对校正后的车牌图像信息进行 端到端的识别， 结合校正后的车牌图像信息进行车牌识别， 根据蓝牌、 黄牌与新能源车牌输 出不同采用不同样本数据训练， 以实现高识别率效果。 2.根据权利要求1所述的基于深度神经网络的目标检测车牌识别方法， 其特征在于： 在 步骤(2)中， 所述高斯模糊为选择3*3卷积核将图像进行平滑处理， 高分辨率图像的热点部 分为宽高为6 00*600像素的实际车牌区域范围。 3.根据权利要求1所述的基于深度神经网络的目标检测车牌识别方法， 其特征在于： 步 骤(3)中的AnchorBox为根据训练集求解出的6类不同高宽比的用来产生目标区域的候选 框， 候选框的高宽比为1:4。 4.根据权利要求1所述的基于深度神经网络的目标检测车牌识别方法， 其特征在于： 在 步骤(4)训练YOLO ‑TINY模型中， 针对不同颜色类型车牌信息， 设置类型格式为{k,x,y,w,h} 的标签数据， 其中利用x和y表示样本坐标左上角点相 对图像位置， w和 h分别表示目标的宽 和高， k为数据种类。 5.根据权利要求1所述的基于深度神经网络的目标检测车牌识别方法， 其特征在于： 在 步骤(6)中车牌矫正时样本标注所采用的格式数据为{P_x1#y1#x2#y2#x3#y3#x4#y4_Q}， 以符 号_分割， 第一位是车牌类型P， 根据车牌为蓝牌、 黄牌或新能源的类型分别 赋值为0、 1或2； 第二位为以车牌左上角为起始坐标， 按顺时针依 次定位的四个车牌实际角点坐标， 坐标之权　利　要　求　书 1/2 页 2 CN 115410184 A 2间以符号#进 行分割， 实际角点坐标的数值为在平面内相距左上角的像素偏移 量； 第三位为 文件名称Q， Q按照车牌图像信息的顺序进行 赋值。 6.根据权利要求1所述的基于深度神经网络的目标检测车牌识别方法， 其特征在于： 在 步骤(4)中的改进YOLO ‑TINY模型中去除原有YOLO ‑TINY模型的SPP和PANET多尺度融合特征 计算层， 提升 速度的同时降低了精度mAP。 7.根据权利要求1所述的基于深度神经网络的目标检测车牌识别方法， 其特征在于： 在 步骤(4)中的模型输入车牌图像信息后， 通过两层CBL后， 再经过三层的CSP、 Conv和 MaxPooling处理， 其中一部分车牌图像信息在进行第三层的Conv处理后直接通过Concat处 理， 再通过CBL和Conv进行处理， 另一部分车牌图像信息经过第三层的MaxPooling处理后， 通过两层CBL分成两部分， 其中一部分通过CBL和Upsampling处理后进入Concat处理， 再通 过CBL和Co nv进行处 理， 另一部分直接通过CBL和Co nv进行处 理。 8.根据权利要求1所述的基于深度神经网络的目标检测车牌识别方法， 其特征在于： 在 步骤(4)中的CBL为由Conv、 BN和LeakRelu组成， CSP由三层CBL叠加一层Conc at后再叠加一 层CBL和一层Co ncat组成。权　利　要　求　书 2/2 页 3 CN 115410184 A 3