(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210007083.1 (22)申请日 2022.01.05 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市雁塔区太白南 路2号 申请人 陕西理工大 学 (72)发明人 王立哲　王兰美　周琨　王桂宝　 廖桂生　孙长征　 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种改进的非极大值抑制YOLOv4交通标志 识别定位方法 (57)摘要 本发明提出了一种改进的非极大值抑制 YOLOv4交通标志识别定位方法， 解决标准YOL Ov4 算法非极大值抑制(NMS)人为设定阈值和遇到被 检测物体在同一区域内高度重叠时无法区分的 问题； 首先下载通用数据集tt100k数据集与LISA 数据集， 并进行数据增强； 其次使用标准YOLOv4 网络对两个增强后的数据集进行训练， 检测其性 能； 然后针对现有标准YOLOv4算法中NMS的缺点 提出改进版NMS算法， 并将其嵌入YOLOv4模型进 行训练； 最后对比标准YOLOv4算法， 分析测试结 果； 本发明提出的基于NMS改进的YOL Ov4算法， 引 入分数重置的思想， 综合考虑重叠度与置信度得 分后， 得到了合适的函数作为NMS改进的核心； 改 进后的NMS算法更适合于检测区域中有多个检测 目标重叠的情况， 且鲁棒性较好， 可用于多个数 据集的性能提升 。 权利要求书5页 说明书11页 附图7页 CN 114419584 A 2022.04.29 CN 114419584 A 1.一种改进的非极大值抑制YOLOv4交通标志 识别定位方法， 其特 征如下： 步骤一、 下载当前目标检测领域通用数据集tt100k数据集与LISA数据集， 使用这两个 数据集可保证算法检测效果与该领域公开的通用数据集保持一致， 验证算法实际效果； 对 下载的数据进 行增强， 包括翻转、 裁剪、 加噪、 旋转操作； 增强后生成的数据不仅可以增加数 据集包含的图片数量， 且因为增强后的图像与数据集中的原始图像相比更复杂， 在保留原 始图像特征点的情况下对图片风格、 大小进 行了改变， 图像的模糊程度增加， 使增强后的图 像更具多样性， 与实际情况更接近， 可以提升训练后网络的鲁棒性； tt100k数据集的下载地 址是： http： //cg.cs.tsinghua.edu.cn/traffic ‑sign/； LISA数据集的下载地址是： http： //cvrr.ucsd.edu/L ISA/lisa‑traffic‑sign‑dataset.html； 步骤二、 使用标准YOLOv4网络训练与检测交通标志； 使用标准YOLOv4网络对基于步骤 一的两个数据集分别进行训练， 下载标准YOLOv4网络并进行编译， 标准YOLOv4网络下载地 址： https： //git hub.com/AlexeyAB/darknet， 为两个交通标志数据集tt100k与LISA分别更 改cfg文件夹中tt100k.data与LISA.data文件中的训练集、 验证集、 测试集目录为下载数据 集的地址， 并指定类别数量与类别名称； 根据 精度要求设定epoch＝20000， 根据本次实验 数 据集加载tt100k.data或LISA.data， 同时加载yolov4.cfg， 程序即可开始训练， 训练过程中 使用标准YOLOv4网络的非极大值抑制(Non  Maximum Suppression， NMS)； 保存训练过程中 各层的权重文件Q1， 作为训练结束后检测的权值输入文件； 利用权重文件Q1进行测试， 得到 mAP与Recall； 对得到的mAP、 Recall与检测结果进行分析， 发现原版NMS在没有进行设置的 情况下检测高度重 叠的物体容 易将属于另一目标的预测框删除， 导 致漏检错检的情况； 步骤三、 针对当前NMS算法需要人为设定阈值， 难以平衡、 检测物体高度重叠时易将属 于另一目标的预测框删除导致漏检的问题， 提出基于Soft ‑NMS的改进算法用于完成YOLOv4 预测框的筛选任务； 引入分数重置的思想， 降低重叠度较大的预测框的置信度得分， 达到抑 制重复预测框输出的目的； 基于此方法， 当待处理预测框与基准预测框有 大部分重叠时， 该 框将有很低的置信度得分； 相反， 若仅有小部 分重叠， 则它原有置信度得分不会受到太大影 响； 将替换非极大值抑制改进算法 的YOLOv4网络使用步骤一中的两个数据集进行训练， 得 到权重文件Q2； 利用权重文件Q2进行测试， 得到mAP与Recal l； 步骤四、 将步骤三与步骤二得到 的mAP与Recall进行对比， 同时查看替换改进NMS算法 的YOLOv4对数据集中图片的检测结果， 与标准NMS检测的同一张图片进行对比， 分析测试结 果。 2.根据权利要求书1所述的一种基于NMS改进 的YOLOv4算法， 步骤一： 下载当前目标检 测领域通用数据集tt100k数据集与LISA数据集， 使用这两个数据集可保证算法检测效果与 该领域公开的通用数据集保持一致， 验证算法实际效果； 对下载的数据进行增强， 包括翻 转、 裁剪、 加噪、 旋转操作； 增强后生成的数据不仅可以增加数据集包含的图片数量， 且因为 增强后的图像与数据集中的原始图像相比更复杂， 在保留原始图像特征点的情况下对图片 风格、 大小进行了改变、 图像的模糊程度增加， 使增强后的图像更具多样性， 与实际情况更 接近， 可以提升训练后网络的鲁棒性； tt100k数据集的下载地址是： http： // cg.cs.tsinghua.edu.cn/traffic ‑sign/； LISA数据集的下载地址是： http： // cvrr.ucsd.edu/L ISA/lisa‑traffic‑sign‑dataset.html； tt100k的全称是Tsinghua ‑Tencent 100K， 是清华 ‑腾讯互联网创新技术联合实验室提权　利　要　求　书 1/5 页 2 CN 114419584 A 2供的一个可用来识别的道路交通标志通用数据集； TT100K数据集中图像的分辨率为2048 × 2048， 共有221种标志类别， 大体分为三类： 警告标志、 禁令标志和指示标志； 该数据集覆盖 了不同天气条件和不同光照下的交通标志图像， 其中训练集包含6105张图像， 测试集包含 3071张图像； 由于原始图像分辨率较大， 因此在本文实验中对原图像进 行了裁剪处理， 裁剪 后的图像尺度为608 ×608； 由于数据集中各个类别之间的数据量存在严重不平衡的问题， 因此本文实验只选择了标注数据量较多的45类交通标志进行识别， 并将测试集、 验证集与 训练集按照6∶2 ∶2的比例划分， 对每张图像进行翻转、 裁 剪、 加噪、 旋转操作； LISA的全称是Laboratory  for Intelligent&Safe  Automobiles， 是由美国LISA实验 室提供的一个可用来识别的道路交通标志通用数据集； 通过驾驶车辆拍摄视频， 从视频中 提取带有交通标志的某一片段， 再依据此片段最多提取30帧， 对每一帧的视频图片进行标 注； 每一个交通标志的标注包含Tag、 Position、 Occlude d、 On side rode四部分信 息； 采集 图片的过程是在视频中提取的， 车辆行驶过程有一定速度而非静止， 因此出现模糊， 也使得 基于该数据集的交通标志识别算法对真实场景的适用性更强； 美国LISA数据集中包含了47 个类别， 但各类别之 间标注数量严重失衡， 因此为保证数据可用性， 本文实验将选取其中四 类标注数量较多的类别进行训练测试； 将测试集、 验证集与训练集按照6∶2∶2的比例划分， 并对每张图像进行翻转、 裁 剪、 加噪、 旋转操作。 3.根据权利要求书1所述的一种基于NMS改进的YOLOv4算法， 步骤二、 使用标准YOLOv4 网络训练与检测交通标志； 使用标准YOLOv4网络对基于步骤一的两个数据集分别进行训 练， 下载标准YOLOv4网络并进行编译， 标准YOLOv4网络下载地址： https： //github.com/ AlexeyAB/darknet， 为两个交通标志数据集tt100k与LISA分别更改cfg文件夹中 tt100k.data与LISA.data文件中的训练集、 验证集、 测试集目录为下载数据集的地址， 并指 定类别数量与类别名称； 根据精度要求设定epoch＝20000， 根据本次实验数据集加载 tt100k.data或LISA.data， 同时加载yolov4.cfg， 程序即可开始训练， 训练过程中使用标准 YOLOv4网络的非极大值抑制； 保存训练过程中各层的权重文件Q1， 作为训练结束后检测的 权值输入文件； 利用权重文件Q1进行测试， 得到mAP与 Recall； 对得到的mAP、 Recall与检测 结果进行分析， 发现原版NMS在没有进行设置的情况下检测高度重叠的物体容易将属于另 一目标的预测框删除