(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111633725.0 (22)申请日 2021.12.2 9 (71)申请人 淮阴工学院 地址 223005 江苏省淮安市经济开发区枚 乘路1号 (72)发明人 张青春　吴峥　周玲　姚胜　 刘晓洋　蒋方呈　王文聘　 (74)专利代理 机构 淮安市科文知识产权事务所 32223 专利代理师 邹文玉 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 20/56(2022.01)G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于YOLOv5的无人车辆搭载摄像头目 标检测方法 (57)摘要 本发明公开了一种基于YOLOv5的无人车辆 搭载摄像头目标检测方法,包括无人车本体， 以 及安装在无人车本体前端的摄像头； 所述的摄像 头采集图片， 将图片进行分类预处理后， 再将预 处理过的图片放入到YOLOv5网络模型中进行训 练处理， 训练过程中模型会对训练集中的图像特 征点进行提取， 经过多次迭代， 可 以得到训练完 成的检测模型文件， 检测模型文件为.pt 格式； 处 理后得到的最优异的文件检测模型部署到嵌入 式等设备并应用。 本发明在训练时能够提取更多 的特征信息， 大大加强了YOLO算法对于隐蔽性强 的目标的提取性能， 有效地提升了识别准确率， 训练效果较好， 漏检率较低。 权利要求书2页 说明书6页 附图3页 CN 114548363 A 2022.05.27 CN 114548363 A 1.一种基于YOLOv5的无人车辆搭载摄像头目标检测方法,包括无人车本体， 以及安装 在无人车本体前端的摄像头； 所述的摄像头采集图片， 将图片放入到YOLO网络模型中进行 训练处理， 处理后得到的best.pt检测模 型部署到嵌入式等设备并应用； 具体的操作步骤如 下： 步骤1： 将摄像头安装在车辆的顶部或者前端便于摄像头能拍摄到车辆前侧图像的位 置； 在车辆行驶过程中， 摄 像头采集视频流信息， 获取 车辆行驶过程中的图像； 步骤2： 对于步骤1采集到的视频流信 息， 进行关键帧截取， 将截取出来的图像进行分类 预处理； 划分为用于训练的预训练图像数据集、 用于验证的验证图像数据集以及用于测试 的测试图像数据集； 对于图像的预处理包括图像有效性的检测， 删除模糊、 特征点不明显的图像， 还包括对 于选出的有效图像进 行检测目标的打标签操作， 通过对图像数据集的打标签生成多个待检 测图像的txt标签文件， 标签文件中包括图像数据集各个类别的待检测目标的坐标位置信 息； 步骤3： 搭建YOLO网络训练模型， 对YOLO网络训练模型中的参数进行设定， 将步骤2中预 处理后的图像用于参数设定完整的Y OLO训练； 训练过程中模型会对训练集中的图像特征点 进行提取， 经 过多次迭代， 可以得到训练完成的检测模型文件， 检测模型文件为.pt格式； 步骤4： 经过步骤3的网络模型训练， 可得到最优训练结果权重文件和最后训练结果权 重文件， 其中最优训练结果权重文件表示在训练过程中表现最优异的检测模型， 最后训练 结果权重文件表示整个训练过程的最后一次训练的检测模型； 对训练产生的模型文件进 行 分析， 查看模型训练是否发生过拟合或者欠拟合现象， 若发生过拟合或欠拟合现象， 根据实 验结果调整训练次数和超参数， 得到合理的检测模型； 步骤5： 将步骤4中训练得到的最优训练结果权重文件检测模型部署到嵌入式等设备并 应用。 2.根据权利要求1所述的一种基于YOLOv5的无人车辆搭载摄像头目标检测方法， 其特 征在于： 步骤2所述的进行关键帧截取 的具体方式为： 将步骤1中采集到的视频影像数据进 行关键帧抽取， 每隔5帧抽取一帧作为数据集中的一张图片。 3.根据权利要求1所述的一种基于YOLOv5的无人车辆搭载摄像头目标检测方法， 其特 征在于： 步骤2所述的对图像进 行分类预处理的具体操作方式为： 先将所有抽取出来的图片 进行整理， 删除一部分不满足训练要求的图片， 对无效图片、 模糊、 与目的无关的图片进行 删除处理； 其次， 将经过删选操作后剩下的图片进行整理， 按照7： 2:1的比例分为三份分别作 为用 于模型训练的训练集、 用于模型验证的验证集、 用于测试模型的测试集； 最后， 利用LabelImg标签工具对训练集、 验证集进行待检测目标的标签处理； 在 LabelImg对训练集、 验证集和测试集的全部图片标签处理结束后， 将LabelImg生 成txt标签 文件。 4.根据权利要求3所述的一种基于YOLOv5的无人车辆搭载摄像头目标检测方法， 其特 征在于： 所述的YOLO网络训练模型在Pytorch环境下搭建， 将步骤2中所得到训练集、 验证 集、 测试集路径添加至模型配置文件中， 并在YOLO网络训练模型中设置相应参数。 5.根据权利要求4所述的一种基于YOLOv5的无人车辆搭载摄像头目标检测方法， 其特权　利　要　求　书 1/2 页 2 CN 114548363 A 2征在于： 所述的YOLO网络训练模 型重要训练参数设置如下： 训练轮次为300， 批尺 寸为32， 初 始学习率为0.01， 余弦退火超参数为0.1， 学习率动量为0.921， 权重衰减系数为0.0004； 经 过参数的设置， 对改进后的YOLOv5网络模型进行 学习训练。 6.根据权利要求5所述的一种基于YOLOv5的无人车辆搭载摄像头目标检测方法， 其特 征在于： 所述YOLOv5网络模型的改进方式为在不同尺寸的特征图后添加注意力模块， 即在 原始YOLOv5网络模 型的第五、 七、 九层的输出端 添加注意力模块， 使 得特征图的深度加权平 均， 提升网络模 型的精度； 并将原始Y OLOv5网络模 型中的结构残差+卷积模块以及卷积层 模 块用分阶段的卷积 计算模块替代； 其中第三层残差+卷积模块用步长为 1的分阶段的卷积 计 算模块替代； 第四层卷积层以及第六层卷积层用步长为2的分阶段的卷积 计算模块替代， 对 数据进行降维处理， 减少Y OLOv5中学习过程中的参数数量； 第五层的残差+卷积模块以及第 七层的残差+卷积模块用3个步长为1的分阶段的卷积计算模块替换； 改进后的YOLOv5网络 模型还包括提取特征骨干网络， S PP模块和特 征融合模块。 7.根据权利要求6所述的一种基于YOLOv5的无人车辆搭载摄像头目标检测方法， 其特 征在于： 所述的提取特征骨干网络： 特征提取网络选用分阶段的卷积计算模块网络结构， 分 阶段的卷积 计算模块网络结构类似于ResNet中的基本残差块； 由两个 Ghost模块构成， 第一 个Ghost模块主要是为了增加通道数， 用来作为扩展层； 第二个 Ghost模块用于减少通道数， 保证通道数匹配； 在该网络结构中， 特征图经过Ghost  Module进 行两步卷积， 第一次卷积的 输出作为第二次卷积的输入， 将两次卷积的结果串联输出， 在此过程中添加注意力模块来 更好的辅助网络进行 特征点提取。 8.根据权利要求6所述的一种基于YOLOv5的无人车辆搭载摄像头目标检测方法， 其特 征在于： 所述的SPP模块： 该模块分别采用5*5、 9*9、 13*13的最大池化层， 对输入的特征图进 行池化处 理， 将经过最大池化处 理后的输出进行拼接融合， 提升感受野。 9.根据权利要求6所述的一种基于YOLOv5的无人车辆搭载摄像头目标检测方法， 其特 征在于： 所述的特征融合模块： 该模块包括按照数据流向的分阶段的卷积 计算模块层、 深度 卷积层、 第一上采样层、 第一拼接层、 深度卷积层、 分阶段的卷积计算模块层、 深度卷积层、 第二上采样层、 第二拼接层、 深度卷积层、 分阶段的卷积 计算模块层、 深度卷积层、 第三拼接 层、 分阶段的卷积计算模块层、 深度卷积层、 第四拼接层以及分阶段的卷积计算模块层。权　利　要　求　书 2/2 页 3 CN 114548363 A 3