(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210963229.X (22)申请日 2022.08.11 (71)申请人 江西省水利科 学院 地址 330029 江西省南昌市北京东路10 38 号 申请人 南昌工程学院 (72)发明人 许小华　包学才　王海菁　陈豹　 张秀平　 (74)专利代理 机构 南昌丰择知识产权代理事务 所(普通合伙) 36137 专利代理师 张荣 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/762(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向边缘计算的河面采砂船及过往船 只识别方法 (57)摘要 本发明公开了一种面向边缘计算的河面采 砂船及过往船只识别方法， 该方法提出使用K ‑ means聚类算法生成河面船只数据集的先验框， 并改进YOLOv4 ‑tiny主干网络， 将基本卷积层激 活函数改为SiLU激活函数， 形成新的主干特征提 取网络， 并输出两种不同尺度的特征图； 在加强 特征融合网络中加入SE注意力机制模块， 并在 FPN层后面加入自上而下的连接， 形成PANet网络 结构。 本发 明通过在其原来的基本卷积块中加入 SiLU激活函数对主干网络进行调整， 有利于训练 模型更好的收敛； 整个模型可用于对复杂场景下 河面过往不同类型船只识别任务的优化， 识别精 度优于传统模型。 权利要求书2页 说明书6页 附图3页 CN 115082872 A 2022.09.20 CN 115082872 A 1.一种面向边 缘计算的河面采砂船及过往船只识别方法， 其特 征在于， 包括以下步骤： S1、 船舶图像数据集的收集与制作： 收集部署在江面岸边摄像头拍摄的过往的不同类 别的船只图片， 通过人工方式对船只数据集进行整理， 从 中筛选出画 面清晰、 易于 分辨的符 合要求的船只图片， 对船只图像数据进 行标注， 结合 公开船只数据集形成总的VOC格式的数 据集； S2、 船只图像的预处理： 利用数据增广的技术增加训练的船只数据量， 提高YOLOv4 ‑ tiny模型的泛化能力； 同时通过增 加噪声数据的方式， 提升 YOLOv4‑tiny模型的鲁棒 性； S3、 先验框的生成： 利用K ‑Means聚类算法根据自制的船只目标检测数据集标签数据 生 成适用于特定船只数据集情形 下的6个不同大小尺寸的先验框， 用于提高目标检测精度； S4、 改进网络 的搭建： 搭建基于改进YOLOv4 ‑tiny的河道采砂船及过往船只检测模型， 将YOLOv4 ‑tiny主干网络中的基本卷积层中的LeakyReLU激活函数替换为SiLU激活函数， 组 成CBS卷积模块， 形成新的主干特征提取网络； 新的主干特征提取网络输出两种不同尺度的 特征图； 分别在YOLOv4 ‑tiny的主干网络的两个输出fea1和fea2后以及加强特征融合网络 的上采样层和下采样层后加入S E注意力机制模块， S E注意力机制模块会关注 通道之间的关 系， 模型可以自动学习到不同通道特征的重要程度； 在FPN层后面加入自上而下的连接， 形 成PANet网络结构； 两种 不同尺度的特征图分别通过各自对应的YOLOHead卷积块处理后进 入船只分类预测、 船只置信度预测 和船只位置信息的预测； S5、 改进YOLOv4 ‑tiny模型的训练： 利用训练集对船只识别模型进行训练， 使用验证集 验证训练效果， 更新权 重， 获取最优检测模型； S6、 目标检测识别： 利用训练好的改进YOLOv4 ‑tiny模型对河面上的采砂 船及过往船只 进行检测， 判断是否有船只， 如果有船只则标记出船只的类别、 位置大小和置信度； 对测试 集的检测结果进行检测精度和实时性评价， 评价指标包括mAP和FP S。 2.如权利要求1所述的一种面向边缘计算的河面采砂船及过往船只识别方法， 其特征 在于， 步骤S1具体过程如下： S1‑1、 通过收集部署在江面岸边摄像头拍摄的过往的不同类别的船只图片， 包括采砂 船、 运砂船、 客船、 普通货船、 渔船、 集装箱船、 散装货船七个不同分类的船只， 通过人工方式 对船只数据集进行整理， 从中筛选出具有所需船舶目标且目标清晰、 目标大小适中 以及目 标较为完整的图片， 图片分为1920*1080和1440*900两种分辨率大小， 对选取的图片进行编 号， 利用图片数据标记工具LabelImg标注船体目标， 结合公开船只数据集形成总的VOC格式 的数据集； S1‑2、 利用数据标记工具L abelImg对船只图片进行标记生成格式为XML的标记文件,此 XML文件包含了数据集名称、 图片的名称、 存储路径、 来源、 尺 寸、 宽度和高度、 色彩通道数还 有所标注物体的类别、 拍摄角度、 是否被裁 剪、 是否容 易被识别、 物体的b box关键信息 。 3.如权利要求1所述的一种面向边缘计算的河面采砂船及过往船只识别方法， 其特征 在于， 步骤S4具体过程如下： 用YOLOv4 ‑tiny主干特征网络提取传入网络图片的特征， 并输出两个大小分别为 feat1: （26， 2 6， 256） 和feat2: （13， 13， 512） 的有效特征层， 传入加强特征提取网络当中进行 PANet的构建； 在YOLOv4 ‑tiny的FPN结构之后， 加入PANet结构， 具体的， 将 大小为 （26， 26， 384） 的特征权　利　要　求　书 1/2 页 2 CN 115082872 A 2图经过一层输入通道数为384， 输出通道数为256， 卷积核大小为3*3， 步长为2的卷积层 进行 下采样的处 理， 以减小特 征图的大小， 输出 大小为 （13， 13， 25 6） 的特征图； YOLOv4‑tiny主干特征提取网络的另一个输出feat2 （13， 13， 512） 经过一个卷积操作得 到大小为 （13， 13， 256） 特征图， 此特征图与上一步下采样得到的 （13， 13， 256） 的特征图进行 通道维度的拼接操作， 可以融合两个不同尺度的特征， 得到大小为 （13， 13， 512） 的特征图， 此特征图经过一个输入通道数为512， 输出通道数256， 卷积核大小为1*1， 步长为1的卷积层 进行通道数的调整， 得到大小为 （13， 13， 256） 的特征图， 然后再经过YOLOHead的处理得到最 终的输出 结果。 4.如权利要求1所述的一种面向边缘计算的河面采砂船及过往船只识别方法， 其特征 在于， 步骤S5具体过程如下： S5‑1、 将船只图片文件放到项目中的JPEGImages文件夹中； 将对应 的标签文件放到项 目中的Annotat ion文件夹中， 作为数据集训练模 型； 生成包含图片名称索引的文件； 训练时 按照9： 1的比例划分训练验证集和测试集， 在训练验证集中按照9： 1的比例划分训练集和验 证集； 其中， 训练集的作用是用来拟合模型， 通过设置分类与回归器的参数， 训练分类与回 归模型， 后续结合验证集作用时， 会选出同一参数的不同取值， 拟合出多个分类回归器； 验 证集的作用是找出效果最佳的模型， 使用通过训练集训练出各个模型对验证集数据进 行检 测， 并记录模型准确率， 选出效果最佳的模型所对应的参数， 即用来调整模型参数； 测试集 的作用是对通过训练集和验证集得出最优模型进 行模型的预测， 衡量该最优模型的性能和 分类能力， 即把测试集当做从来不存在的数据集， 当已经确定模型参数后， 使用测试集进 行 模型性能评价； S5‑2、 生成包含船只图片中船只的分类及位置的文本文件， 用于训练模型； 其中 classes变量存放船只类别， 一共有七个分类， 其中sand  dredger代表采砂船， ore  carrier 代表运砂船， passenger  ship代表客船， general  cargo ship代表普通货船， fi shing boat 代表渔船， bulk cargo carrier代表散装货船， co ntainer ship代表集装箱船； S5‑3、 利用训练集对所述基于改进YOLOv4 ‑tiny的模型进行训练， 用验证集评估训练效 果， 进行反向传播更新 参数以使损失函数降低到最小值， 获取最优检测模型。权　利　要　求　书 2/2 页 3 CN 115082872 A 3