(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210691592.0 (22)申请日 2022.06.17 (71)申请人 中国计量大 学 地址 310018 浙江省杭州市钱塘区下沙学 源街258号 (72)发明人 陈彬彬　王修晖　王亚茹　李学盛　 贾波　包其富　 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/04(2012.01)G06Q 50/08(2012.01) (54)发明名称 一种基于YOLO的深度学习的工业现场生产 工作区域的违规检测方法 (57)摘要 本发明公开了一种基于YOLO的深度学习的 工业现场生产工作区域的违规检测方法， 搭建图 像采集系统， 收集训练样本， 再通过数据增强将 数据集扩充并进行人工标注， 建立工业现场生产 工作区域违规行为数据集； 基于YOLO的深度学习 的方法， 根据工地现场违规行为数据集的特点， 提出全新的自适应注意力结构嵌入模型(ASAM) 和增强特征提取的网络模块GFPN， 并且使用 alpha‑iou Loss优化Loss函数， 使用diou ‑NMS替 代传统的NMS， 最终得到一个新的YOL O网络模型； 利用数据集对改进后的YOL O网络模型进行训练， 得到能够精确检测是否具有违规行为(工业现场 生产工作区域未佩戴安全帽、 抽烟等行为)的网 络模型； 利用训练得到的网络模型， 实现对工业 现场生产工作区域的违规行为进行检测。 本发明 能够有效地提高工业现场生产工作区域违规行 为检测的精度， 具有广阔的应用前 景。 权利要求书2页 说明书4页 附图1页 CN 114913606 A 2022.08.16 CN 114913606 A 1.一种基于YOLO的深度 学习的工业现场生产工作区域的违规检测方法， 其特征在于步 骤如下： 步骤一： 搭建工业现场生产工作区域违规检测系统， 建立违规行为数据集； (1)工业现场生产工作区域违规行为图像的收集， 收集大量工现场违规行为图像作为 训练图像， 得到若干个施工现场违规行为图像训练样本； (2)通过数据增强将数据集扩充， 再通过标记软件对施工现场违规行为图像进行具体 位置的标记； 步骤二： 基于深度 学习的方法， 根据工业现场 生产工作区域违规行为数据集， 提出全新 的自适应注意力结构嵌入模型(ASAM)和增强特征提取的网络模块GFPN， 并且使用alpha ‑ iou Loss优化Loss函数， 使用di ou‑NMS替代传统的NMS， 最终得到一个新的YOLO网络模型。 自适应注意力结构嵌入 模型(ASAM)： 所述自适应自注意力结构嵌入模型(ASAM)， 其网络操作分成两个步骤： 通过自适应平 均池层获得不同尺度的多个上下文特征， 将数据集中的目标自适应地转换成指 定的输出大 小； 再通过空间注意机制为特征图生成空间权重图， 通过权重图， 融合上下文特征， 生成包 含多尺度上下文信息的新特征图， 为了防止传播过程中特征 的丢失， 将新的特征图与自适 应后的特 征图以及原 始高层特 征图相结合， 最终 实现特征融合得到新的特 征图。 该模块中， 输入的特征图Fin， 其长、 宽、 通道 数分为别为H、 W、 C； Fin再分别三次经过自适 应池化(Apg)和上采样(ups)得到三个特征图， 分别为F1、 F2、 F3。 其计算过程如公式(1) ‑(4) 所示。 Fin＝H×W×C    (1) F1＝ups(Avg(Fin)) F2＝ups(Avg(Fin)) F3＝ups(Avg(Fin))    (2)‑(4) 再将F1、 F2做通道拼接操作(cat)得到特征图F4， 再将得到的特征图经过一个3 ×3卷积 (conv1)、 relu激活函数(γ)、 1x1卷积以及sigmoid(σ )激活函数， 最终得到权重wi。 其计算 过程如公式(5)所示。 wi＝σ(conv1(γ(conv3(cat(F1； F2)))))    (5) 最后将特征图F4和上面得到的权重参数wi相乘得到特征图F5， 再将新得到的特征图分 离成两个 通道数均为C的特征图F51和F52， 将F51、 F52、 F3和Fin相加得到新的融合 特征图Fout。 其 计算过程如公式(6) ‑(7)所示。 Fout＝F3+F5[:C]+F5[C:2C]+Fin    (7) 增强特征提取的网络模块GFPN： 其将主干的C3到C5层的特征传递到GFPN作为选定的多尺度特征层； 再特征层通过一层 卷积达到提取显著特征， 减少特征维数 的目的； 其次通过上采样来完成自上而下 的特征融 合， 高层特征通过上采样调整分辨率进而与低层特征信息进行拼接融合； 然后对融合得到 的特征通过一个3 ×3的卷积层以达到消除混叠效应的目的； 再通过最大池化来完成自上而 下的特征融合， 从而调整分辨率， 得到的特征再与高层特征进行再融合， 最终得到3个尺度 不同的输出 特征P3、 P4、 P5。权　利　要　求　书 1/2 页 2 CN 114913606 A 2Loss函数和传统NMS的优化： 为了解决原有Loss函数在回归过程中未考虑Bounding  box的纵横比， 在两个框相交 时， 在水平和垂直方向上收敛慢的问题。 引用了Alpha ‑IoU来替换原本的GIoU指标， 通过调 节α， 自适应地重新加权高或低IoU目标的损失和梯度， 使检测器在实现不同水平的 Bounding  box回归精度方面具有更大的灵活。 无论在干净或嘈杂的环境下， 都不会引入额 外的参数， 也 不增加训练时间。 α ‑IoU的计算公式(8)所示： 在传统NMS中， IoU指标常用于抑制冗余预测边界框检， 由于遮挡情况经常会产生错误 抑制， 因此需要考虑重叠 区域。 DIoU ‑NMS将DIoU作为NMS的准则， 同时考虑了重叠 区域和两 个框的中心 距离。 步骤三： 对于步骤一的工业现场生产工作区域违规行为数据集进行划分， 将其按9:1的 比例分为训练集和测试集， 并对不同分辨率和大小的样本进行平均， 以确保不同大小的图 像能够得到充分的训练和测试。 利用划分后的数据集对加入自适应注意力结构嵌入模型 (ASAM)、 增 强特征提取的网络模块GFPN、 优化Loss函数和传统NMS的YOLO网络模型进行训 练， 得到能够精确检测是否具有违规行为的网络模型； 步骤四： 利用步骤三训练后的YOLO网络模型， 对工业现场生产工作区域进行检测， 从而 实现对违规行为的检测， 具体如下： (1)从工业现场生产工作区域视频监控中获取图像； (2)将图像送入通过训练获得的加入自适应注意力结构嵌入模型(ASAM)、 增强特征提 取的网络模块GFPN、 优化Loss函数和传统NMS的YOLO网络模 型中进行检测分类， 即获得工业 现场生产工作区域违规行为检测结果。权　利　要　求　书 2/2 页 3 CN 114913606 A 3