(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210727741.4 (22)申请日 2022.06.22 (71)申请人 安徽省路桥工程 集团有限责任公司 地址 230088 安徽省合肥市自由贸易试验 区合肥片区井岗路68号自主创新产业 基地7栋3层309室 申请人 中国地质大 学 （武汉） (72)发明人 卢军球　汤瑞　郭永刚　代声庆　 凤尔飞　代杰　束庆林　陈卫明　 李长帆　 (74)专利代理 机构 湖北武汉 永嘉专利代理有限 公司 42102 专利代理师 许美红　张宇 (51)Int.Cl. G06V 40/10(2022.01)G06V 40/16(2022.01) G06V 10/22(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于YOLOv5的焊接面罩佩戴识别方法 及系统 (57)摘要 本发明公开了一种基于YOLOv5的焊接面罩 佩戴识别方法及系统， 属于焊接作业行为智能识 别技术领域， 其中， 方法的实现包括： 采集焊接面 罩数据、 人体、 人脸和弧光数据， 标注 类别并制作 数据集； 对YOL Ov5从轻量化模块替换和特征融合 重构两方面进行轻量化改进， 构建得到WMU ‑YOLO 模型， 利用数据集对WMU ‑YOLO模型进行训练； 将 待检测图片输入至WMU ‑YOLO， 依次判断检测到的 人体框与弧光框、 人脸框、 焊接面罩框的相 交情 况是否满足各自设定阈值， 识别焊工在工作时是 否佩戴焊接面罩。 通过本发明能够识别焊工在工 作过程中是否佩戴焊接面罩， 及时进行不安全行 为预警， 为焊工职业卫生管 理提供高效的辅助手 段。 权利要求书2页 说明书7页 附图3页 CN 115050052 A 2022.09.13 CN 115050052 A 1.一种基于 YOLOv5的焊接面 罩佩戴识别方法， 其特 征在于， 包括： (1)采集焊接面 罩数据、 人体、 人脸和弧光数据， 标注类别并制作数据集； (2)对YOLOv5从轻量化模块替换和特征融合重构两方面进行轻量化改进， 构建得到 WMU‑YOLO模型， 利用数据集对WMU ‑YOLO模型进行训练； (3)将待检测图片输入至WMU ‑YOLO， 依次判断检测到的人体框与 弧光框、 人脸框、 焊接 面罩框的相交情况 是否满足各自设定阈值， 识别焊工在工作时是否佩戴焊接面 罩。 2.根据权利要求1所述的方法， 其特 征在于， 步骤(2)包括： 以YOLOv5s为基准模型， 在YOLOv5的结构中， 将Backbone和Neck中所有的Conv模块替换 为Ghost‑Conv模块， 将部分C3模块替换为Ghost ‑C3模块， 将Neck的特征融合方式由拼接替 换为Bi‑FPN中的快速归一化融合方法， 并添加一个额外的跨层级特征信息融合路径， 构建 得到WMU‑YOLO模型， 利用数据集对WMU ‑YOLO进行训练， Ghost ‑Conv模块结构中， 产生Ghost 特征的线性操作为深度卷积； Ghost ‑C3模块在Bottleneck中添加深度卷积模块和Ghost ‑ Conv模块。 3.根据权利要求1或2所述的方法， 其特 征在于， 步骤(1)包括： 采集能够涵盖焊接场景、 作业类型和目标尺度变化的焊接面罩数据和弧光数据， 其中， 焊接面罩数据包括头戴式和手持式， 对于手持式焊接面罩， 只有当焊工将整个脸部遮住才 将其进行标记， 弧光数据收集与焊接面罩收集同步进行， 在焊枪焊条或焊丝与被焊器件的 接触区域以小段多标的方式对焊接弧光进行 标记； 从焊接图像和行人公共数据 集CrowdHuman采集人体和人脸数据， 在标记焊接面罩和弧 光数据的同时， 对图像中出现的焊工及人脸进行标注， 焊工的焊接姿势涉及到蹲姿、 坐姿、 躺姿和站姿； 按照比例将图像和标注文件制作成数据集。 4.根据权利要求3所述的方法， 其特 征在于， 步骤(3)包括： 将待检测图片输入至WMU ‑YOLO模型中， 运行得到待检测图片中焊接面罩、 弧光、 人体和 人脸的目标位置、 目标置信度和目标类别； 以φ(X,Y)为边界框X和Y之间的相交面积与 边界框Y的面积之比， 设定阈值α， 当人体框 与弧光框之间的相交情况φ小于等于α， 则认为人体框对应的焊工未 处于焊接环境， 此时过 滤掉与该人体框相交的其他框， 否则， 判断人体框对应的焊工正从事焊接作业， 进一步识别 人体框对应的焊工是否佩戴焊接面 罩； 判断人体框与人脸框之间的相交情况φ是否满足设定阈值β， 若小于等于设定阈值β， 则进一步判断是否佩戴焊接面罩， 否则， 过滤掉与该人体框相交的其他框， 表 示人体框对应 的焊工脸部暴露在焊接环境中且未佩戴焊接面 罩； 判断人体框和焊接面罩框的相交情况φ是否满足设定阈值γ， 若大于设定阈值γ， 则 过滤掉与该人体框相交的其他框， 表示人体框对应的焊工在进行焊接作业过程中正确佩戴 焊接面罩， 反之表示人体框对应的焊工在进行焊接作业过程中未正确佩戴焊接面 罩。 5.根据权利要求 4所述的方法， 其特 征在于， α 设定为0， β 、 γ均设为0.5 。 6.一种基于 YOLOv5的焊接面 罩佩戴识别系统， 其特 征在于， 包括： 数据采集模块， 用于采集焊接面罩数据、 人体、 人脸和弧光数据， 标注类别并制作数据 集；权　利　要　求　书 1/2 页 2 CN 115050052 A 2模型构建训练模块， 用于对YOLOv5从轻量化模块替换和特征融合重构两方面进行轻量 化改进， 构建得到WMU ‑YOLO模型， 利用数据集对WMU ‑YOLO模型进行训练； 合规性验证识别模块， 用于将待检测图片输入至WMU ‑YOLO， 依次判断检测到的人体框 与弧光框、 人脸框、 焊接面罩框的相交情况是否满足各自设定阈值， 识别焊工在工作时是否 佩戴焊接面 罩。 7.根据权利要求6所述的系统， 其特征在于， 所述模型构建训练模块， 具体用于以 YOLOv5s为基准模型， 在YOLOv5的结构中， 将Backbone和Neck中所有的Conv模块替换为 Ghost‑Conv模块， 将部分C3模块替换为Ghost ‑C3模块， 将Neck的特征融合方式由拼接替换 为Bi‑FPN中的快速归一化融合方法， 并添加一个额外的跨层级特征信息融合路径， 构建得 到WMU‑YOLO模型， 利用数据集对WMU ‑YOLO进行训练， Ghost ‑Conv模块结构中， 产生Ghost特 征的线性操作为深度卷积； Ghost ‑C3模块在Bottleneck中添加深度卷积模块和Gho st‑Conv 模块。 8.根据权利要求6或7所述的系统， 其特征在于， 所述数据采集模块， 具体用于采集能够 涵盖焊接场景、 作业类型和目标尺度变化的焊接面罩数据和弧光数据， 其中， 焊接面罩数据 包括头戴式和手持式， 对于手持 式焊接面罩， 只有当焊工将整个脸部遮住才将其进 行标记， 弧光数据收集与焊接面罩收集同步进 行， 在焊枪焊条或焊丝与被焊器件的接触区域以小段 多标的方式对焊接弧光进 行标记； 从焊接图像和行人公共 数据集Cr owdHuman采集人体和人 脸数据， 在标记焊接面罩和弧光数据的同时， 对图像中出现的焊工及人脸进行标注， 焊工的 焊接姿势涉及到 蹲姿、 坐姿、 躺姿和站姿； 按照比例将图像和标注文件制作成数据集。 9.根据权利要求8所述的系统， 其特征在于， 所述合规性验证识别模块， 具体用于将待 检测图片输入至WMU ‑YOLO模型中， 运行得到待检测图片中焊接面罩、 弧光、 人体和人脸的目 标位置、 目标类别置信度； 以φ(X,Y)为边界框X和Y 之间的相交面积与边界框Y的面积之比， 设定阈值α， 当人体框与弧光框之间的相交情况φ小于等于α， 则认为人体框对应的焊工未 处于焊接环境， 此时过滤掉与该人体框相交的其他框， 否则， 判断人体框对应的焊工正 从事 焊接作业， 进一步识别人体框对应的焊工是否佩戴焊接面罩； 判断人体框与人脸框之间的 相交情况φ是否满足设定阈值β， 若小于等于 设定阈值β， 则进一步判断是否佩戴焊接面罩， 否则， 过滤掉与该人体框相交的其他框， 表示人体框对应的焊工脸部暴露在焊接环境中且 未佩戴焊接面罩； 判断人体框和焊接面罩框的相交情况φ是否满足设定阈值γ， 若大于设 定阈值γ， 则过滤掉与该人体框相交的其他框， 表示该人体框对应的焊工在进行焊接作业 过程中正确佩戴焊接面罩， 反之表示人体框对应的焊工在进 行焊接作业过程中未正确佩戴 焊接面罩。 10.根据权利要求9所述的系统， 其特 征在于， α 设定为0， β 、 γ均设为0.5 。权　利　要　求　书 2/2 页 3 CN 115050052 A 3