(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210669891.4 (22)申请日 2022.06.14 (71)申请人 中国石油大 学 （华东） 地址 266580 山东省青岛市黄岛区长江西 路66号 (72)发明人 左海强　王荣迪　曹怀祥　张智松　 蒋文春　 (74)专利代理 机构 青岛智地领创专利代理有限 公司 37252 专利代理师 王晓凤 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种化工园区人员攀爬行为的实时监控方 法 (57)摘要 本发明涉及模式识别领域， 尤其涉及一种化 工园区人员攀爬行为的实时监控 方法。 该方法包 括： 从监控摄像头中获取得到图像并对潜在的攀 爬区域进行人工标定； 构建标注有潜在攀爬区域 和人体的数据集并进行训练， 得到能够检测出人 体和潜在攀爬区域的YOL Ov4模型； 利用充分训练 的YOLOv4对监控视 频逐帧进行目标检测， 当某一 帧中同时检测到人体与 潜在攀爬区域， 且两者的 重合度大于0.4时， 从图像中裁剪出所有符合条 件的人体片段并进行拼接， 送入OpenPo se进行下 一步识别； 利用OpenPo se对输入的人体图像进行 关键点预测， 得到人体关键点点集； 对输出的各 关键点点集提取人体姿态特征， 通过SVM支持向 量机分类 器， 判断目标是否存在攀 爬行为。 权利要求书2页 说明书4页 附图1页 CN 115049979 A 2022.09.13 CN 115049979 A 1.一种化工园区攀 爬行为实时监控方法， 其特 征在于， 包括以下步骤： 步骤S1、 从监控摄 像头中获取 得到图像并对潜在的攀 爬区域进行 人工标定； 步骤S2、 构建标注有潜在攀爬区域和人体的数据集并进行训练， 得到能够充分检测出 人体和潜在攀 爬区域的YOLOv4模型； 步骤S3、 利用充分训练的YOLOv4对监控视频逐帧进行目标检测， 当某一帧中同时检测 到人体与潜在攀爬区域， 并且两者的检测框重合度大于0.4时， 从图像中裁剪出所有符合条 件的人体的片段并进行拼接， 送入OpenPose进行 下一步识别； 步骤S4、 利用OpenPose对输入的人体图像进行关键点预测， 得到人体关键点 点集； 步骤S5、 对输出的各关键点点集提取人体姿态特征， 通过SVM支持向量机分类器， 判断 目标是否存在攀 爬行为。 2.根据权利要求1所述的一种化工园区攀爬行为实时监控方法， 其特征在于， 所述的攀 爬区域包括 化工园区护栏网及周边、 化工设备的安全爬梯 及其周边。 3.根据权利要求1所述的一种化工园区攀爬行为实时监控方法， 其特征在于， 步骤S3 中， 所述的YOLOv4模型训练包括以下步骤： a1、 构建数据集， 下载HAD人体检测数据集部分并同攀爬区域数据集整合为VOC格式数 据集； a2、 使用K ‑means算法对目标先验框进行 聚类， 通过设定聚类中心数k， 将新聚类的先验 框面积从小到大排列， 均分到不同尺度的特 征图上， 具体为： 使用K‑means算法对目标锚框进行聚类， 得到k个不同尺寸的锚框， 按面积从小到大排 列， 将其均匀作为不同尺寸特征图的锚框； 需要定义距离参数， 这里选k为9， 距离参数d 的计 算方式为d＝1 ‑iou； 首先从数据集中所有的边界框中随机选取9个作为初始锚框， 将数据集 中所有的边界框都与这9个锚框分别计算距离d， 得到每一个边界框跟这9个锚框的d， 再选 取每一个边界框中最小 d所对应的锚框序号， 将所有对应同一个序号的边界框的长宽求取 平均数， 得到对应此序号新的锚框尺寸， 然后重新将新的锚框与所有边界框计算距离d， 直 到相邻两次运 算得到的锚框的长 宽相等为止； 其中， iou是一种表示两个框之间重合度的值， i ou越大， 重合度越高； iou的计算方式为： 先分别对两框的长宽进行比较， 选取其中较小 的值， 将两这个值相 乘， 得到的数为两框重合区域的面积， 然后将重合区域面积除以两框面积和与重合区域面 积之差， 最后， 数据集中的所有标注框面积从小到大排列， 均分到不同尺度的特 征图上； a3、 构建YOLOv4检测模型， 选用Tensorflow作为框架， 以CSPDarknet53为主干特征提取 网络， 选用Mish激活函数， 对主干网络提取的特征进 行多尺度融合， 最后经过预测输出目标 的类、 概率及坐标； 模型训练过程中， 学习率选取0.001， 优化模型选择SGD， 损失函数中， 分 类损失采用softmax函数， 预测框回归采用iou损失函数， 迭代150～250次或损失收敛后停 止训练。 4.根据权利要求3所述的一种化工园区攀爬行为实时监控方法， 其特征在于， 在以 YOLOv4为骨干特征网络 中， 选用13X13， 26X26， 52X52的特征图尺寸， 利用k ‑means算法为每 种尺度的特 征图分别得到 3种大小的先验框 。 5.根据权利要求3所述的一种化工园区攀爬行为实时监控方法， 其特征在于， 步骤S3 中， 所述的检测 框为矩形框， 所述重合度计算方法用iou函数计算， 所述片段拼接为横向拼权　利　要　求　书 1/2 页 2 CN 115049979 A 2接。 6.根据权利要求1所述的一种化工园区攀爬行为实时监控方法， 其特征在于， 步骤S4 中， 所述openpose采用coco模型， 其检测出的人体关键点集依次为鼻子， 脖子， 右肩， 右肘， 右腕， 左肩， 左肘， 左腕， 右髋， 右膝， 右踝， 左髋， 左膝， 左踝， 左眼， 右眼， 左耳， 右耳共计18个 关键点。 7.根据权利要求1所述的一种化工园区攀爬行为实时监控方法， 其特征在于， 步骤S5 中， 所述人体姿态特征为， 肩部 分别与手腕和脖子形成的角度， 膝盖 分别与髋部和踝部形成 的角度， 肘部弯曲的角度， 腿弯曲的角度。 8.根据权利要求7所述的一种化工园区攀爬行为实时监控方法， 其特征在于， 步骤S5 中， 所述SVM支持向量机分类 器包括以下步骤： b1、 构建需要经过训练， 训练数据集来源于人体检测数据集， 其标签为各个图片中人体 姿态特征及是否为攀 爬行为， 有攀 爬行为以及其人体姿态特 征为正样本， 其 余为负样本； b2、 以步骤b1中的人体检测数据集作为输入， 训练SVM分类器， 要求输出结果为目标是 否攀爬， 其中核函数采用高斯核函数， 训练过程中， 损失函数采用铰链 函数， 经过60～120次 迭代或损失收敛后停止训练。 9.根据权利要求1所述的一种化工园区攀爬行为实时监控方法， 其特征在于， 步骤S5 中， 若判定目标存在攀 爬行为， 则对应到原 始图像中目标， 并发出警报。权　利　要　求　书 2/2 页 3 CN 115049979 A 3