(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111659852.8 (22)申请日 2021.12.3 0 (71)申请人 国网河北省电力有限公司电力科 学 研究院 地址 050021 河北省石家庄市体 育南大街 238号 申请人 国家电网有限公司 　 国网河北能源技 术服务有限公司 (72)发明人 庞先海　姜义虎　马天祥　魏力强　 张姿姿　苏金刚　张鹏　齐锦涛　 景皓　沈宏亮　 (74)专利代理 机构 石家庄国为知识产权事务所 13120 代理人 李荣文(51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/75(2022.01) G06K 9/62(2022.01) (54)发明名称 作业人员动作违规的识别方法、 装置及终端 (57)摘要 本发明提供一种作业人员动作违规的识别 方法、 装置及终端。 该方法包括： 获取当前时刻的 目标图像， 目标图像为存在第一作业人员的作业 现场图像， 第一作业人员为轮廓存在被遮挡部分 的作业人员； 基于第一作业人员的轮廓确定第一 作业人员的身份； 获取被遮挡部分的前序姿态序 列； 将被遮挡部分的前序姿态序列输入第一预测 模型， 输出被遮挡部分的当前姿态， 并基于当前 姿态和第一作业人员的轮廓得到第一作业人员 的完整姿态； 基于完整姿态判断第一作业人员是 否违规作业。 本发明在进行动作识别前先对作业 人员的身份进行识别， 然后基于人员身份确定被 遮挡部分的姿态， 得到作业人员的完整姿态， 可 以提高作业人员动作识别的准确性。 权利要求书2页 说明书9页 附图2页 CN 114333061 A 2022.04.12 CN 114333061 A 1.一种作业人员动作违规的识别方法， 其特 征在于， 包括： 获取当前时刻的目标图像， 所述目标图像为存在第一作业人员的作业现场图像， 所述 第一作业人员为轮廓存在被遮挡部分的作业人员； 基于所述第一作业人员的轮廓确定所述第一作业人员的身份； 获取所述被遮挡部分的前序姿态序列； 所述前序姿态序列包括当前时刻 之前的多个时 刻对应的作业现场图像中所述被遮挡部分的姿态； 将所述被遮挡部分的前序姿态序列输入第 一预测模型， 输出所述被遮挡部分的当前姿 态， 并基于所述当前姿态和所述第一作业人员的轮廓得到所述第一作业人员的完整姿态； 所述第一预测模型为所述第一作业人员对应的姿态预测模型； 基于所述完整姿态判断所述 第一作业人员是否违规作业。 2.根据权利要求1所述的作业人员动作违规的识别方法， 其特征在于， 所述基于所述第 一作业人员的轮廓确定所述第一作业人员的身份包括： 基于所述第一作业人员的轮廓确定所述第一作业人员的人体特 征； 将所述第一作业人员的人体特征分别与多个预设人体特征进行匹配， 将匹配程度最高 的预设人体特 征对应的作业人员的身份作为所述第一作业人员的身份。 3.根据权利要求1所述的作业人员动作违规的识别方法， 其特征在于， 所述获取所述被 遮挡部分的前序姿态序列包括： 获取多个前序图像， 前序图像为存在所述第 一作业人员的被遮挡部分且拍摄于当前时 刻之前的作业现场图像； 针对每个前序图像， 确定该前序图像与所述作业现场图像的角度关系； 在该前序图像 中提取所述被遮挡部分的前序姿态； 基于该前序图像与所述作业现场图像的角度关系， 将 该前序姿态转换至所述作业现场图像的角度， 并保存转换后的前序姿态； 基于各个前序图像对应的转换后的前序姿态， 得到前序姿态序列。 4.根据权利要求3所述的作业人员动作违规的识别方法， 其特征在于， 所述确定该前序 图像与所述作业现场图像的角度关系， 包括： 提取至少一个同时存在于所述目标图像和第 一前序图像中的静态部件， 并作为第 一静 态部件； 所述第一前序图像为任一前序图像； 在所述目标图像中建立第 一空间坐标系， 并确定所述目标图像中的第 一静态部件在所 述第一空间坐标系中的坐标； 在所述第一前序图像中建立第 二空间坐标系， 并确定所述第 一前序图像中的第 一静态 部件在所述第二空间坐标系中的坐标； 基于第一静态部件在所述第一空间坐标系 中的坐标和第一静态部件在所述第二空间 坐标系中的坐标， 计算所述第一前序图像与所述作业现场图像的角度关系。 5.根据权利要求1至4任一项所述的作业人员动作违规的识别方法， 其特征在于， 在将 所述被遮挡部分的前序姿态序列输入第一预测模型之前， 所述方法还 包括： 获取所述第一作业人员的多个姿态序列； 针对每个姿态序列， 将该姿态序列中第一时刻之前的姿态序列作为训练样本， 将该姿 态序列中第一时刻的姿态作为该训练样本的标签， 构建训练样本集； 采用所述训练样本集对循环神经网络进行训练， 得到第一预测模型。权　利　要　求　书 1/2 页 2 CN 114333061 A 26.根据权利要求1至4任一项所述的作业人员动作违规的识别方法， 其特征在于， 所述 获取当前时刻的目标图像包括： 获取当前时刻的作业现场图像； 在所述作业现场图像中提取作业人员的轮廓； 基于所述作业人员的轮廓判断所述作业人员是否存在被遮挡部分； 若所述作业人员存在被遮挡部分， 则将当前时刻的作业现场图像作为当前时刻的目标 图像。 7.一种作业人员动作违规的识别装置， 其特 征在于， 包括： 获取模块， 用于获取当前时刻的目标图像， 所述目标图像为存在第一作业人员的作业 现场图像， 所述第一作业人员为轮廓存在被遮挡部分的作业人员； 身份确定模块， 用于基于所述第一作业人员的轮廓确定所述第一作业人员的身份； 前序提取模块， 用于获取所述被遮挡部分的前序姿态序列； 所述前序姿态序列包括当 前时刻之前的多个时刻对应的作业现场图像中所述被遮挡部分的姿态； 姿态重构模块， 用于将所述被遮挡部分的前序姿态序列输入第一预测模型， 输出所述 被遮挡部分的当前姿态， 并基于所述当前姿态和所述第一作业人员的轮廓得到所述第一作 业人员的完整 姿态； 所述第一预测模型为所述第一作业人员对应的姿态预测模型； 违规判断模块， 用于基于所述完整 姿态判断所述第一作业人员是否违规作业。 8.根据权利要求7所述的作业人员动作违规的识别装置， 其特征在于， 所述身份确定模 块包括： 特征提取单元， 用于基于所述第一作业人员的轮廓确定所述第一作业人员的人体特 征； 匹配单元， 用于将所述第一作业人员的人体特征与多个预设人体特征进行匹配， 将匹 配程度最高的预设人体特 征对应的作业人员的身份作为所述第一作业人员的身份。 9.一种终端， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如上的权利要求1至6 中任一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如上的权利要求1至 6中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114333061 A 3