(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210885390.X (22)申请日 2022.07.26 (71)申请人 国网江苏省电力有限公司苏州供电 分公司 地址 215004 江苏省苏州市姑苏区劳动路 555号 申请人 国网智能电网研究院有限公司 　 国家电网有限公司 (72)发明人 张军民　王东林　张文彬　崔隽峰　 席晓强　李海冰　刘晨　张国梁　 吴鹏　杜泽旭　 (74)专利代理 机构 北京智绘未来专利代理事务 所(普通合伙) 11689 专利代理师 郑直(51)Int.Cl. G06V 40/20(2022.01) G06V 10/10(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/06(2012.01) (54)发明名称 一种电网基建现场人体异常行为识别方法 及系统 (57)摘要 一种电网基建现场人体异常行为识别方法 及系统， 识别方法包括， 搭建双通道三维卷积神 经网络和双流特征融合网络， 利用电网基建现场 作业监控装置采集的历史工作人员作业视频数 据集对网络进行训练， 得到电网基 建现场人体异 常行为识别模 型； 从电网基建现场作业监控装置 实时采集电网基 建现场工作人员作业视频数据， 获取实时视频最新16帧RGB图像及计算这16帧 RGB图像的光流图； 将最新视频流和光流图输入 至电网基建现场人体异常行为识别模 型， 得到行 为分类结果输出； 根据分类损失结果判断， 若无 异常发生， 则返回继续执行电网基 建现场人体异 常行为检测任务； 若有异常发生， 则进行报警处 理， 然后继续执行电网基建现场人体异常行为检 测任务。 权利要求书4页 说明书9页 附图1页 CN 115311740 A 2022.11.08 CN 115311740 A 1.一种电网基建现场人体异常行为识别方法， 其特 征在于， 包括以下步骤， 步骤1， 搭建双通道三维卷积神经网络和双流特征融合网络， 在双通道三维卷积神经网 络和双流特征融合网络后分别接入3层全连接层， 利用电网基建现场作业监控装置采集的 历史工作人员作业视频数据集对双通道三维卷积神经网络和双流特征融合网络进 行训练， 得到电网基建现场人体异常行为识别模型； 步骤2， 从电网基建现场作业监控装置实时采集电网基建现场工作人员作业视频数据， 获取实时视频流及光 流图； 步骤3， 将视频流和光流图输入至电网基建现场人体异常行为识别 模型， 得到行为分类 结果输出； 步骤4， 根据步骤3中电网基建现场人体异常行为识别模型所得到的行为分类结果， 若 模型输出为异常行为类别， 则进行报警， 然后 继续执行电网基建现场人体异常行为检测任 务； 若模型输出正常行为类别， 则返回继续执 行电网基建现场人体异常行为检测任务。 2.根据权利要求1所述的一种电网基建现场人体异常行为识别方法， 其特 征在于， 步骤2中， 视频流为RGB视频流， 实时获取16帧视频流， 通过计算16帧视频流得出光流 图。 3.根据权利要求1所述的一种电网基建现场人体异常行为识别方法， 其特 征在于， 步骤1中， 双通道三维卷积神经网络包括： 空间流三维卷积神经网络和时间流三维卷积 神经网络； 空间流三维卷积神经网络用来提取和行为相关的空间特征， 时间流三维卷积神经网络 用来提取时间特 征。 4.根据权利要求3所述的一种电网基建现场人体异常行为识别方法， 其特 征在于， 步骤1中， 空间流三维卷积神经网络和时间流三维卷积神经网络网络参数共享， 网络参 数包括： 网络 权重和偏置值。 5.根据权利要求 4所述的一种电网基建现场人体异常行为识别方法， 其特 征在于， 步骤1中， 双通道三维卷积神经网络包括： 8个三维卷积层和5个三维池化层。 6.根据权利要求5所述的一种电网基建现场人体异常行为识别方法， 其特 征在于， 双流特征融合网络包括： 1个拼接层， 1个三维卷积层和1个三维池化层。 7.根据权利要求6所述的一种电网基建现场人体异常行为识别方法， 其特 征在于， 步骤1包括： 步骤1.1， 建立空间流三维卷积神经网络模型， 其输入为XRGB即RGB视频帧， 输出特征记 作输出的特 征为X′RGB； 建立时间流三维卷积网络模型， 其输入为XFLOW即RGB图像的光流图， 输出时间流特征 X′FLOW； 步骤1.2， 对时间流三维卷积网络输出特征和空间流三维卷积网络输出特征融合； 首先 将X′RGB和X′FLOW进行通道维度上的拼接， 然后使用一层三维卷积层和一层三维池化层对拼 接后的结果进行时间特 征融合得到时间特 征融合后的融合特 征集合Z； 步骤1.3， 将融合特征集合Z输入3层全连接层， 将特征降维， 最终在最后一层全连接层 输出所预测的第i个行为发生的概 率； 步骤1.4， 经过步骤1.1双通道三维卷积神经网络所输出的空间流特征X ′RGB和时间流特权　利　要　求　书 1/4 页 2 CN 115311740 A 2征X′FLOW分别输入各自的3层全连接层， 分别得到空间流网络输出所预测的第i个行为发生 的概率和时间流网络 输出所预测的第i个行为发生的概 率； 步骤1.5， 利用电网基建现场作业视频监控装置采集的历史作业人员监控视频数据集， 进行人工标注， 得到视频样 本X与标注真值Y， 将 视频样本X输入步骤1.1至步骤1.4中搭建的 网络训练， 得到对应输出 的空间流网络输出所预测行为发生的概率、 时间流网络输出所预 测行为发生的概率以及基于融合特征所输出的预测行为 发生的概率， 采用交叉熵损失计算 法确定对视频样 本X的拟合程度， 从而确定空间流三 维卷积神经网络、 时间流三维卷积神经 网络以及空间流特 征与时间流特 征融合的交叉熵损失影响因子 。 8.根据权利要求7 所述的一种电网基建现场人体异常行为识别方法， 其特 征在于， 在步骤1.1中， 具体包括： 空间流三维卷积神经网络 输入为 其中， XRGB表示输入空间流 三维卷积神经网络的连续16帧RGB视频帧， 表示包含若干连续16帧RGB视频帧的集 合， D1表示输入视频帧通道数， T表示输入视频帧数， W1和H1分别表示视频帧的宽和高； 时间流三维卷积网络 输入为 其中, XFLOW表示输入时间流 三维卷积神经网络的x和y轴光 流提取方向的光 流图， 表示包含若干x和y轴光 流提取方向的光 流图的集 合， D2表示输入视频帧通道数， B表示光流提取方向数， W2和H2分别表示 光流图的宽和高； 空间流三维卷积网络输出的特征为 时间流三维卷积网络输 出的特征为 其中， D1′表示空间流 三维卷积网络 输出的视频帧通道数， T′表示空间流 三维卷积网络 输出的视频帧数， W1′表示空间流 三维卷积网络 输出的视频帧的宽， H1′表示空间流 三维卷积网络 输出的视频帧的高， D2′表示时间流 三维卷积网络 输出的视频帧通道数， B′表示时间流 三维卷积网络 输出的光 流提取方向数， W2′表示时间流 三维卷积网络 输出的光 流图的宽， H2′表示时间流 三维卷积网络 输出的光 流图的高， D1′＝D2′， T′＝B′， W1′＝W2′， H1′＝H2′。 9.根据权利要求7或8所述的一种电网基建现场人体异常行为识别方法， 其特 征在于，权　利　要　求　书 2/4 页 3 CN 115311740 A 3