(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211013630.3 (22)申请日 2022.08.23 (71)申请人 深圳市赛 为智能股份有限公司 地址 518000 广东省深圳市龙岗区南湾街 道下李朗社区联李东路8号赛为大楼 A101至15楼 (72)发明人 汪玉冰　王秋阳　胡懋成　郑博超　 周婧雯　凤阳　刘丹　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 周永敬 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01) (54)发明名称 人体行为识别方法、 装置、 计算机设备及存 储介质 (57)摘要 本发明实施例公开了一种人体行为识别方 法、 装置、 计算机设备及存储介质， 方法包括： 获 取检测区域内的图像数据； 对图像数据进行切帧 处理， 以得到多帧静态图片； 将多帧静态图片以 图片序列的形式输入至人体行为预测模型中进 行处理， 以得到人体行为识别结果。 本发明通过 语义分割模 型和光流预测模型， 基于人体语义掩 膜特征和人体光流特征的特征信息融合方式进 行人体行为识别， 可以很好的进行多人行为识 别。 通过结合跟踪模型， 融合语义分割特征以及 光流特征， 可 以进行多角度多人实时行为检测。 另外， 在光流网络中使用了Res  i dua l GRU模 块对融合了多种特征的光流进行更新迭代， 确保 了关键信息的不丢失， 提高了预测的精准度。 权利要求书3页 说明书16页 附图2页 CN 115359565 A 2022.11.18 CN 115359565 A 1.人体行为识别方法， 其特 征在于， 包括： 获取检测区域内的图像数据； 对图像数据进行切帧处 理， 以得到多帧静态图片； 将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理， 以得到人体 行为识别结果。 2.根据权利要求1所述的人体行为识别方法， 其特征在于， 所述将多帧静态图片以图片 序列的形式输入至人体行为预测模型中进行处 理， 以得到人体行为识别结果， 包括： 将多帧静态图片以图片序列的形式输入至跟踪模型进行处理， 以得到带有id索引的人 物图像； 将带有id索引的不同人物图像输入语义分割模型进行处理， 以得到人体语义掩膜特 征； 将带有id索引的人物图像输入至光 流预测模型进行处 理， 以得到人体光 流特征； 将人体语义掩膜特征和人体光流特征输入至行为识别分类模型进行处理， 以得到人体 行为识别结果。 3.根据权利要求2所述的人体行为识别方法， 其特征在于， 所述将带有id索引的不同人 物图像输入语义分割模型进行处 理， 以得到人体 语义掩膜特 征， 包括： 对带有id索引的人物图像分别进行第一卷积、 第二卷积和第三卷积处理， 以得到第一 卷积特征、 第二卷积特 征和第三卷积特 征； 将第一卷积特 征输入至Sw itch conv中进行 卷积操作， 以得到第一处 理后卷积特 征； 将第二卷积特 征输入到Di lated conv中进行处 理， 以得到第二处 理后卷积特 征； 将第三卷积特 征输入至 Coord conv中进行处 理， 以得到第三处 理后卷积特 征； 将第一处理后卷积特征输入到Dimension ‑wise conv进行卷积操作并且通过relu激活 函数进行处 理， 以得到第一处 理特征； 将第二处 理后卷积特 征输入到Dynamic  conv进行卷积处理， 以得到中间处 理特征； 将中间处理特征输入到3*3卷积以及B atchNormalization操作中， 以得到第二处理特 征； 将第三处 理后卷积特 征输入到 Mix conv进行卷积操作， 以得到第三处 理特征； 将第一处理特征经过卷积处理得到的结果经过反卷积上采样以及再次卷积处理， 以得 到第一处 理结果特 征； 将第一处 理特征经过卷积和Batc hNormalization操作， 以得到第二处 理结果特 征； 将第二处理结果特征进行反池化上采样和卷积块操作， 以得到反池化上采样特征和卷 积块特征； 将第二处 理特征与卷积块特 征进行相加处 理， 以得到相加特 征； 对相加特 征进行sigmo id操作， 以得到sigmo id特征； 将sigmoid特征与反池化上采样特 征进行相乘处 理， 以得到相乘特 征； 将相乘特 征通过Relu函数处 理， 以得到第一结果特 征； 将1减去sigmoid特征得到的结果与第三处理特征进行相乘处理， 以得到第二结果特 征； 将第二结果特征与第 一结果特征相加处理后得到的结果并经过上采样和卷积处理， 以权　利　要　求　书 1/3 页 2 CN 115359565 A 2得到第三结果特 征； 将第三结果特 征输入到经 过三次残差网络处 理， 以得到第四结果特 征； 将第四结果特 征与第三结果特 征进行co ncate处理， 以得到融合特 征； 将融合特 征经过3*3卷积、 上采样以及1*1卷积处 理， 以得到人体 语义掩膜特 征。 4.根据权利要求2所述的人体行为识别方法， 其特征在于， 所述将带有id索引的人物图 像输入至光 流预测模型进行处 理， 以得到人体光 流特征， 包括： 将前后两帧带有id索引的人物图像输入到第一网络进行处 理， 以得到第一 光流特征； 采用第一光流特征对前后两帧带有id索引的人物图像中的前一帧人物图像进行双线 性插值处 理， 以得到双线性插值特 征； 将前后两帧带有id索引的人物图像通过AsymOFMM处理得到的结果与双线性插值特征 进行concate处理， 以得到 concate特征； 将concate特征与前后两帧带有id索引的人物图像中的后一帧人物图像进行堆叠处 理， 以得到堆叠图； 将堆叠图输入到第二网络进行处 理， 以得到第二 光流特征； 将第二光流特征输入到Residual  GRU模块进行循环更新迭代； 当迭代完成时， 人体光 流特征结果被输出。 5.根据权利要求4所述的人体行为识别方法， 其特征在于， 所述将前后两帧带有id索引 的人物图像输入到第一网络进行处 理， 以得到第一 光流特征， 包括： 将前后两帧带有id索引的人物图像分别通过4层Convolution+ReLU处理， 以得到第一 特征图和第二特 征图； 分别对第一特征图和第二特征 图进行下采样操作后Max  pooling层处理， 以得到第三 特征图和第四特 征图； 将第三特 征图和第四特 征图通过三个残差层处 理， 以得到第五特 征图和第六 特征图； 将第五特 征图作为卷积核与第六 特征图进行 卷积处理， 以得到匹配特 征图； 将匹配特征 图输入到三个卷积层和一个average  pooling层进行高级特征提取， 以得 到高级特 征； 对高级特 征使用四层反卷积运 算， 以得到高层语义信息； 将高层语义信 息与第五特征图、 第六特征图进行特征融合， 并经过上采样处理， 以得到 第一光流特征。 6.根据权利要求4所述的人体行为识别方法， 其特征在于， 所述将堆叠图输入到第 二网 络进行处 理， 以得到第二 光流特征， 包括： 将堆叠图输入到三层Co nvo lution+BatchNorm层中进行处 理， 以得到第七特 征图； 将第七特征图进行一次average  pooling之后再通过三层1x1卷积对特征进行升维处 理， 以得到提取 特征图； 将提取特征图进行深度学习的插值方法进行处 理， 以得到第二 光流特征。 7.根据权利要求2所述的人体行为识别方法， 其特征在于， 所述将人体语义掩膜特征和 人体光流特征输入至行为识别分类模型进行处 理， 以得到人体行为识别结果， 包括： 将人体语义掩膜特 征和人体光 流特征进行co ncate合并， 以得到合并特 征； 将合并特征输入到轻量级视频分类网络进行处理， 以得到不同人体行为类别所对应的权　利　要　求　书 2/3 页 3 CN 115359565 A 3