(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111628110.9 (22)申请日 2021.12.28 (71)申请人 山东师范大学 地址 250014 山东省济南市历下区文化 东 路88号 (72)发明人 吕蕾　耿佩　李皓玮　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 朱忠范 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 基于自适应时空卷积网络的人体行为识别 方法及系统 (57)摘要 本发明属于计算机视觉方面人体行为识别 技术领域， 提供了基于自适应时空卷积网络的人 体行为识别方法及系统， 根据骨架数据和自适应 时空卷积网络， 执行分类操作， 输出分类结果， 根 据分类结果得到人体行为识别结果； 其中， 所述 自适应时空卷积网络的构建过程包括： 构建多层 时空卷积块， 其中， 第五层和第八层加入时间卷 积的残差块， 其余的每一层时空卷积块均包括两 部分不同的空间卷积块和多尺度时间卷积块， 通 过两个不同的空间卷积块提取运动信息； 根据运 动信息和多尺度时间卷积块， 对运动信息再提取 聚合后得到时域信息 。 权利要求书2页 说明书6页 附图2页 CN 114463837 A 2022.05.10 CN 114463837 A 1.基于自适应时空卷积网络的人体行为识别方法， 其特 征在于， 包括如下步骤： 获取骨架数据； 根据骨架数据和自适应时空卷积网络， 执行分类操作， 输出分类结果， 根据分类结果得 到人体行为识别结果； 其中， 所述自适应时空卷积网络的构建过程包括： 构建多层时空卷积 块， 其中， 第五层和 第八层加入时间卷积的残差块， 其余的每一层时空卷积块均包括两部分 不同的空间卷积块和多尺度时间卷积块， 通过两个不同的空间卷积块提取运动信息； 根据 运动信息和多尺度时间卷积块， 对运动信息再提取聚合后得到时域信息 。 2.如权利要求1所述的基于自适应时空卷积网络的人体行为识别方法， 其特征在于， 所 述通过两个不同的空间卷积块 提取运动信息包括： 第一个卷积块包括多个不同的拓扑细化图卷积， 每一个卷积块以细化的方式学习通道 拓扑， 同时学习共享拓扑和特定通道的相关性， 最后对得到的结果进行累加操作； 第二个空间卷积块包括空间注意力模块、 时间注意力模块以及通道注意力模块， 通过 各注意力模块进行 特征的细化操作； 最后对两个空间卷积块 提取的运动信息进行聚合。 3.如权利要求2所述的基于自适应时空卷积网络的人体行为识别方法， 其特征在于， 所 述多个不同的拓扑细化图卷积包含三个通道式细化拓扑卷积块， 其中拓扑卷积块包括特征 变换、 通道拓扑建模以及由聚合函数完成的特征聚合操作， 用邻接矩阵作为所有通道的共 享拓扑， 并通过反向传播进行 更新邻接矩阵。 4.如权利要求1所述的基于自适应时空卷积网络的人体行为识别方法， 其特征在于， 所 述多尺度时间卷积块包括多个卷积块， 每个卷积块分别对运动信息再提取聚合后得到时域 信息； 其中， 所述多尺度时间卷积块为4个封装好的卷积块， 前两个卷积块均包括普通卷积、 归一化、 激活函数以及一个时间卷积的残差块， 后两个卷积块包括普通卷积、 归一化、 激活 函数以及池化操作。 5.如权利要求1所述的基于自适应时空卷积网络的人体行为识别方法， 其特征在于， 所 述残差块由一个普通的Co nv2d卷积和一个归一 化层组成。 6.如权利要求1所述的基于自适应时空卷积网络的人体行为识别方法， 其特征在于， 所 述执行分类操作的过程包括： 对每一个通道图中所有的像素值求平均值， 得到新的通道图， 再经过dropout层使网络中的部 分神经元失活， 得到出通道数和分类数， 最后经过全连接层 进行分类。 7.如权利要求1所述的基于自适应时空卷积网络的人体行为识别方法， 其特征在于， 所 述骨架数据在输入自适应时空卷积网络之前进行了预处 理以及构图。 8.基于自适应时空卷积网络的人体行为识别系统， 其特 征在于， 包括： 数据获取模块， 被 配置为： 获取骨架数据； 人体行为识别模块， 被配置为： 根据骨架数据和自适应时空卷积网络， 执行分类操作， 输出分类结果， 根据分类结果得到人体行为识别结果； 其中， 所述自适应时空卷积网络的构 建过程包括： 构建多层时空卷积块， 其中， 第 五层和第八层加入时间卷积的残差块， 其余的 每一层时空卷积块均包括两部 分不同的空间卷积块和多尺度时间卷积块， 通过两个不同的 空间卷积块提取运动信息； 根据运动信息和多尺度时间卷积块， 对运动信息再提取聚合后 得到时域信息 。权　利　要　求　书 1/2 页 2 CN 114463837 A 29.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项 所述的基于自适应时空卷积网络的人体行为识别方法中 的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基 于自适应时空卷积网络的人体行为识别方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114463837 A 3