(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210504340.2 (22)申请日 2022.05.10 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 李清　李婷伟　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 张宁　臧建明 (51)Int.Cl. G06V 40/20(2022.01) G06K 9/62(2022.01) G06V 10/46(2022.01) G06V 10/82(2022.01) G06V 10/40(2022.01) G06V 10/62(2022.01)G06V 10/77(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于时空图卷积网络的动作 识别方法、 装置 和设备 (57)摘要 本申请提供一种基于时空图卷积网络的动 作识别方法、 装置和设备。 该方法包括： 获取目标 对象的动作数据， 根据动作数据生成多个尺度的 拓扑结构图， 每一拓扑结构图由人体 关节点集合 和人体关节 点连接关系矩阵构成， 人体 关节点集 合中包括每一人体 关节点的时序数据； 基于每一 时空图卷积网络层， 根据预设的卷积参数， 对拓 扑结构图组中每一拓扑结构图进行图卷积处理， 输出与每一时空图卷积网络层对应的特征信息； 根据各特征信息， 确定动作数据的动作类别； 这 个过程中， 实现了动作数据的时间特征和空间特 征的同时提取， 保持了时间特征和空间特征的一 致性， 并且构造了不同尺度的拓扑结构图， 可 以 获得更加丰富的特征信息， 提高了动作识别的准 确性。 权利要求书2页 说明书11页 附图6页 CN 114821799 A 2022.07.29 CN 114821799 A 1.一种基于时空图卷积网络的动作识别方法， 其特征在于， 所述时空图卷积网络包括 预设个数的时空图卷积网络层， 部分时空图卷积网络层特 征通道数不同， 所述方法包括： 获取目标对象的动作数据， 并根据所述动作数据生成拓扑结构图组， 其中， 所述拓扑结 构图组中包括多个尺度的拓扑结构图， 不同尺度的拓扑结构图具有不同大小的感受野， 每 一拓扑结构图由人体关节点集合和人体关节点连接 关系矩阵构成， 所述人体关节点集合中 包括每一人体关节点的时序数据； 基于每一时空图卷积网络层， 根据预设的卷积参数， 对所述拓扑结构图组中每一拓扑 结构图进 行图卷积处理， 输出与每一时空图卷积网络层 对应的特征信息， 其中， 所述特征信 息包括所述拓扑结构图组中每一拓扑结构图的特征矩阵， 拓扑结构图的特征矩阵包括所述 拓扑结构图中每一人体关节点的时间特 征和空间特 征； 根据各所述特征信息， 确定所述动作数据的动作类别。 2.根据权利要求1所述的方法， 其特征在于， 所述拓扑结构图组包括全局尺度拓扑结构 图、 躯干尺度拓扑结构图 以及核心尺度拓扑结构图； 获取目标对象的动作数据， 并根据所述 动作数据生成拓扑 结构图组， 包括： 获取目标对象的动作数据， 并识别提取 所述动作数据中的人体骨架数据； 确定所述人体骨架数据中的人体关节点， 并选取不同的人体关节点， 构造全局尺度拓 扑结构图、 躯 干尺度拓扑 结构图以及核心 尺度拓扑 结构图。 3.根据权利要求2所述的方法， 其特征在于， 选取不同的人体关节点， 构造全局尺度拓 扑结构图、 躯 干尺度拓扑 结构图以及核心 尺度拓扑 结构图， 包括： 选取人体所有关节点构 成人体关节点集合， 并根据 人体骨骼连接关系确定人体关节连 接关系矩阵， 确定全局尺度拓扑结构图； 选取人体四肢和躯干中自由度大于预设自由度阈 值的关节点构成人体关节点集合， 并根据人体骨骼连接关系确定人体关节连接关系矩阵， 确定所述躯干尺度拓扑结构图； 选取人体末端的关节点构成人体关节点集合， 并根据人体 骨骼连接关系确定人体关节连接关系矩阵， 确定所述核心 尺度拓扑 结构图。 4.根据权利要求2所述的方法， 其特征在于， 所述全局 尺度拓扑结构图用于获取所述动 作数据的细节特征， 所述躯干尺度拓扑结构图用于获取所述动作数据的局部特征， 所述核 心尺度拓扑结构图用于获取所述动作数据的全局特征； 基于每一时空图卷积网络层， 根据 预设的卷积参数， 对所述拓扑结构图组中每一拓扑结构图进行图卷积处理， 输出与每一时 空图卷积网络层对应的特 征信息， 包括： 基于每一时空图卷积网络层， 根据预设的卷积参数， 对所述拓扑结构图组中每一拓扑 结构图的每一人体关节点进行卷积处理和聚合处理， 提取每一拓扑结构图中每一人体关节 点的时间特征和空间特征， 并对每一拓扑结构图中各人体关节点的时间特征和空间特征进 行激活和归一 化处理， 确定每一拓扑 结构图的特 征矩阵； 对各拓扑结构图的特征矩阵进行特征融合处理， 输出与每一 时空图卷积网络层对应的 特征信息， 其中， 所述特征融合处理包括特征拼接、 特征相加以及集 成学习方法中的一种或 多种。 5.根据权利要求4所述的方法， 其特征在于， 基于每一时空图卷积网络层， 根据预设的 卷积参数， 对所述拓扑结构图组中每一拓扑结构图的每一人体关节点进 行卷积处理和聚合 处理， 提取每一拓扑 结构图中每一人体关节点的时间特 征和空间特 征， 包括：权　利　要　求　书 1/2 页 2 CN 114821799 A 2根据每一拓扑结构图中的人体关节连接关系矩阵， 获取所述拓扑结构图中的每一关节 点的关联关节点集合， 其中， 所述关联关节点集合中的每一关节点都与对应的关节点具有 空间关联关系； 根据预设卷积参数对每一关联关节点集合中的关节点进行卷积处理和聚合处理， 获取 对应关节点的时间特 征和空间特 征。 6.根据权利要求1 ‑5任一项所述的方法， 其特 征在于， 所述方法还 包括： 获取所述目标对象的动作视频， 对所述动作视频进行 预处理， 生成预设个数的动作帧； 根据所述预设个数的动作帧， 确定所述目标对象的动作数据。 7.一种基于时空图卷积网络的动作识别装置， 其特征在于， 所述时空图卷积网络包括 预设个数的时空图卷积网络层， 部分时空图卷积网络层特 征通道数不同， 所述装置包括： 第一处理单元， 用于获取目标对象的动作数据， 并根据所述动作数据生成拓扑结构图 组， 其中， 所述拓扑结构图组中包括多个尺度的拓扑结构图， 不同尺度的拓扑结构图具有不 同大小的感受野， 每一拓扑结构图由人体关节点集合和人体关节点连接关系矩阵构成， 所 述人体关节点 集合中包括每一人体关节点的时序数据； 第二处理单元， 用于基于每一 时空图卷积网络层， 根据预设的卷积参数， 对所述拓扑结 构图组中每一拓扑结构 图进行图卷积处理， 输出与每一时空图卷积网络层对应的特征信 息， 其中， 所述特征信息包括所述拓扑结构图组中每一拓扑结构图的特征矩阵， 拓扑结构图 的特征矩阵包括所述拓扑 结构图中每一人体关节点的时间特 征和空间特 征； 确定单元， 用于根据各 所述特征信息， 确定所述动作数据的动作类别。 8.一种电子设备， 其特 征在于， 所述电子设备包括： 存 储器， 处理器； 存储器； 用于存 储所述处 理器可执行指令的存 储器； 其中， 所述处 理器被配置为执 行如权利要求1 ‑6任一项所述的方法。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 所述计算机执行指令被处理器执行时用于实现如权利要求1 ‑6任一项所述的方 法。 10.一种计算机程序产品， 其特征在于， 包括计算机程序， 该计算机程序被处理器执行 时实现权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114821799 A 3