(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111628958.1 (22)申请日 2021.12.28 (71)申请人 云从科技 集团股份有限公司 地址 511457 广东省广州市南沙区南沙街 金隆路37号5 01房(仅限办公) (72)发明人 莫晖　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 代理人 张双凤 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 20/40(2022.01) G06V 10/34(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 基于关键点的多 特征融合的动作 识别方法、 装置、 介质及设备 (57)摘要 本发明公开了一种基于关键点的多特征融 合的动作识别方法， 包括： 获取目标对象的运动 视频流； 从所述运动视频流中提取出目标对象 的 骨架序列； 所述骨架序列包括人体 关节点以及人 体关节点坐标； 对所述骨架序列进行特征提取， 得到骨架特征， 所述骨架特征包括： 姿态特征和 轨迹特征； 其中， 所述姿态特征基于人体关节点 坐标与人体中心点坐标得到， 所述轨迹特征基于 人体关节 点坐标得到； 利用训练好的分类模型对 所述骨架特征进行分类， 得到动作分类结果。 本 发明利用人体姿态特征和人与背景的轨迹特征 作为输入至分类模型中的特征， 丰富了用于动作 识别的关键点特征， 加强了模型的鲁棒性， 提高 了模型的精度。 权利要求书2页 说明书10页 附图3页 CN 114299615 A 2022.04.08 CN 114299615 A 1.一种基于关键点的多特 征融合的动作识别方法， 其特 征在于， 包括： 获取目标对象的运动视频流； 从所述运动视频流中提取出目标对象的骨架序列； 所述骨架序列包括人体关节点以及 人体关节点 坐标； 对所述骨架序列进行特征提取， 得到骨架特征， 所述骨架特征包括： 姿态特征和轨迹特 征； 其中， 所述姿态特征基于人体 关节点坐标与人体中心 点坐标得到， 所述轨迹特征基于人 体关节点 坐标得到； 利用训练好的分类模型对所述骨架特 征进行分类， 得到动作分类结果。 2.根据权利要求1所述的基于关键点的多特征融合的动作识别方法， 其特征在于， 所述 从所述运动视频流中提取 出目标对象的骨架序列， 包括： 从所述运动视频流中提取 连续的多帧人体图像； 对所述多帧人体图像进行骨架关节点 提取， 得到每一帧人体图像对应的关节点组； 将每一帧人体图像对应的关节点组按时间先后 顺序进行组合， 得到目标对象的骨架序 列。 3.根据权利要求1所述的基于关键点的多特征融合的动作识别方法， 其特征在于， 所述 姿态特征包括以人体关节点作为终点， 以人体中心点作为起点的特征向量； 所述轨迹特征 包括以人体关节点作为终点， 以坐标原点作为起点的特征向量， 所述坐标原点为人体图像 的顶点。 4.根据权利要求1所述的基于关键点的多特征融合的动作识别方法， 其特征在于， 在将 所述骨架特 征输入到分类模型 前， 还包括： 对所述姿态特 征和所述轨 迹特征进行特征拼接， 得到拼接特 征。 5.根据权利要求4所述的基于关键点的多特征融合的动作识别方法， 其特征在于， 在对 所述姿态特 征与所述轨 迹特征进行特征拼接前， 还 包括： 对所述姿态特 征和所述轨 迹特征进行归一 化。 6.根据权利要求1所述的基于关键点的多特征融合的动作识别方法， 其特征在于， 所述 分类模型为图卷积网络的分类模型。 7.根据权利要求1或6所述的基于关键点的多特征融合的动作识别方法， 其特征在于， 该方法还包括训练所述分类模型， 在训练分类模型过程中， 采用随机梯度下降法作为优化 策略， 选择交叉熵作为梯度反向传播的损失函数。 8.根据权利要求7所述的基于关键点的多特征融合的动作识别方法， 其特征在于， 在训 练分类模 型过程中， 对训练数据集进 行数据增强， 数据增强的方法包括以下至少之一： 坐标 旋转、 平移、 加随机的噪声扰动、 随机 裁剪时序、 随机 裁剪关节。 9.一种基于关键点的多特 征融合的动作识别装置， 其特 征在于， 包括： 视频流获取模块， 用于获取目标对象的运动视频流； 骨架序列提取模块， 用于从所述运动视频流中提取出目标对象的骨架序列； 所述骨架 序列包括人体关节点以及人体关节点 坐标； 特征提取模块， 用于对所述骨架序列进行特征提取， 得到骨架特征， 所述骨架特征包 括： 姿态特征和轨迹特征； 其中， 所述姿态特征基于人体关节点坐标与人体中心点坐标得 到， 所述轨 迹特征基于人体关节点 坐标得到；权　利　要　求　书 1/2 页 2 CN 114299615 A 2分类模块， 用于利用训练好的分类模型对所述骨架特 征进行分类， 得到动作分类结果。 10.一种基于关键点的多特 征融合的动作识别设备， 其特 征在于， 包括： 一个或多个处 理器； 和 其上存储有指令的一个或多个机器可读介质， 当所述一个或多个处理器执行时， 使得 所述设备 执行如权利要求1 ‑8中一个或多个所述的方法。 11.一个或多个机器可读介质， 其特征在于， 其上存储有指令， 当由一个或多个处理器 执行时， 使得设备 执行如权利要求1 ‑8中一个或多个所述的方法。权　利　要　求　书 2/2 页 3 CN 114299615 A 3