(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111623361.8 (22)申请日 2021.12.28 (71)申请人 深圳信息职业 技术学院 地址 518172 广东省深圳市龙岗区龙翔大 道2188号 (72)发明人 刘星　顾礼　高波　 (74)专利代理 机构 广东普罗米修 律师事务所 44615 代理人 齐则琳 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于骨架关节组合几何特征的行为识别方 法 (57)摘要 本申请适用于视频数据处理技术领域， 提供 了一种基于骨架关节组合几何特征的行为识别 方法， 旨在提高基于骨架关节组合几何特征的行 为识别准确度和 效率。 该方法主要包括： 将骨架 划分为X个关节组合， X为大于1的正整数； 描述每 个关节组合的空间位置特征； 描述每个 关节组合 的相对几何特征； 将每个关节组合的所述空间位 置特征与相对几何特征分别进行结合描述为每 个关节组合的几何特征； 分别将每个 关节组合的 几何特征输入经过训练的深度卷积网络进行特 征提取与分类， 分别输出若干行为的可能概率； 根据预设融合函数对若干行为的可能概率进行 综合分析， 输出可能概率最高的所述行为， 得到 目标行为。 权利要求书5页 说明书19页 附图3页 CN 114299614 A 2022.04.08 CN 114299614 A 1.一种基于骨架关节组合几何特 征的行为识别方法， 其特 征在于， 包括： 将骨架划分为X个关节组合， 所述X为大于1的正整数； 描述每个所述关节组合的空间位置特 征； 描述每个所述关节组合的相对几何特 征； 将每个所述关节组合的所述空间位置特征与所述相对几何特征分别进行结合描述为 每个所述关节组合的几何特 征； 分别将每个所述关节组合的所述几何特征输入经过训练的深度卷积网络进行特征提 取与分类， 分别输出若干行为的可能概 率； 根据预设融合函数对所述若干行为的可能概率进行综合分析， 输出所述可能概率最高 的所述行为， 得到目标 行为。 2.根据权利要求1所述的行为识别方法， 其特征在于， 所述X为3； 所述骨架为人体骨架； 所述将骨架划分为X个关节组合包括： 根据预设规则去除所述人体骨架中的无效关节， 得到剩余关节； 将所述剩余关节分为3个关节组合P1、 P2、 P3， 其中所述P1包括所述剩余关节中左臂和 右臂的关节， 所述P2包括所述剩余关节中所述左臂和右腿的关节， P3包括所述剩余关节中 所述右臂和左腿的关节。 3.根据权利要求2所述的行为识别方法， 其特征在于， 每个所述关节组合包括关节的关 节序号集合、 关节的空间连接关系 、 关节的空间连接顺序； 所述P1、 所述P2、 所述P3分别描述 为： 其中所述H表示所述左臂和所述右 臂的关节序号 集合； 所述LG表示所述左臂和所述右腿的关节序号 集合； 所述RG表示所述右 臂和所述左腿的关节序号 集合； 所述Jm表示序号 为m的关节； 所述Jn表示序号 为n的关节； 所述Jk表示序号 为k的关节。 4.根据权利要求3所述的行为识别方法， 其特征在于， 所述描述每个所述关节 组合的空 间位置特 征包括： 分别描述所述P1、 所述P2、 所述P3的空间位置特 征为： 权　利　要　求　书 1/5 页 2 CN 114299614 A 2所述 表示所述P1中序号 为i的关节在t时刻的三维坐标， T表示时长； 所述 表示所述P2中序号 为j的关节在t时刻的三维坐标； 所述 表示所述P3中序号 为k的关节在t时刻的三维坐标。 5.根据权利 要求4所述的行为识别方法， 其特征在于， 在分别描述所述P1、 所述P2、 所述 P3的空间位置特 征之后， 具体还 包括： 对所述P1的空间位置特 征中的所述 进行归一 化处理到0至255之间的第一X 数值； 通过线性插值的方法将所述第一X 数值表示 为一张224×112的图片； 对所述P1的空间位置特 征中的所述 进行归一 化处理到0至255之间的第一Y数值； 通过线性插值的方法将所述第一Y数值表示 为一张224×112的图片； 对所述P1的空间位置特 征中的所述 进行归一 化处理到0至255之间的第一Z数值； 通过线性插值的方法将所述第一Z数值表示 为一张224×112的图片； 将所述第一X数值表示的一张224 ×112图片、 所述第一Y数值表示的一张224 ×112图 片、 以及所述第一Z数值表示的一张224 ×112图片分别视为第一RGB图片的Red、 Green、 Blue 通道， 得到一张所述第一RGB图片； 使用所述第一RGB图片描述所述P1的空间位置特 征； 对所述P2的空间位置特 征中的所述 进行归一 化处理到0至255之间的第二X 数值； 通过线性插值的方法将所述第二X 数值表示 为一张224×112的图片； 对所述P2的空间位置特 征中的所述 进行归一 化处理到0至255之间的第二Y数值； 通过线性插值的方法将所述第二Y数值表示 为一张224×112的图片； 对所述P2的空间位置特 征中的所述 进行归一 化处理到0至255之间的第二Z数值； 通过线性插值的方法将所述第二Z数值表示 为一张224×112的图片； 将所述第二X数值表示的一张224 ×112图片、 所述第二Y数值表示的一张224 ×112图 片、 以及所述第二Z数值表示的一张224 ×112图片分别视为第二RGB图片的Red、 Green、 Blue 通道， 得到一张所述第二RGB图片； 使用所述第二RGB图片描述所述P2的空间位置特 征； 对所述P3的空间位置特 征中的所述 进行归一 化处理到0至255之间的第三X 数值； 通过线性插值的方法将所述第三X 数值表示 为一张224×112的图片； 对所述P3的空间位置特 征中的所述 进行归一 化处理到0至255之间的第三Y数值； 通过线性插值的方法将所述第三Y数值表示 为一张224×112的图片； 对所述P3的空间位置特 征中的所述 进行归一 化处理到0至255之间的第三Z数值； 通过线性插值的方法将所述第三Z数值表示 为一张224×112的图片； 将所述第三X数值表示的一张224 ×112图片、 所述第三Y数值表示的一张224 ×112图权　利　要　求　书 2/5 页 3 CN 114299614 A 3