(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111657616.2 (22)申请日 2021.12.3 0 (71)申请人 南京工业职业 技术大学 地址 210023 江苏省南京市栖霞区羊山北 路1号 (72)发明人 周璐　杨现　 (74)专利代理 机构 宁德一知牛知识产权代理事 务所(普通 合伙) 35308 专利代理师 熊礼 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01) G06T 7/80(2017.01) (54)发明名称 一种基于人体三维姿态时空关联动作识别 的运动视频采集剪辑方法及装置 (57)摘要 本发明提供了一种基于人体三维姿态时空 关联动作识别的运动视频采集剪辑方法及装置， 设计计算机技术领域， 特别是计算机视觉相关技 术。 具体的实施步骤包括： 根据预设的多个视角 影像采集传感器采集多角度的运动场地视频， 从 待处理视频中确定运动员的人体运动姿态， 估计 其三维空间中的运动信息， 识别出其运动动作， 根据目标动作片段， 对待处理视频进行剪辑， 以 得到高质量的视频片段。 该实施方式能有效提高 视频处理分析效率， 对运动训练的科学分析提供 有力分析工具， 具 备较高的实际使用价 值。 权利要求书2页 说明书5页 附图4页 CN 115376034 A 2022.11.22 CN 115376034 A 1.一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法， 其特征在于， 包括如下步骤： S1： 相机标定方法， 获得相机位置姿态信息 。 S2： 获取多视角输入视频， 以捕获人体的运动 动作。 S3： 识别器对S2中各视角视频的各帧使用卷积神经网络进行人体检测以及人体二维动 作姿态识别。 S4： 根据S1和S3中获得的相机位姿信息、 时间信息， 逐帧姿态信息， 将跨视角人体进行 几何关联， 时间关联， 迭代估计人体三维运动信息， 并进行时间空间的匹配跟踪， 去除跟踪 失败的目标， 对新建的目标进行初始化。 S5： 根据S4得到每个人体的动作姿态序列， 提取每个关节点的坐标信息， 时间信息以及 语义信息， 构建语义引导的神经网络训练动作 识别算法， 得到模型后， 用于在线的人体运动 动作识别。 S6： 根据设定的规则进行视频剪辑， 得到包 含有各事 件标注信息的动作视频集。 2.根据权利要求1所述的基于人体三维姿态时空关联动作识别的运动视频采集剪辑方 法， 其特征在于， 步骤S3中人体二维姿态估计的具体方法如下： 使用基于卷积神经网络的目标检测算法对图像中的人体进行检测， 得到人体候选矩形 框， 使用基于深度卷积神经网络HRNet的人体姿态估计算法得到人体框中各预设人体主要 关节点在图像中的二维坐标信息， 同时输出对应的置信度。 3.根据权利要求1所述的基于人体三维姿态时空关联动作识别的运动视频采集剪辑方 法， 其特征在于， 步骤S4中多视角多人的人体三维姿态估计的具体方法如下： 输入为跨视角多路视频的多人的二维姿态， 通过跨视角的几何关联单元， 利用不同视 角之间的二维几何关联方法以及三维估计的几何关联方法， 并进行结果融合， 得到多人检 测结果与多人跟踪结果的相似度矩阵， 并基于此进行匹配。 通过时间增 量的三维姿态更新 单元， 将新匹配中的二 维姿态更新到该目标的跟踪 结果中， 得到其估计的三 维姿态。 此外还 构建人体目标的增删模块完成算法的初始化以及失败目标的删除。 4.根据权利要求1所述的基于人体三维姿态时空关联动作识别的运动视频采集剪辑方 法， 其特征在于， 步骤S5中人体动作识别的具体方法如下： 通过构建语义引导的神经网络， 将的连续多帧人体姿态骨骼线序列作为网络输入， 通 过关节动力学表示模块提取位置和速度特征， 通过关节级模块融入各关节的语义特征， 通 过时间帧级模块融入时间序列特征， 最终输出骨骼姿态是否含有目标动作和相应的置信 度。 5.基于人体三维姿态时空关联动作识别的运动视频采集剪辑装置， 其特征在于， 包含 如下部分： 影像采集单元， 包含至少2个高清彩色摄像头， 用于人体运动视频采集， 并通过网络传 送至数据存 储单元。 数据存储单元， 所述的视频数据存储单元与影像采集单元相连接， 用于缓存采集的临 时视频， 同时用于存 储视频智能剪辑单 元处理后的视频剪辑片段与标签。 数据分析单元， 所述数据分析单元与数据存储单元连接， 用于识别出人体的三维运动 动作信息， 并将识别结果传送给视频智能剪辑单 元。权　利　要　求　书 1/2 页 2 CN 115376034 A 2视频智能剪辑单元， 所述视频智能剪辑单元与数据存储单元和数据分析处理单元连 接， 用于智能识别出运动 动作后根据相应规则剪切视频， 并对视频片段进行 标注。 6.根据权利要求5所述的基于人体三维姿态时空关联动作识别的运动视频采集剪辑装 置， 其特征在于， 所述的影像采集单元包括多台不同拍摄角度的高清彩色RGB网络摄像机， 带有摄像头模组、 wifi模块、 充电接口移动电源模组以及支架， 所述支架置于摄像机底部， 保证摄像机能完整拍摄到运动场地。 特别地， 多台相机之间不需要同步触发装置 。权　利　要　求　书 2/2 页 3 CN 115376034 A 3