(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111638702.9 (22)申请日 2021.12.2 9 (71)申请人 杭州当虹科技股份有限公司 地址 310000 浙江省杭州市西湖区西斗门 路3号天堂软件园E幢16层A座 (72)发明人 吴奕刚　纪亭　王伟明　许国忠　 巨金波　 (74)专利代理 机构 杭州新雏鹰知识产权代理有 限公司 3 3474 代理人 张玉平 (51)Int.Cl. H04N 21/4402(2011.01) G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 20/40(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种空中技巧快速包 装方法 (57)摘要 本发明公开了一种空中技巧快速包装 方法。 它具体包括如下步骤： 通过现场的高帧率超高清 的视频采集系统， 实时的将原始的画面采集， 并 导入到AI视频分析合成模块中； 通过AI视频分析 合成模块， 将 会对画面中的目标运动员进行检测 并提取目标图像， 按时间先后的顺序， 并根据目 标在画面前后所处的位置， 提取一系列的目标图 像； 根据目标这些时间位置关系， 结合后台的数 据测量分析， 以及相应的可视化处理返回的目标 相关数据信息， 生成叠加的信息数据集合； 将生 成的信息数据集合， 结合到最终的视频流中， 最 终将合成的视频流从系统中导出。 本发明的有益 效果是： 大大提升的观看的参与度， 丰富了观看 的体验， 给观众一种子弹时间的观看 体感。 权利要求书2页 说明书5页 附图3页 CN 114302234 A 2022.04.08 CN 114302234 A 1.一种空中技巧快速包 装方法， 其特 征是， 具体包括如下步骤： (1)通过现场的高帧率超高清的视频采集系统， 实时的将原始的画面采集， 并导入到AI 视频分析合成模块中； (2)通过AI视频分析合成模块， 将会对画面中的目标运动员进行检测并提取目标图像， 按时间先后的顺序， 并根据目标在画面前后所处的位置， 提取一系列的目标图像； (3)根据目标这些时间位置关系， 结合后台的数据测量分析， 以及相应的可视化处理返 回的目标相关数据信息， 生成叠加的信息数据集 合； (4)将生成的信息数据集合， 结合到最终的视频流中， 最终将合成的视频流从系统中导 出， 不仅实现了实时叠加数据信息， 并且以目标路径残影的方式， 呈现了目标的运动轨迹及 相关数据信息 。 2.根据权利要求1所述的一种空中技巧快速包装方法， 其特征是， 在步骤( 2)中， 具体 为： 当空中技巧快速包装的监测和处理被触发后， 后台服务开始 监测视频内容， 会先将 视频 进行解码处理， 生 成视频对应的图片序列集合， 然后通过A I视频分析合 成模块， 该模块基于 AI深度学习能力， 以研究视频运动前景提取为算法目标， 利用目标检测跟踪技术对摄像机 所拍摄区域内的前景目标进行准确的捕捉， 获得目标所在位置， 利用图像分割技术获取目 标的轮廓， 根据轮廓信息提取前景目标， 进行快速图像合成， 包括目标检测跟踪、 人体关键 点检测、 人体目标分割提取三个子模块实现不同帧序列内运动员目标的前 景提取。 3.根据权利要求2所述的一种空中技巧快速包装方法， 其特征是， 所述目标检测跟踪模 块用于提供当前视频帧目标运动员所在矩形框的坐标信息， 对指定区域进行实时检测， 当 检测到目标运动时， 开启跟踪， 获取后续视频帧的目标 人体区域 坐标。 4.根据权利要求2或3所述的一种空中技巧快速包装方法， 其特征是， 目标检测跟踪模 块的具体操作方法为： 目标检测利用卷积神经网络提取候选窗口， 筛选感兴趣区域存在的 目标， 检测出前景目标所在位置， 目标跟踪在目标检测的基础上， 采用跟踪算法获取目标在 连续帧中的位置 。 5.根据权利要求2所述的一种空中技巧快速包装方法， 其特征是， 所述人体关键点检测 模块用于获取人体17个关键点的坐标信息， 为后续人体高度速度的计算提供位置信息， 由 于运动员 在空中进行旋转时和常规人体姿态差异较大， 针对该场景， 加入不同姿态的运动 员素材， 同时在训练过程中加入扰动模拟运动员在空中的姿态， 丰富数据集， 并使用 FocalLoss损失函数指导网络学习困难样本 。 6.根据权利要求4所述的一种空中技巧快速包装方法， 其特征是， 人体关键点检测模块 的具体操作方法为： 对目标检测区域中的人体进行关键点检测， 输入由目标检测提供 的人 体所在区域矩形框的顶点坐标， 输出17个人体姿态关键点， 分别是： 鼻子、 左右眼睛、 左右耳 朵、 左右肩膀、 左右 肘、 左右手腕、 左右 臀、 左右膝盖、 左右脚踝。 7.根据权利要求2所述的一种空中技巧快速包装方法， 其特征是， 所述人体目标分割提 取模块输出二值图像， 用于后续的相邻视频帧人体重叠区域的叠加， 该模块是一个基于关 键点检测网络的融合模型， 通过和关键点网络共享部分网络权重， 利用关键点模型对于背 景区域的鲁棒性， 对分割网络的特性图信息进行约束， 进而提升 分割网络的背 景鲁棒性， 并 在训练过程中加入边缘区域的像素级约束以及二值图像的梯度约束来提升分割网络对于 困难区域的分割效果， 对于复杂的样本的学习， 采用了类似的FocalLoss损失函数， 缓解类权　利　要　求　书 1/2 页 2 CN 114302234 A 2间相似度问题。 8.根据权利要求6所述的一种空中技巧快速包装方法， 其特征是， 人体目标分割提取模 块的具体操作方法为： 根据人体关键点检测结果， 利用基于人体 关节的目标分割技术， 获取 目标的分割结果， 根据目标分割结果， 以及输入的视频流信息， 提取 前景目标。 9.根据权利要求5所述的一种空中技巧快速包装方法， 其特征是， 在步骤(3)中， 具体 为： 基于图像的运动目标 交互数据测量分析、 可视化数据与图像叠加生成并输出， 其中人体 高度速度信息的测量是基于人体关键点检测模块输出的坐标信息， 首先基于跳台的实际高 度获取画 面中预估的跳台像素高度， 以及运动员的初始速度信息、 运动员初始高度、 视频帧 数信息获取像素距离和实际距离之 间关系； 高度信息由当前视频帧运动员关键点的最高点 的纵坐标提供， 然后基于前一帧的高度信息更新当前显示的高度信息， 速度信息基于当前 视频帧运动员人体重心坐标， 通过计算前一帧和当前帧的重心偏移距离以及时间间隔， 实 现速度信息的更新。 10.根据权利要求9所述的一种空中技巧快速包装方法， 其特征是， 图像叠加支持参数 化的自动模式和手动等间隔模式， 其中自动模式基于目标检测模块， 当当前帧运动员的检 测框与上一个被叠加显示的检测框不重叠时， 将该检测框内的运动员选为新的叠加目标； 手动等间隔模式是每隔若干帧将输出的分割结果进行叠加。权　利　要　求　书 2/2 页 3 CN 114302234 A 3