(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111644931.1 (22)申请日 2021.12.2 9 (71)申请人 中央财经 大学 地址 100081 北京市海淀区学院南路39号 (72)发明人 郭韦昱　李肖　王秀利　王悦　 (74)专利代理 机构 北京市诚辉律师事务所 11430 代理人 成丹　耿慧敏 (51)Int.Cl. G06T 13/40(2011.01) G06T 17/20(2006.01) G06V 10/774(2022.01) G06V 10/34(2022.01) G06V 40/20(2022.01) G06K 9/62(2022.01) (54)发明名称 人体骨骼关节点提取模型的训练数据生成 方法及装置 (57)摘要 本申请提供一种人体骨骼关节点提取模型 的训练数据生成方法及装置， 涉及人工智能领 域， 解决现有获取训练数据及标注信息费时费 力， 且采集到的训练数据及标注信息不准确、 不 稳定的问题。 该方法包括： 对目标人体进行人体 3D动作建模， 生成目标人体的3D动作蒙皮数据； 3D动作蒙 皮数据包括3D动作帧对应的3D  mesh集 合； 根据预定义的各骨骼关节点与3D  mesh集合 对应子集之间的关联关系、 以及目标人体的3D动 作蒙皮数据， 确定目标人体的各个3D动作帧中骨 骼关节点的3D坐标； 其中， 关联关系根据任务需 求预先定义； 根据任务需求对每个3D动作帧进行 2D渲染， 根据渲染结果生成目标人体的2D图像数 据， 以及对骨骼关节点的3D坐标进行坐标转化生 成骨骼关节点的2D像素坐标。 权利要求书2页 说明书11页 附图4页 CN 114359445 A 2022.04.15 CN 114359445 A 1.一种人体骨骼关节点 提取模型的训练数据生成方法， 其特 征在于， 所述方法包括： 对目标人体进行人体3D动作建模， 生成所述目标人体的3D动作蒙皮数据； 其中， 所述3D 动作蒙皮数据包括所述目标人体运动发生过程中， 连贯动作下的每个3D动作帧对应的3D   mesh集合； 根据预定义的各骨骼关节点与3D  mesh集合对应子集之间的关联关系、 以及所述目标 人体的3D动作蒙皮数据， 确 定所述目标人体的各个3D动作帧中各骨骼关节点的3D坐标； 其 中， 所述关联关系根据任务需求预 先定义； 根据所述任务需求对所述每个3D动作帧进行2D渲染， 根据渲染结果生成所述目标人体 的2D图像数据， 以及 对所述骨骼关节点的3D坐标进 行坐标转化生 成所述骨骼关节 点的2D像 素坐标。 2.根据权利要求1所述的方法， 其特征在于， 所述对目标人体进行人体3D动作建模， 生 成所述目标 人体的3D动作蒙皮数据， 包括： 对所述目标人体进行人体3D动作建模， 获取所述目标人体的人体姿态参数， 所述人体 姿态参数包括所述目标人体的姿势 参数序列以及所述目标人体的体态参数， 所述目标人体 的姿势参数序列包括所述目标人体的连贯动作中多个关键姿势对应的姿势 参数， 所述目标 人体的姿势 参数用于表征所述目标人体的骨骼关节点的相对位置； 所述目标人体的体态参 数用于表征 所述目标 人体的人体 体态特征； 根据所述任务需求， 依次在相邻采样时刻下的人体姿态参数之间进行插值得到所述目 标人体的人体姿态序列， 所述人体姿态序列包括所述目标人体连贯动作下的人体姿势参数 序列和所述目标 人体的体态参数； 将所述人体姿态序列包括的每个人体姿态参数输入到映射模型， 生成所述目标人体的 3D动作蒙皮数据； 其中， 所述映射模 型是表示人体姿态 参数与3D  mesh集合之间的映射关系 的模型。 3.根据权利要求2所述的方法， 其特征在于， 所述人体姿态参数包括所述目标人体的姿 势参数序列以及所述 目标人体的体态参数； 所述对所述目标人体进行人体3D动作建模， 获 取所述目标 人体的人体姿态参数， 包括： 根据所述任务需求， 对所述目标人体进行动作建模， 设置连贯动作中多个关键姿势 的 人体骨骼关节点的相对位置， 获取 所述目标 人体的姿势参数序列； 根据所述任务需求， 通过3D人物角色建模软件对所述目标人体进行角色建模， 获取所 述目标人体的体态参数。 4.根据权利要求1所述的方法， 其特征在于， 所述3D  mesh集合对应子集包括多个mesh 块， 所述关联关系根据任务需求预 先定义， 包括： 根据所述任务需求， 采用所述3D  mesh集合对应子集包括的mesh块形成的曲面的中心 点作为待标注的骨骼关节点的3D坐标。 5.根据权利要求 4所述的方法， 其特 征在于， 所述待标定的骨骼关节点的3D坐标p表示 为： 其中， 所述mi表示3D mesh集合对应子集中的第i个mesh块， 所述mesh块是一个包含3个 3D坐标的向量； 所述 n表示3D mesh集合对应子集包 含的mesh块的总数量。权　利　要　求　书 1/2 页 2 CN 114359445 A 26.根据权利要求1所述的方法， 其特征在于， 所述根据所述任务需求对所述每个3D动作 帧进行2D渲染， 根据渲染结果生成所述目标人体的2D图像数据， 以及对所述骨骼关节点的 3D坐标进行坐标转 化生成所述骨骼关节点的2D像素坐标， 包括： 根据所述任务需求建立所述目标 人体动作发生的场景； 在通用3D动作建模软件中设置和加载图像渲染引擎， 从不同摄像机视角对所述场景 下， 所述目标人体的每个3D动作帧进行2D渲染， 将2D渲染后的渲染结果保存成所述目标人 体的2D图像数据； 根据摄像机内外参数及相机成像原理公式， 将每个3D动作帧中的骨骼关节点的3D坐标 转化成对应 摄像机视角下的2D像素坐标。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述任务需求建立所述目标人体 动作发生的场景， 包括： 根据所述任务需求， 在所述目标人体动作发生的场景中添加多个摄像机， 形成多个视 角， 并设置所述摄 像机的内外参数； 根据所述任务需求， 在所述目标人体动作发生的场景中建立背景以及景物、 设置调整 所述目标 人体动作发生的场景中的光源位置、 光源的强弱。 8.一种人体骨骼关节点 提取模型的训练数据生成装置， 其特 征在于， 所述装置包括： 第一生成模块， 用于对目标人体进行人体3D动作建模， 生成所述目标人体的3D动作蒙 皮数据； 其中， 所述3D动作蒙皮数据包括所述目标人体运动发生过程中， 连贯动作下的每个 3D动作帧对应的3D  mesh集合； 确定模块， 用于根据预定义的各骨骼关节点的3D坐标与3D  mesh集合对应子集之间的 关联关系、 以及所述目标人体的3D动作蒙皮数据， 确定所述目标人体的各个3D动作帧中各 骨骼关节点的3D坐标； 其中， 所述关联关系根据任务需求预 先定义； 第二生成模块， 用于根据所述任务需求对所述每个3D动作帧进行2D渲染， 根据渲染结 果生成所述目标人体的2D图像数据， 以及 对所述骨骼关节点的3D坐标进 行坐标转化生成所 述骨骼关节点的2D像素坐标。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一所述的人体骨 骼关节点 提取模型的训练数据生成方法。 10.一种可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执行时 实现如权利要求1 ‑7中任一所述的人体骨骼关节点 提取模型的训练数据生成方法。权　利　要　求　书 2/2 页 3 CN 114359445 A 3