(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211054680.6 (22)申请日 2022.08.31 (71)申请人 上海浦东发展银行股份有限公司 地址 200002 上海市黄浦区中山 东一路12 号 (72)发明人 胡瑛皓　赵明璧　郭林海　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 黄立伟 (51)Int.Cl. G06T 13/40(2011.01) G06V 40/20(2022.01) G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/774(2022.01)G06V 10/766(2022.01) G06V 10/82(2022.01) (54)发明名称 模型训练、 动作映射方法、 装置、 电子设备及 存储介质 (57)摘要 本发明实施例公开了一种模 型训练、 动作映 射方法、 装置、 电子设备及存储介质。 该模型训练 方法包括： 获取已与数字人面部进行面部绑定的 样本面部 数据； 通过所述样本面部数据驱动所述 数字人面部进行样本动作， 并对正在进行所述样 本动作的所述数字人面部进行采集， 得到样本视 频； 将所述样本视频输入到动作捕捉模型中， 得 到样本动作数据； 基于作为实际输入 数据的所述 样本动作数据， 以及， 作为期望输出数据的所述 样本面部数据， 对原始 映射模型进行训练， 得到 目标映射模型。 本发明实施例的技术方案， 可 以 降低面部绑定成本和工作量。 权利要求书3页 说明书16页 附图10页 CN 115457174 A 2022.12.09 CN 115457174 A 1.一种模型训练方法， 其特 征在于， 包括： 获取已与数字人面部进行面部绑定的样本面部数据； 通过所述样本面部数据驱动所述数字人面部进行样本动作， 并对正在进行所述样本动 作的所述数字人面部进行采集， 得到样本 视频； 将所述样本 视频输入到动作捕捉模型中， 得到样本动作数据； 基于作为实 际输入数据的所述样本动作数据， 以及， 作为期望输出数据的所述样本面 部数据， 对原 始映射模型进行训练， 得到目标映射模型。 2.根据权利要求1所述的方法， 其特征在于， 在所述得到样本动作数据之后， 所述方法 还包括： 对所述样本动作数据进行位置编码， 得到位置特征， 并对各所述位置特征进行组合排 列， 得到样本图像； 将所述样本动作数据放置在所述样本图像中， 并将放置后得到的所述样本图像作为所 述样本动作数据。 3.根据权利要求2所述的方法， 其特征在于， 用于进行回归的所述原始映射模型中包括 卷积神经网络； 基于作为实 际输入数据的所述样本动作数据， 以及， 作为期望输出数据的所述样本面 部数据， 对原 始映射模型进行训练， 得到目标映射模型， 包括： 将作为实际输入数据的所述样本动作数据输入到所述卷积神经网络 中， 以通过所述卷 积神经网络对所述样本动作数据进行特征提取， 并且根据特征提取结果回归出与所述样本 面部数据对应的回归面部数据； 将作为期望输出数据的所述样本面部数据， 以及作为实际输出数据的所述 回归面部数 据进行对比， 并根据对比结果调整所述原始映射模型中的网络参数， 以训练得到目标映射 模型。 4.根据权利要求1所述的方法， 其特征在于， 所述样本面部数据的数量是多帧， 在所述 获取已与数字人面部进行面部绑定的样本面部数据之后， 还 包括： 针对多帧所述样本面部数据组成的多个视频片段中的每个所述视频片段， 为所述视频 片段中的首帧所述样本面部数据设置目标声 音信号； 在所述得到样本 视频之后， 所述方法还 包括： 对所述样本视频中的声音分量进行侦测， 得到所述样本视频中包含有所述目标声音信 号的样本视频帧， 并确定所述包含有 所述目标声音信号的样本视频帧在所述样本视频中的 视频帧位置； 结合各所述样本动作 数据在所述样本视频中分别对应的样本视频帧， 从各所述样本动 作数据中确定与所述视频帧位置对应的位置动作数据； 根据各所述位置动作 数据及每个所述视频片段的片段时长， 对各所述样本动作数据中 存在裁剪需求的所述样 本动作数据进 行裁剪， 并基于裁剪后保留下来的所述样本动作数据 对捕捉到的所述样本动作数据进行 更新。 5.根据权利要求4所述的方法， 其特征在于， 在所述结合各所述样本动作数据在所述样 本视频中分别对应的样本 视频帧之前， 还 包括： 对各所述样本动作 数据进行重采样， 并基于重采样结果对捕捉到的所述样本动作 数据权　利　要　求　书 1/3 页 2 CN 115457174 A 2进行更新。 6.根据权利要求1所述的方法， 其特征在于， 所述获取已与数字人面部进行面部绑定的 样本面部数据， 包括： 获取面部数据集合， 其中， 所述面部数据集合中包括多个候选面部数据， 每个所述候选 面部数据均已与数字人面部进行面部绑定； 从所述面部数据集 合中选取至少两个所述 候选面部数据； 基于选取的各所述候选面部数据进行插值， 并将插值得到的插值面部数据以及选取的 每个所述候选面部数据， 均 作为已与所述数字人面部进行面部绑定的样本面部数据。 7.一种动作映射方法， 其特 征在于， 包括： 在目标人面部进行目标动作的情况下， 获取对所述目标人面部进行采集后得到的目标 视频， 并将所述目标视频输入到动作捕捉模型， 得到目标动作数据； 获取按照权利要求1 ‑6中任一项的模型训练方法训练得到的目标映射模型； 将所述目标动作数据输入至所述目标映射模型， 并根据所述目标映射模型的输出结 果， 映射得到可在数字人面部上进行面部绑定的目标面部数据； 其中， 所述数字人面部和所述动作捕捉模型， 与所述目标映射模型关联。 8.一种模型训练装置， 其特 征在于， 包括： 样本面部数据获取模块， 用于获取已与数字人面部进行面部绑定的样本面部数据； 样本视频得到模块， 用于通过所述样本面部数据驱动所述数字人面部进行样本动作， 并对正在进行 所述样本动作的所述数字人面部进行采集， 得到样本 视频； 样本动作数据得到模块， 用于将所述样本视频输入到动作捕捉模型中， 得到样本动作 数据； 目标映射模型得到模块， 用于基于作为实际输入数据的所述样本动作数据， 以及， 作为 期望输出数据的所述样本面部数据， 对原 始映射模型进行训练， 得到目标映射模型。 9.一种动作映射装置， 其特 征在于， 包括： 目标动作数据得到模块， 用于在目标人面部进行目标动作的情况下， 获取对所述目标 人面部进行采集后得到的目标视频， 并将所述 目标视频输入到动作捕捉模型， 得到目标动 作数据； 目标映射模型获取模块， 用于获取按照权利要求1 ‑6中任一项的模型训练方法训练得 到的目标映射模型； 目标面部数据得到模块， 用于将所述目标动作数据输入至所述目标映射模型， 并根据 所述目标映射模型的输出结果， 映射得到可在数字人面部上进行面部绑定的目标面部数 据， 其中， 所述数字人面部和所述动作捕捉模型， 与所述目标映射模型关联。 10.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器执行如权利要求1 ‑6中任一项所述的模 型训练方法， 或者如权利要求7中所述的动作映射方法。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指权　利　要　求　书 2/3 页 3 CN 115457174 A 3