(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211195604.7 (22)申请日 2022.09.28 (71)申请人 出门问问创新科技有限公司 地址 210034 江苏省南京市经济技 术开发 区红枫科技园D1 1栋第8层 (72)发明人 刘聪　李志飞　 (74)专利代理 机构 北京庚致知识产权代理事务 所(特殊普通 合伙) 11807 专利代理师 孙敬霞　韩德凯 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/24(2022.01) (54)发明名称 面部参数确定方法、 装置、 电子设备及存储 介质 (57)摘要 本公开提供了一种面部参数确定方法、 装 置、 电子设备及存储介质。 本公开实施例的面部 参数确定方法包括： 通过解析摄像装置实时采集 的视频获取包含目标人物面部的第一图像； 利用 第一图像获取目标人物的面部关键点数据和面 部区域信息； 根据面部区域信息从第一图像中提 取目标人物的面部图像； 根据面部关键点数据确 定目标人物的人脸旋转姿态角； 通过预先训练的 第一深度学习模型利用目标人物的面部图像和 目标人物的人脸旋转姿态角确定面部形变参数， 面部形变参数用于驱动虚拟数字人执行面部动 作。 本公开能够通过2D图像实现面部形变参数的 准确确定， 执行速度快， 适用普通相机， 成本低， 普适性好， 能够满足虚拟数字人与真人面部动作 实时同步的需求， 便于与虚拟人技术结合应用于 普通电子设备。 权利要求书2页 说明书11页 附图2页 CN 115512417 A 2022.12.23 CN 115512417 A 1.一种面部参数确定方法， 其特 征在于， 包括： 通过解析摄 像装置实时采集的视频获取包 含目标人物面部的第一图像； 利用所述第一图像获取目标 人物的面部关键点数据和面部区域信息； 根据所述 面部区域信息从所述第一图像中提取目标 人物的面部图像； 根据所述 面部关键点数据确定目标 人物的人脸旋转姿态角； 通过预先训练的第一深度学习模型利用所述目标人物的面部图像和所述目标人物的 人脸旋转姿态角确定面部形变参数， 所述面部形变参数用于驱动虚拟数字人执行面部动 作。 2.根据权利要求1所述的面部参数确定方法， 其特征在于， 所述根据所述面部区域信 息 从所述第一图像中提取目标 人物的面部图像， 包括： 按照预定参数调整所述 面部区域信息以使面部区域按照预定比例扩大； 提取所述第一图像中扩大后的面部区域部分作为目标 人物的面部图像； 以及， 将所述目标 人物的面部图像按照所述第一图像的宽高比进行放缩。 3.根据权利要求1所述的面部参数确定方法， 其特征在于， 通过预先训练 的第一深度学 习模型利用所述目标人物的面部图像和所述目标人物的人脸旋转姿态角确定面部形变参 数， 包括： 通过预先训练的第 一深度学习 模型对所述目标人物的面部图像进行处理， 以提取目标 人物的面部形变参数； 利用所述目标 人物的人脸旋转姿态角替换 所述面部形变参数中头 部姿态的相关参数。 4.根据权利要求1所述的面部参数确定方法， 其特征在于， 所述第 一深度学习模型采用 Effcient Net网络， 根据预先构建的训练数据集训练得到， 所述训练数据集包括多种二 维图 像样本， 每种二维 图像样本对应一种 预定面部动作， 所述二维 图像样本标注有相应预定面 部动作的面部形变参数。 5.根据权利要求4所述的面部参数确定方法， 其特征在于， 所述二维图像样本标注的面 部形变参数通过对所述面部形变参数中对应预定面部动作的面部形变系数单独归一化而 获得。 6.根据权利要求1所述的面部参数确定方法， 其特征在于， 确定面部形变参数之后， 还 包括如下之一或多 项： 检测到所述面部形变参数中有面部形变系数的数值发生突变时， 使用1€滤波器对所 述面部形变参数进行 过滤； 将所述面部形变参数中数值低于预定阈值的面部形变系数归零； 将所述面部形变参数中部分或全部面部形变系数的数值按照预定尺度进行放缩。 7.根据权利要求1所述的面部参数确定方法， 其特征在于， 所述面部形变参数对应的面 部动作包括如下之一 或多项： 张嘴、 闭嘴、 睁眼、 闭眼、 单侧眨眼、 皱眉、 皱鼻、 露齿微笑、 不露 齿微笑、 吐舌头、 单侧噘嘴、 双侧噘嘴、 鼓腮、 说话、 朗读。 8.一种面部参数确定装置， 其特 征在于， 包括： 图像提取单元， 用于通过解析摄像装置实时采集的视频获取包含目标人物面部的第 一 图像； 信息提取单元， 用于利用所述第 一图像获取目标人物的面部关键点数据和面部区域信权　利　要　求　书 1/2 页 2 CN 115512417 A 2息； 面部图像提取单元， 用于根据 所述面部区域信 息从所述第 一图像中提取目标人物的面 部图像； 姿态确定单 元， 用于根据所述 面部关键点数据确定目标 人物的人脸旋转姿态角； 参数确定单元， 用于通过预先训练 的第一深度学习 模型利用所述目标人物的面部图像 和所述目标人物的人脸旋转姿态角确定面部形变参数， 所述面部形变参数用于驱动虚拟数 字人执行面部动作。 9.一种电子设备， 其特 征在于， 包括： 存储器， 所述存 储器存储执行指令； 以及 处理器， 所述处理器执行所述存储器存储的执行指令， 使得所述处理器执行如权利要 求1至7中任一项所述的面部参数确定方法。 10.一种可读存储介质， 其特征在于， 所述可读存储介质中存储有执行指令， 所述执行 指令被处 理器执行时用于实现如权利要求1至7中任一项所述的面部参数确定方法。权　利　要　求　书 2/2 页 3 CN 115512417 A 3