(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211317330.4 (22)申请日 2022.10.26 (71)申请人 兰州未来 新影文化科技 集团有限责 任公司 地址 730300 甘肃省兰州市兰州新区综合 保税区综合 服务楼B区121号 (72)发明人 杜华　王语堂　岳宗　赵朋飞　 (74)专利代理 机构 北京东方芊悦知识产权代理 事务所(普通 合伙) 11591 专利代理师 凌云 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/20(2011.01) (54)发明名称 人脸五官贴图生成方法 (57)摘要 本发明涉及人脸 五官贴图生成方法， 本发 明 通过生成目标人脸图像表情和姿态且具有源人 脸图像纹理特征的第二人脸图像； 对齐人脸关键 点坐标， 确定人脸区域边界； 通过三角剖分生成 人脸区域的泊松融合mask图像和权重混合mask 图像， 人脸五官划分区域处理， 通过三角剖分生 成人脸五官区域的泊松融合mask图像和权重混 合mask图像； 人脸整体通道混合和泊松融合， 人 脸五官通道混合和泊松融合。 本发 明使得换脸结 果既能保留视频人脸的姿态和表情， 又能保持比 较自然的融合效果， 使 得人眼更难以分辨替换的 痕迹。 对于肤色和光照条件差异较大的人脸图 像， 替换融合后的人脸更加自然， 更加逼真。 权利要求书2页 说明书5页 附图1页 CN 115482339 A 2022.12.16 CN 115482339 A 1.人脸五官贴图生成方法， 其特 征在于包括以下步骤： 步骤一、 通过人脸3DMM三维重建方法， 生成目标人脸 图像表情和姿态且具有源人脸图 像纹理特征的第二人脸图像； 步骤二、 获取第二人脸图像和目标人脸的关键点坐标信息， 计算第二人脸图像的关键 点到目标人脸关键点的平面刚体变换， 通过平面刚体变换计算源人脸关键点对齐到目标人 脸的的关键点 坐标； 步骤三、 生成整体人脸融合区域的泊松Mask图像和权重混合Mask图像， 根据对齐到目 标人脸的的关键点坐标， 确定人脸融合边界， 对于非皮肤上的眉毛边界， 整体向外移动到额 头皮肤上， 计算移动 后的关键点 三角剖分结构， 根据三角剖分生成两组不同的Mask图像； 步骤四、 划分人脸五官区域， 根据五官分布， 将对齐到目标人脸的的关键点划分成不同 区域的关键点， 计算不同区域关键点的三角剖分结构， 根据三角剖分生成泊松融合Mask图 像和权重混合Mask图像； 步骤五、 整体人脸区域的像素通道融合和泊松融合， 生成人脸图像五官融合泊松 的背 景图像； 步骤六、 人脸五官分别进行像素通道融合和泊松融合， 生成最终换脸所需的人脸五官 贴图。 2.根据权利要求1所述的人脸五官贴图生成方法， 其特征在于， 在步骤一中， 所述人脸 3DMM三维重建方法包括以下步骤： 步骤S11、 源人脸和视频中目标 人脸的三维重建 输入源人脸和目标人脸的二维图片， 利用3DMM人脸三维重建方法求解源人脸和目标人 脸的3DMM参数， 3DM M参数包含形状参数、 表情参数、 姿态参数； 其中， 输入目标 人脸的视频， 人脸检测提取 人脸区域图像， 计算当前帧的3DM M参数； 3DMM人脸三维重建方法用到的重建表示公式为： 其中， 表示平均人脸模型， si表示形状对应的主成分分析部分， αi表示当前形状的系 数， ei表示表情对应的主成分分析部分， βi表示当前表情相应的系数； 当前人脸图像的三维 形状是平均形状和m个基本形状线性组合生成， 当前人脸图像的三 维表情是平均表情和n个 基本表情线性组合 生成； 步骤S12、 计算视频 人脸3DMM形状参数统一 解 筛选视频中目标人脸处于正脸角度 下的视频帧人脸图片， 再筛选处于正脸角度 下的视 频帧人脸图片的形状参数， 计算 一个平均形状作为视频 人脸形状参数统一 解； 步骤S13、 3DM M表情参数和姿态参数的优化 通过计算源人脸三维点中选取的关键点投影位置与源人脸68个关键点检测位置之间 的偏移量， 对3DM M解算的表情参数和姿态参数进行优化； 步骤S14、 组合 生成新的3DM M形状 获取源人脸的形状参数， 获取目标人脸的表情参数和姿态参数， 将源人脸的形状参数、权　利　要　求　书 1/2 页 2 CN 115482339 A 2目标人脸的表情参数和姿态参数进行组合 生成替换 人脸的3DM M形状； 步骤S15、 生成目标 人脸图像表情和姿态且具有源人脸图像纹 理特征的第二人脸图像 将源人脸重建后的三维点云根据姿态参数转换到相机坐标系， 然后投影到源图像上通 过人脸关键点对齐尺度和平移， 建立三维点和源人脸图像像素的映射关系； 再建立组合模 型三维点和目标人脸图像像素映射关系； 对于组合模型投影到目标人脸图像上的某个位置 的像素值， 通过仿射变换计算该位置坐标对应的源图像人脸坐标， 通过双线性插值计算得 到该位置的像素值。 3.根据权利要求2所述的人脸五官贴图生成方法， 其特 征在于： 在步骤一中， 通过组合源人脸的形状参数和目标人脸的表情参数、 姿态参数进行组合， 生成组合模型； 源人脸和目标人脸的纹理映射关系通过源人脸三 维点云投影到源人脸图像 上的坐标位置和组合模型三 维点云投影到目标人脸图像上的坐标位置 建立， 同一个三维点 对应的纹 理坐标表示公式为： Xprojecti on＝s×P×R×Scombine+t 其中， Scombine表示组合模型的三维点， R为旋转矩阵， s是尺度因子， P为正交的投影矩阵， t表示平移矩阵， Xprojecti on表示人脸 三维点坐标投影到人脸图像上的二维投影点 坐标。 4.根据权利要求3所述的人脸五官贴图生成方法， 其特征在于： 步骤二中提到的关键点 指的是Xprojecti on中的位置在人脸五官以及人脸轮廓边界上的二维坐标点， 关键点有68个。 5.根据权利要求1所述的人脸五官贴图生成方法， 其特征在于： 步骤三和步骤四中生成 的泊松融合Mask图像和权重 混合Mask图像， 是对三角剖分中的每个三角形区域凸包填充的 结果； 泊松融合Mask图像用来拼接融合区域和背景区域的梯度图， 对拼接后的梯度图像求 取散度后 即可求解泊松方程； 权重混合Mask图像是自动凸包填充权重值的图像， 通过设置 不同的权 重值， 融合人脸的皮肤可以得到不同的融合偏向； 图像融合表示公式为： I＝α F+(1‑α )B 0≤α ≤1 其中α 表示泊松融合Mask图像或权重混合Mask图像， F表示第二人脸图像， B表示目标人 脸图像。权　利　要　求　书 2/2 页 3 CN 115482339 A 3