(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111639025.2 (22)申请日 2021.12.2 9 (71)申请人 汕头大学 地址 515063 广东省汕头市大 学路汕头大 学 (72)发明人 包能胜　姜佳华　郭胜保　刘俊理　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 代理人 刘力 (51)Int.Cl. G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于生成对抗网络的人脸表情合成方 法 (57)摘要 本发明公开了一种基于生成对抗网络的人 脸表情合成方法， 包括： 构建基于生成对抗网络 的特征分离框架和特征融合框架， 且任意一个框 架均包括映射网络和由N(N＞1)个渐进层组成的 生成网络； 从源图像中提取初始身份特征向量后 将其输入特征分离框架进行编解码， 得到身份特 征向量； 从目标图像中提取初始表情特征向量后 将其输入特征分离框架进行编解码， 得到表情特 征向量； 将身份特征向量和表情特征向量以指定 渐进层方式按序输入特征融合框架中的生成网 络进行不同层级间的融合运算， 得到人脸表情图 像； 根据人脸表情图像和源图像 之间的相似度指 标值， 对人脸表情图像的合成结果进行评估。 本 发明实现人脸表情图像的高分辨 率合成输出。 权利要求书2页 说明书6页 附图1页 CN 114399453 A 2022.04.26 CN 114399453 A 1.一种基于生成对抗网络的人脸表情合成方法， 其特 征在于， 包括： 构建基于生成对抗网络的特征分离框架和特征融合框架， 且任意一个框架均包括映射 网络和由N(N＞1)个 渐进层组成的生成网络； 从源图像中提取出初始身份特征向量， 再将所述初始身份特征向量输入所述特征分离 框架中进行编解码处 理， 得到优化后的身份特 征向量； 从目标图像中提取出初始表情特征向量， 再将所述初始表情特征向量输入所述特征分 离框架中进行编解码处 理， 得到优化后的表情特 征向量； 将所述身份特征向量和所述表情特征向量以指定渐进层方式按序输入所述特征融合 框架中的生成网络进行不同层级间的融合 运算， 得到人脸表情图像； 根据所述人脸表情图像和所述源图像之间的相似度指标值， 对所述人脸表情图像的合 成结果进行评估。 2.根据权利要求1所述的基于生成对抗网络的人脸表情合成方法， 其特征在于， 所述N 个渐进层按照输出图像分辨 率由小到大的顺序进行串接 。 3.根据权利要求1所述的基于生成对抗网络的人脸表情合成方法， 其特征在于， 所述将 身份特征向量和表情特征向量以指定渐进层方式按序输入特征融合框架中的生成网络进 行不同层级间的融合 运算， 得到人脸表情图像包括： 从所述N个渐进层中指定K(0＜K＜N)个渐进层以所述身份特征向量为输入以及剩下的 N‑K个渐进层以所述表情特 征向量为输入； 对所述身份特征向量进行仿射变换得到第 一控制向量， 同时对所述表情特征向量进行 仿射变换 得到第二控制向量； 从第一个渐进层开始， 对其指定输入的特征向量进行上采样和卷积运算， 同时利用该 特征向量所对应的控制向量进行 结果修正， 得到第一层输出向量； 在第二个渐进层中， 将其指定输入的特征向量与 所述第一层输出向量进行归一化后合 并， 再对该合并向量进行上采样和卷积运算， 同时利用该特征向量所对应的控制向量进行 结果修正， 得到第二层输出向量； 以此类推， 在第 N个渐进层中得到第N层输出向量， 再将所述第 N层输出向量转换为人脸 表情图像。 4.根据权利要求1所述的基于生成对抗网络的人脸表情合成方法， 其特征在于， 所述从 源图像中提取 出初始身份特 征向量包括： 基于源图像包含有真实人脸信息， 对所述源图像进行人脸对齐裁剪与背景归一化处 理， 得到去除冗余信息后的待处 理源图像； 利用ResNet50 网络对所述待 处理源图像中所包含的身份特征信息进行提取， 形成初始 身份特征向量。 5.根据权利要求4所述的基于生成对抗网络的人脸表情合成方法， 其特征在于， 所述将 初始身份特征向量输入特征分离框架中进行编解码处理， 得到优化后的身份特征向量包 括： 将所述初始身份特征向量输入所述特征分离框架中的映射网络进行线性变换， 得到第 三中间向量； 将所述第三中间向量输入所述特征分离框架中的生成网络进行特征分离增强与再重权　利　要　求　书 1/2 页 2 CN 114399453 A 2组， 得到重组源图像； 计算所述重组源图像与所述源图像之间的特征损失值， 且在判断所述特征损失值达到 预设的收敛 条件之后， 将所述第三中间向量 直接定义为优化后的身份特 征向量。 6.根据权利要求5所述的基于生成对抗网络的人脸表情合成方法， 其特征在于， 在判断 所述特征损失值未达到预设的收敛条件之后， 利用Adam优化器根据所述特征损失值对所述 第三中间向量进 行更新， 再返回将更新后的第三中间向量输入所述特征分离框架中的生成 网络进行 特征分离增强与再重组。 7.根据权利要求5所述的基于生成对抗网络的人脸表情合成方法， 其特征在于， 所述将 第三中间向量输入特征分离框架中的生成网络进 行特征分离增强与再重组， 得到重组源图 像包括： 对所述第三中间向量进行仿射变换， 得到第三控制向量； 从第一个渐进层开始， 输入一个随机噪音并对其进行上采样和卷积运算， 同时利用所 述第三控制向量进行 结果修正， 得到第一层特 征向量； 在第二个渐进层中， 对所述第一层特征向量进行上采样和卷积运算， 同时利用所述第 三控制向量进行 结果修正， 得到第二层特 征向量； 以此类推， 在第 N个渐进层中得到第N层特征向量， 再将所述第 N层特征向量转换为重组 源图像。 8.根据权利要求1所述的基于生成对抗网络的人脸表情合成方法， 其特征在于， 所述相 似度指标值包括所述人脸表情图像和所述源图像之间的结构相似性指标值和所述人脸表 情图像的质量评估指标值。权　利　要　求　书 2/2 页 3 CN 114399453 A 3