(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211005416.3 (22)申请日 2022.08.22 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 李昂　周俊　傅驰林　张晓露　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 童磊　徐焕 (51)Int.Cl. G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 图像处理方法、 模型训练方法、 装置和计算 机设备 (57)摘要 本说明书实施例公开了一种图像处理方法、 模型训练方法、 装置和计算机设备。 所述方法包 括： 根据源图像获取身份特征和属性特征， 所述 源图像包含第一生物对象， 所述身份特征用于表 示第一生物对象的身份信息， 所述属性特征用于 表示第一生物对象的属性信息； 根据目标图像获 取上下文特征， 所述目标图像包含第二生物对 象， 所述上下文特征用于表示第二生物对象 的上 下文信息； 根据身份特征、 属性特征和上下文特 征， 生成融合图像， 所述融合图像包含融合生物 对象， 所述融合生物对象 的身份信息和属性信息 与第一生物对象相同， 所述融合生物对象的上下 文信息与第二生物对象相同。 本说明书实施例可 以提高融合图像和源图像在细节属性上的相似 程度。 权利要求书3页 说明书12页 附图3页 CN 115410056 A 2022.11.29 CN 115410056 A 1.一种图像处 理方法， 包括： 根据源图像获取身份特征和属性特征， 所述源图像中包含第一生物对象， 所述身份特 征用于表示第一 生物对象的身份信息， 所述属性特 征用于表示第一 生物对象的属性信息； 根据目标图像获取上下文特征， 所述目标图像中包含第二生物对象， 所述上下文特征 用于表示第二 生物对象的上 下文信息； 根据身份特征、 属性特征和上下文特征， 生成源图像和目标图像的融合图像， 所述融合 图像中包含第一生物对象和第二生物对象的融合生物对象， 所述融合生物对象的身份信息 和属性信息与第一 生物对象相同， 所述融合 生物对象的上 下文信息与第二 生物对象相同。 2.根据权利要求1所述的方法， 所述 根据源图像获取身份特 征和属性特征， 包括： 将源图像输入身份识别模型， 得到身份特 征； 将源图像输入属性识别模型， 得到属性特 征； 所述根据目标图像获取 上下文特征， 包括： 将目标图像输入上 下文识别模型， 得到上 下文特征； 所述生成源图像和目标图像的融合图像， 包括： 将身份特 征、 属性特 征和上下文特征输入特 征融合模型， 得到融合图像。 3.根据权利要求1所述的方法， 所述方法还 包括： 对源图像和目标图像进行分辨 率增强处 理； 所述根据源图像获取身份特 征和属性特征， 包括： 根据分辨 率增强后的源图像获取身份特 征和属性特征； 所述根据目标图像获取 上下文特征， 包括： 根据分辨 率增强后的目标图像获取 上下文特征。 4.根据权利要求3所述的方法， 所述 生成源图像和目标图像的融合图像， 包括： 根据身份特征、 属性特征、 上下文特征和中间特征， 生成融合图像， 所述中间特征为在 分辨率增强处 理步骤中根据源图像提取的特 征， 用于生成分辨 率增强后的源图像。 5.根据权利要求3所述的方法， 所述对 源图像和目标图像进行分辨 率增强处 理， 包括： 将源图像和目标图像输入分辨 率增强模型， 得到分辨 率增强后的源图像和目标图像。 6.根据权利要求1所述的方法， 所述上下文特征包括以下至少之一： 用于表示姿态信 息 的姿态特 征、 用于表示背景信息的背景 特征； 所述属性特征包括以下至少之一： 用于表示胡须信息的胡须特征、 用于表示眼袋信息 的眼袋特 征、 用于表示 性别信息的性别特 征、 用于表示 年龄信息的年龄特 征。 7.根据权利要求1所述的方法， 所述源图像和所述目标图像为人脸图像， 所述第 一生物 对象、 所述第二 生物对象和所述融合 生物对象为人脸， 所述融合图像为换脸图像。 8.一种模型训练方法， 包括： 将源图像样本和目标图像样本输入对抗网络 中的生成器， 得到源图像样本和目标图像 样本的融合图像样本， 所述源图像样本中包含第一生物对 象， 所述目标图像样本中包含第 二生物对象， 所述融合图像样本中包 含第一生物对象和第二 生物对象的融合 生物对象； 将源图像样本和融合图像样本 输入对抗网络中的判别器， 得到判别结果； 根据判别结果， 利用损 失函数优化对抗网络的模型参数， 所述损 失函数至少包括第一 项， 所述第一项用于约束融合 生物对象与第一 生物对象之间的属性信息偏差 。权　利　要　求　书 1/3 页 2 CN 115410056 A 29.根据权利要求8所述的方法， 所述生成器包括身份识别模型、 属性识别模型和上下文 识别模型； 所述将源图像样本和目标图像样本 输入对抗网络中的生成器， 包括： 将源图像样本输入身份识别模型和属性识别模型， 得到身份特征和属性特征， 所述身 份特征用于表示第一生物对象的身份信息， 所述属性特征用于表示第一生物对象的属性信 息； 将目标图像样本输入上下文识别模型， 得到上下文特征， 所述上下文特征用于表示第 二生物对象的上 下文信息； 将身份特 征、 属性特 征和上下文特征输入特 征融合模型， 得到融合图像样本 。 10.根据权利要求9所述的方法， 所述 生成器还 包括分辨 率增强模型； 所述将源图像样本 输入身份识别模型和 属性识别模型， 包括： 将源图像样本输入分辨率增强模型， 得到分辨率增强后的源图像样本， 将分辨率增强 后的源图像样本 输入身份识别模型和 属性识别模型， 得到身份特 征和属性特征； 所述将目标图像样本 输入上下文识别模型， 包括： 将目标图像输入分辨率增强模型， 得到分辨率增强后的目标图像样本， 将分辨率增强 后的目标图像样本 输入上下文识别模型， 得到上 下文特征。 11.根据权利要求8所述的方法， 所述损失函数还 包括以下至少之一： 第二项， 用于约束融合 生物对象与第一 生物对象之间的身份信息损失； 第三项， 用于约束融合图像样本与源图像样本之间的像素损失； 第四项， 用于约束对抗网络的损失。 12.根据权利要求8所述的方法， 所述源图像样本和所述目标图像样本为人脸图像， 所 述第一生物对 象、 所述第二生物对 象和所述融合生物对 象为人脸， 所述融合图像样本为换 脸图像。 13.一种图像处 理装置， 包括： 第一获取单元， 用于根据源图像获取身份特征和属性特征， 所述源图像中包含第一生 物对象， 所述身份特征用于表示第一生物对 象的身份信息， 所述属 性特征用于表示第一生 物对象的属性信息； 第二获取单元， 用于根据目标图像获取上下文特征， 所述目标图像中包含第二生物对 象， 所述上 下文特征用于表示第二 生物对象的上 下文信息； 生成单元， 用于根据身份特征、 属性特征和上下文特征， 生成源图像和目标图像的融合 图像， 所述融合图像中包含第一生物对 象和第二生物对 象的融合生物对 象， 所述融合生物 对象的身份信息和属性信息与第一生物对象相同， 所述融合生物对象的上下文信息与第二 生物对象相同。 14.一种模型训练装置， 包括： 第一输入单元， 用于将源图像样本和目标图像样本输入对抗网络中的生成器， 得到源 图像样本和目标图像样本的融合图像样本， 所述源图像样本中包含第一生物对 象， 所述目 标图像样本中包含第二生物对象， 所述融合图像样本中包含第一生物对象和 第二生物对象 的融合生物对象； 第二输入单元， 用于将源图像样本和融合图像样本输入对抗网络中的判别器， 得到判 别结果；权　利　要　求　书 2/3 页 3 CN 115410056 A 3