(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210334052.7 (22)申请日 2022.03.30 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 贺珂珂　朱俊伟　张昕昳　邰颖　 汪铖杰　 (74)专利代理 机构 北京市立方律师事务所 11330 专利代理师 张筱宁 (51)Int.Cl. G06T 3/00(2006.01) G06T 7/33(2017.01) G06T 7/73(2017.01) G06V 40/16(2022.01)G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 图像处理方法、 装置、 计算机设备、 存储介质 及程序产品 (57)摘要 本申请提供一种图像处理方法、 装置、 计算 机设备、 存储介质及程序产品， 涉及人工智能、 计 算机视觉、 地图、 智慧交通领域。 通过 获取待换脸 图像的属性参数， 基于待换脸图像的属性参数和 预存储的目标脸部的属性参数确定目标属性参 数； 基于目标属性参数和目标脸部的脸部特征得 到目标综合特征； 将待换脸图像编码为图像编码 特征， 得到待换脸图像在像素级的细化特征； 将 目标综合特征通过自适应实例正则化方式迁移 至该图像编码特征， 得到融合编码特征。 本申请 将像素级的编码特征和综合特征混合、 且图像编 码特征的特征分布向目标综合特征对齐， 基于融 合编码特征得到包括融合脸部的目标脸部图像， 使得融合脸部的感官更接近于目标脸部， 从而提 高换脸的精确度。 权利要求书3页 说明书20页 附图6页 CN 114972010 A 2022.08.30 CN 114972010 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 响应于接收到的换脸请求， 获取待换脸图像的属性参数， 所述换脸请求用于请求将所 述待换脸图像中脸部替换为目标脸部， 所述待换脸图像的属性参数指示所述待换脸图像中 脸部的三维属性； 基于所述待换脸图像的属性参数和预存储的目标脸部的属性参数， 确定目标属性参 数； 基于所述目标属性 参数和预存 储的目标脸部的脸部特 征， 确定目标综合特 征； 将所述待换脸图像进行编码， 得到所述待换脸图像的图像编码特 征； 将所述目标综合特征通过自适应实例正则化方式迁移至所述待换脸图像的图像编码 特征中， 得到融合编码特 征； 将所述融合编码特征进行解码， 得到包括融合脸部的目标换脸图像， 所述融合脸部是 对所述待换脸图像中脸部和所述目标脸部的融合。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述图像的属性参数包括形状系 数、 表情系数、 角度系数、 纹 理系数或光照系数中的至少一项； 所述基于所述待换脸图像的属性参数和预存储的目标脸部的属性参数， 确定目标属性 参数， 包括： 将所述目标脸部的形状系数和所述待换脸图像的预配置参数， 确定为所述目标属性参 数， 所述预配置参数包括表情系数、 角度系数、 纹 理系数或光照系数中的至少一项。 3.根据权利要求1所述的图像处理方法， 其特征在于， 所述将所述目标综合特征通过自 适应实例正则化方式迁移至所述待换脸图像的图像编码特 征中， 得到融合编码特 征， 包括： 获取所述图像编码特征在至少一个特征通道的均值和标准差， 以及获取所述目标综合 特征在至少一个特 征通道的均值和标准差； 将所述图像编码特征在每个特征通道的均值和标准差， 与所述目标综合特征在对应特 征通道的均值和标准差进行对齐， 得到所述融合编码特 征。 4.根据权利要求1所述的图像处理方法， 其特征在于， 所述目标换脸图像是通过预训练 的换脸模型得到的； 所述换脸模型用于基于预存储的目标脸部的属性数据和脸部特征将所 述目标脸部换至任一 脸部图像中； 所述换脸模型的训练方式， 包括： 获取第一样本 图像的脸部特征和属性参数， 以及获取第二样本 图像的属性参数， 所述 第一样本图像包括所述目标脸部， 所述第二样本图像包括待被替换的脸部； 基于所述第 一样本图像的属性参数和所述第 二样本图像的属性参数， 确定样本属性参 数， 所述样本属性 参数用于指示待生成的样本换脸图像中脸部的期望属性； 基于所述样本属性 参数和所述第一样本图像的脸部特 征， 确定样本综合特 征； 将所述第二样本图像输入初始模型的编码器进行编码， 得到样本编码特 征； 将所述样本综合特征通过自适应实例正则化方式迁移至所述第二样本图像的样本编 码特征中， 得到样本融合特 征； 将所述样本融合特 征输入所述初始网络的解码器进行解码， 得到样本换脸图像； 基于所述样本换脸图像分别与所述样本属性参数、 所述第一样本 图像的脸部特征、 所 述第二样本图像之间的差异， 确定所述初始模型 的总损失， 并基于所述总损失对所述初始权　利　要　求　书 1/3 页 2 CN 114972010 A 2模型进行训练， 直至符合目标 条件时停止训练， 得到所述换脸模型。 5.根据权利要求4所述的图像处理方法， 其特征在于， 所述基于所述样本换脸图像分别 与所述样本属性参数、 所述第一样本图像的脸部特征、 所述第二样本图像之 间的差异， 确定 所述初始模型的总损失， 包括： 获取所述样本换脸图像的属性 参数和所述样本属性 参数之间的第一相似度； 获取所述样本换脸图像的脸部特征和所述第一样本 图像的脸部特征之间的第二相似 度； 通过所述初始网络的判别器， 获取所述第 二样本图像和所述样本换脸图像之间的第 三 相似度； 基于所述第一相似度、 第二相似度和所述第三相似度， 确定所述总损失。 6.根据权利要求5所述的图像处理方法， 其特征在于， 所述通过所述初始网络的判别 器， 获取所述第二样本图像和所述样本换脸图像之间的第三相似度， 包括： 将所述第二样本图像作为真实图输入所述判别器， 将所述样本换脸图像输入所述判别 器； 通过所述判别器， 分别获取所述第二样本 图像在至少一个尺度的尺度图像， 以及所述 样本换脸图像在对应至少一个尺度的尺度图像； 获取所述第二样本 图像的至少一个尺度图像对应的判别概率， 以及， 获取所述样本换 脸图像的至少一个尺度图像对应的判别概率， 图像的判别概率用于指示所述图像为真实图 的概率； 基于所述第 二样本图像对应的至少一个判别概率、 以及所述样本换脸图像对应的至少 一个判别概 率， 确定所述第三相似度。 7.根据权利要求4所述的图像处理方法， 其特征在于， 所述获取第 一样本图像的脸部特 征和属性参数， 包括： 获取至少两个姿态图像作为所述第 一样本图像， 所述至少两个姿态图像包括所述目标 脸部的至少两种脸部姿态； 基于所述至少两个姿态图像， 获取所述至少两种脸部姿态对应的脸部特征和属性参 数； 将所述至少两种脸部姿态对应的脸部特征的均值， 作为所述第一样本图像的脸部特 征， 将所述至少两种脸部姿态对应的属性 参数的均值， 作为所述第一样本图像的属性 参数； 相应的， 所述获取第一样本图像的脸部特 征和属性参数之后， 所述方法还 包括： 存储所述第一样本图像的脸部特 征和属性参数。 8.根据权利要求7所述的图像处理方法， 其特征在于， 所述获取至少两个姿态图像作为 所述第一样本图像， 包括： 对目标对象的视频所包括的至少两个图像帧进行脸部识别， 得到包括所述目标脸部的 至少两个图像帧， 所述目标脸部是 所述目标对象的脸部； 对所述至少两个图像帧进行脸部裁剪， 得到所述至少两个姿态图像， 并将所述至少两 个姿态图像作为所述第一样本图像。 9.一种图像处 理装置， 其特 征在于， 所述装置包括： 属性参数获取模块， 用于响应于接收到的换脸请求， 获取待换脸图像的属性参数， 所述权　利　要　求　书 2/3 页 3 CN 114972010 A 3