(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210493681.4 (22)申请日 2022.05.07 (71)申请人 厦门美图之家科技有限公司 地址 361000 福建省厦门市 火炬高新区软 件园华讯楼C区B1F- 089 (72)发明人 周勉　尚伟艺　邹嘉伟　 (74)专利代理 机构 厦门仕诚联合知识产权代理 事务所(普通 合伙) 35227 专利代理师 陈蓓蓓 (51)Int.Cl. G06T 7/529(2017.01) G06T 11/00(2006.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 图像处理方法、 系统、 终端设备及存 储介质 (57)摘要 本发明提供了一种图像处理方法、 系统、 终 端设备及存储介质， 该方法包括： 将待处理图像 和目标图像分别输入预训练后的肤质迁移模型 进行特征提取， 得到第一提取特征和第二提取特 征； 根据预训练后的肤质迁移模 型对第一图像特 征和第二肤质特征进行特征融合， 得到图像预期 特征， 并根据所述图像预期特征进行图像生成， 得到第一迁移图像； 分别对第一迁移图像和待处 理图像进行图像缩放， 得到第一图像金字塔和第 二图像金字塔， 并根据第一图像金字塔和第二图 像金字塔对待处理图像进行肤质迁移， 得到输出 图像。 本发 明中的第一迁移图像中能有效地保留 待处理图像中的轮廓、 五官、 背景等肤质无关的 特征和目标图像中的肤质特征， 提高了肤质迁移 的准确性。 权利要求书3页 说明书12页 附图5页 CN 114926520 A 2022.08.19 CN 114926520 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 将待处理图像和目标图像分别输入预训练后的肤质迁移模型进行特征提取， 得到第 一 提取特征和第二提取特征， 所述第一提取特征包括第一图像特征和第一肤质特征， 所述第 二提取特征包括第二图像特 征和第二 肤质特征； 根据所述预训练后的肤质迁移模型对所述第一图像特征和所述第二肤质特征进行特 征融合， 得到图像预期特 征， 并根据所述图像预期特 征进行图像生成， 得到第一迁移图像； 分别对所述第 一迁移图像和所述待处理图像进行图像缩放， 得到第 一图像金字塔和第 二图像金字塔， 并根据所述第一图像金字塔和所述第二图像金字塔对所述待处理图像进 行 肤质迁移， 得到 输出图像。 2.如权利要求1所述的图像处理方法， 其特征在于， 所述将待处理图像和目标图像分别 输入预训练后的肤质迁移模型进行 特征提取之前， 还 包括： 获取训练样本 图像， 并对所述训练样本 图像进行样本划分， 得到参考样本 图像和目标 样本图像； 分别将所述参考样本图像和所述目标样本图像输入肤质迁移模型中的编码器进行特 征提取， 得到参考特征和目标特征， 所述参考特征包括参考图像特征和参考肤质特征， 所述 目标特征包括目标图像特 征和目标肤质特 征； 将所述参考图像的图像特征和所述参考图像的肤质特征进行融合， 并送入所述生成器 中， 得到重构参考图， 将所述 目标图像特征和所述 目标肤质特征进行融合并送入所述生成 器中， 得到 重构目标图； 交换所述参考样本图像与 所述目标样本图像的肤质特征， 并使用所述生成器进行图像 生成， 得到 迁移图， 将所述重构参 考图， 重构目标图分别与参 考图和目标图进行损失计算得到 重构损失； 将所述迁移图与对应样本图像送入判别器得到 迁移损失； 根据所述重构损失和迁移损失对所述编码器和所述生成器进行参数更新， 并根据参数 更新后的所述编 码器和所述生成器， 返回执行所述对所述训练样本图像进 行样本划分的步 骤， 直至参数更新后的所述编码器和所述生成器满足预设迭代条件时， 输出所述肤质迁移 模型， 得到所述预训练后的肤质迁移模型。 3.如权利要求2所述的图像处理方法， 其特征在于， 所述模型损 失值包括重构损 失值、 感知损失值和判别损失值； 计算所述重构损失值所采用的公式为： 其中： tar表示相关信息来自目标图， ref表示相关信息来自参 考图， G为生成器 F表示特征图(feature ‑map) I表示图像输入 img表示图像特 征权　利　要　求　书 1/3 页 2 CN 114926520 A 2skin表示肤质特征 计算所述感知损失值所采用的公式为： Lpec＝||σk(G(Fimg， Fskin))‑σk(I)||2其中， σk是VGG模型中的第k层； 计算所述判别损失值所采用的公式为： 其中， Df是所述肤质迁移模型中的判别器。 4.如权利要求2所述的图像处理方法， 其特征在于， 所述将所述目标图像特征和所述参 考肤质特征进行融合， 得到融合特 征， 包括： 在多个不同的特图尺度上， 将参考肤质特征进行缩放处理并通过卷积运算， 将其映射 为“倍率”和“偏移”两个分量； 将倍率和偏移两个分量作用于肤质特 征上， 得到融合特 征。 5.如权利要求3所述的图像处理方法， 其特征在于， 所述模型损失值还包括皮肤 区域损 失值、 低频损失值、 肤质损失值和特征损失值， 将迁移图与对应本图像进行损失计算， 得到 迁移损失值， 还 包括： 将所述目标图像的图像特征与所述参考图像的肤质特征进行特征组合， 得到第 一迁移 图， 并将所述参考图像的图像特征和所述 目标图像的肤质特征进行特征组合， 得到第二迁 移图； 根据所述迁移图分别计算所述肤质迁移模型的所述皮肤损 失值、 所述低频损 失值、 所 述肤质损失值和所述特 征损失值。 6.如权利要求5所述的图像处理方法， 其特征在于， 计算所述皮肤损失值所采用的公式 为： 其中， τ为预训练的人像皮肤分割模型， Ok， j为所述第一类迁移图， Oj， k为所述第二类迁 移图； 计算所述低频损失值所采用的公式为： 其中， δ 为低频信号 提取函数； 计算所述 肤质损失值所采用的公式为： 其中， η为高频信号提取函数， Mi i∈t， r， 为人脸皮肤掩码， patchify为截图函数， Dskin 为区域判别器； 计算所述特 征损失值所采用的公式为：权　利　要　求　书 2/3 页 3 CN 114926520 A 3