(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111647762.7 (22)申请日 2021.12.3 0 (71)申请人 深圳万兴软件 有限公司 地址 518000 广东省深圳市南 山区粤海街 道软件产业基地5 栋D座1001 (72)发明人 林彦硕　 (74)专利代理 机构 深圳市精英专利事务所 44242 代理人 涂年影 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/30(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) (54)发明名称 基于小数据生成网络的图像转换方法、 装 置、 设备及 介质 (57)摘要 本发明公开了基于小数据生成网络的图像 转换方法、 装置、 设备及介质， 方法包括： 根据大 数据图像集对初始 图像转换模型进行迭代训练 得到训练后的图像转换模型， 根据大数据图像集 训练编码器得到目标编码器并对图像转换模型 进行参数配置， 扥就小数据卡通图像集对配置后 的图像转换模 型进行优化训练， 得到包含卡通风 格的图像转换模 型， 根据图像转换模 型对所输入 的待转换图像进行风格转换以得到目标卡通图 像。 本发明属于图像风格转换技术领域， 对现有 生成网络的训练方法的修改， 通过小数据卡通图 像集对图像转换模型进行优化训练， 可实现小训 练数据训练生成 网络以对图像进行风格转换， 解 决了无條件生成网络训练过程中无法将编码器 应用于小训练数据的问题。 权利要求书3页 说明书12页 附图7页 CN 114333020 A 2022.04.12 CN 114333020 A 1.一种基于小数据生成网络的图像转换 方法， 其特 征在于， 所述方法包括： 根据预存的大数据图像集对初始图像转换模型进行迭代训练得到训练后的图像转换 模型； 根据所述图像转换模型中的多层 分析网络及所述大数据图像集训练预置的编码器， 以 训练得到对应的目标编码器； 根据所述目标编码器对所述图像转换模型进行参数配置， 得到配置后的所述图像转换 模型； 根据预置的训练规则及预存的小数据卡通图像集对配置后的所述图像转换模型进行 优化训练， 得到包 含卡通风格的图像转换模型； 若接收到所输入的待转换图像， 根据 所述包含卡通风格的图像转换模型对所述待转换 图像进行风格转换， 以得到与所述待转换图像对应的目标卡 通图像。 2.根据权利要求1所述的基于小数据生成网络的图像转换方法， 其特征在于， 所述根据 预存的大数据图像集对初始图像转换模型进行迭代训练得到训练后的图像转换模型， 包 括： 获取所述大数据图像集中的一张人脸图像作为当前 人脸图像； 根据所述初始图像转换模型的卷积输入层提取得到与所述当前人脸图像对应的输入 特征， 所述输入特 征包括隐藏变量特 征及噪声特 征； 根据所述初始图像转换模型中的多层 分析网络对所述输入特征进行特征分析， 以输出 与所述输入特 征对应的输出图像； 根据预置的损失函数计算所述输出图像与所述当前 人脸图像之间的损失值； 根据预置的参数调整规则及所述损失值对所述初始图像转换模型中包含的参数值进 行调整； 判断所述大 数据图像集中是否包 含未训练的其它人脸图像； 若所述大数据图像集中包含未训练 的其他人脸图像， 获取下一张人脸图像作为当前人 脸图像并返回执行所述根据所述初始图像转换模型的卷积输入层提取得到与所述当前人 脸图像对应的输入特 征； 若所述大数据图像集中不包含未训练 的其他人脸图像， 将当前得到的所述初始图像转 换模型确定为训练后的图像转换模型。 3.根据权利要求2所述的基于小数据生成网络的图像转换方法， 其特征在于， 所述根据 预置的参数调整规则及所述损失值对所述初始图像转换模型中包含的参数值进行调整之 后， 还包括： 判断所述损失值是否不大于预置的损失阈值； 若所述损失值不大于所述损失阈值， 将当前得到的所述初始图像转换模型确定为训练 后的图像转换模型； 若所述损失值大于所述损失阈值， 随机获取所述大数据图像集中的一张人脸图像作为 当前人脸图像并返回执行所述根据所述初始图像转换模型的卷积输入层提取得到与所述 当前人脸图像对应的输入特 征。 4.根据权利要求2所述的基于小数据生成网络的图像转换方法， 其特征在于， 所述根据 所述图像转换模型中的多层分析网络及所述大数据图像集训练预置的编码器， 以训练得到权　利　要　求　书 1/3 页 2 CN 114333020 A 2对应的目标编码器， 包括： 获取所述大数据图像集中的一张人脸图像作为当前 人脸图像； 根据所述编码器对所述当前人脸图像进行卷积处理， 以得到所述编码器中多个卷积层 分别对应的卷积特 征向量； 将多个所述卷积层的特征图分别输入至所述多层分析网络的多个分析层中， 以分析得 到对应的训练人脸图像； 根据所述损失函数计算所述训练人脸图像与所述当前 人脸图像之间的损失值； 根据所述 参数调整规则及所述损失值对所述编码器中包 含的参数值进行调整； 判断所述大 数据图像集中是否包 含未训练的其它人脸图像； 若所述大数据图像集中包含未训练 的其他人脸图像， 获取下一张人脸图像作为当前人 脸图像并返回执行所述根据所述编 码器对所述当前人脸图像进行卷积处理， 以得到所述编 码器中多个卷积层分别对应的卷积特 征向量； 若所述大数据图像集中不包含未训练 的其他人脸图像， 将当前得到的所述编码器作为 训练后的目标编码器。 5.根据权利要求1所述的基于小数据生成网络的图像转换方法， 其特征在于， 所述根据 所述目标编码器对所述图像转换模型进行参数配置， 得到配置后的所述图像转换模型， 包 括： 从所述目标编码器中提取 得到与所述大 数据图像集对应的属性编码向量； 将所述属性编码向量迁移至所述图像转换模型中以对所述图像转换模型中的中间隐 藏特征参数进行配置， 得到配置后的所述图像转换模型。 6.根据权利要求1所述的基于小数据生成网络的图像转换方法， 其特征在于， 所述根据 预置的训练规则及预存的小数据卡通图像集对配置后的所述图像转换模型进 行优化训练， 得到包含卡通风格的图像转换模型， 包括： 获取所述小数据卡 通图像集中的一张卡 通图像作为当前卡 通图像； 根据所述图像转换模型中的卷积输入层提取得到与所述当前卡通图像对应的卡通噪 声特征； 根据所述图像转换模型中的多层 分析网络对所述卡通噪声特征进行特征分析， 以输出 与所述当前卡 通图像对应的卡 通输出图像； 根据所述训练规则中的细节损失函数计算公式计算所述当前卡通图像与所述卡通输 出图像之间的细节损失值； 根据所述训练规则中的卷积层标识及所述细节损失值， 对所述多层 分析网络中与 所述 卷积层标识对应卷积层包 含的参数值进行调整； 判断所述小数据卡 通图像集中是否包 含未训练的其它卡 通图像； 若所述小数据卡通图像集中包含未训练的其他人脸图像， 获取下一卡通脸图像作为当 前卡通图像并返回执行所述根据所述图像转换模型中的卷积输入层提取得到与所述当前 卡通图像对应的卡 通噪声特 征； 若所述小数据卡通图像集中不包含未训练 的其他卡通图像， 将当前得到的所述图像转 换模型确定为训练后的包 含卡通风格的图像转换模型。 7.根据权利要求1所述的基于小数据生成网络的图像转换方法， 其特征在于， 所述根据权　利　要　求　书 2/3 页 3 CN 114333020 A 3