(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210597992.5 (22)申请日 2022.05.30 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市大兴区经济技 术开发 区科创十一 街18号院2号楼6层6 01 (72)发明人 沈力　郑贺亮　陶大程　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06T 11/60(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 模型训练方法、 图像生成方法和装置 (57)摘要 本公开的实施例提供了一种模 型训练方法、 图像生成方法和装置。 所述的模型训练方法包 括： 首先获取训练样本集， 训练样本集包括样本 输入图像、 样本参考图像和期望图像， 然后构建 初始模型， 该初始模型包括第一初始编码器、 第 二初始编码器和基于层级架构的多层级生成器， 最后利用机器学习方法， 将样 本输入图像作为第 一初始编码器的输入， 样本参考图像作为第二初 始编码器的输入， 并将第一初始编码器和第二初 始编码器的输出作为多层级生 成器的输入， 期望 图像作为期望输出， 对初始模型进行训练， 得到 图像生成模型， 基于样本输入图像和样本参考图 像进行训练， 训练得到一种能够基于输入图像和 参考图像进行处理得到输出图像的图像生成模 型。 权利要求书4页 说明书23页 附图7页 CN 114926568 A 2022.08.19 CN 114926568 A 1.一种模型训练方法， 所述方法包括： 获取训练样本集， 其中， 所述训练样本集包括样本输入图像、 样本参考图像和期望图 像； 构建初始模型， 其中， 所述初始模型包括第一初始编码器、 第二初始编码器和基于层级 架构的多层级生成器； 利用机器学习方法， 将所述样本输入图像作为所述第一初始编码器的输入， 所述样本 参考图像作为所述第二初始编 码器的输入， 并将所述第一初始编 码器和所述第二初始编码 器的输出作为所述多层级生成器的输入， 所述期望图像作为期望输出， 对所述初始模型进 行训练， 得到图像生成模型。 2.根据权利要求1所述的方法， 其中， 所述多层级生成器中每层生成器基于预训练的多 层级生成网络构建得到， 所述每层生成器包括预训练的、 用于处理第一空间中的特征向量 的第一模块； 以及， 所述利用机器学习方法， 将所述样本输入图像作为所述第一初始编码器的输入， 所述 样本参考图像作为所述第二初始编 码器的输入， 并将所述第一初始编 码器和所述第二初始 编码器的输出作为所述多层级生成器的输入， 所述期望图像作为期望输出， 对所述初始模 型进行训练， 得到图像生成模型， 包括： 将所述样本输入图像作为所述第 一初始编码器的输入， 所述样本参考图像作为所述第 二初始编码器的输入； 将所述第一初始编码器和所述第二初始编码器的输出结果输入至每层生成器中的第 一模块， 所述期望图像作为期望输出， 利用机器学习方法对所述第一初始编码器和所述第 二初始编码器进行训练， 得到第一编码器和第二编码器； 将所述第一编码器、 所述第 二编码器和包括所述第 一模块的多层级生成器确定为所述 图像生成模型。 3.根据权利要求2所述的方法， 其中， 所述多层级生成器中预设层生成器还包括用于处 理第二空间中的特 征向量的第二初始模块； 以及， 所述方法还 包括： 获取所述样本参考图像对应的样本特征金字塔， 其中， 所述样本特征金字塔包括多个 尺度的样本特 征图； 将所述样本输入图像作为所述第 一编码器的输入， 所述样本参考图像作为所述第 二编 码器的输入； 将所述第一编码器和所述第二编码器的输出 结果输入至每层生成器中的第一模块； 将所述预设层生成器的上一层生成器的输出结果和所述样本特征金字塔输入至所述 第二初始模块， 所述期望图像作为期望输出， 利用机器学习 方法对所述第二初始模块进行 训练， 得到第二模块； 以及 所述将所述第 一编码器、 所述第 二编码器和包括所述第 一模块的多层级生成器确定为 所述图像生成模型， 包括： 将所述第一编码器、 所述第二编码器、 包括所述第一模块和所述第二模块的多层级生 成器确定为所述图像生成模型。 4.根据权利要求3所述的方法， 其中， 所述第二初始模块包括特征选择层、 特征融合层 和Transformer； 以及权　利　要　求　书 1/4 页 2 CN 114926568 A 2所述将所述预设层生成器的上一层生成器的输出结果和所述样本特征金字塔输入至 所述第二初始模块， 所述期望图像作为期望输出， 利用机器学习方法对所述第二初始模块 进行训练， 得到第二模块， 包括： 将所述样本参考图像对应的样本特征金字塔作为所述特征融合层的输入， 所述预设层 生成器的上一层生成器的输出结果和所述样本输入图像对应的输入特征作为所述特征选 择层的输入， 并将所述特 征融合层和所述特 征选择层的输出作为所述Transformer的输入； 将所述Transformer的输出和所述第一编码器和所述第二编码器的输出结果输入至所 述预设层生成器中的第一模块； 将所述期望图像作为期望输出， 利用机器学习方法对所述预设层生成器中的第 二初始 模块进行训练， 得到所述第二模块。 5.根据权利要求1所述的方法， 其中， 所述利用机器学习方法， 将所述样本输入图像作 为所述第一初始编码器的输入， 所述样本参考图像作为所述第二初始编码器的输入， 并将 所述第一初始编码器和所述第二初始编 码器的输出作为所述多层级生成器的输入， 所述期 望图像作为期望 输出， 对所述初始模型进行训练， 得到图像生成模型， 包括： 将所述样本输入图像作为所述第 一初始编码器的输入， 所述样本参考图像作为所述第 二初始编 码器的输入， 并将所述第一初始编码器和所述第二初始编 码器的输出作为所述多 层级生成器的输入， 得到所述多层级生成器的生成图像； 基于所述 生成图像和所述期望图像， 确定表征图像 像素特征的第一损失函数； 基于所述第一损失函数调整所述初始模型， 得到所述图像生成模型。 6.根据权利要求5所述的方法， 其中， 所述方法还 包括： 基于所述生成图像和所述期望图像， 确定第二损失函数， 其中， 所述第 二损失函数包括 以下至少一项： 表征图像感知特征 的感知损失函数、 表征图像标识特征 的损失函数和正则 化损失函数； 以及 所述基于所述第一损失函数调整所述初始模型， 得到所述图像生成模型， 包括： 基于所述第 一损失函数和所述第 二损失函数调 整所述初始模型， 得到所述图像生成模 型。 7.一种图像生成方法， 所述方法包括： 响应于获取到输入图像和参考图像， 将所述输入图像和参考图像输入至图像生成模 型， 其中， 所述图像生成模型包括第一编码器、 第二编码器和基于层级架构的多层级生成 器； 通过所述第 一编码器对所述输入图像进行编码映射， 得到所述输入图像对应的第 一空 间输入向量； 通过所述第 二编码器对所述参考图像进行编码映射， 得到所述参考图像对应的第 一空 间参考向量； 将所述第一空间输入向量和所述第 一空间参考向量输入至所述多层级生成器中， 生成 所述输入图像和所述参考图像对应的目标图像， 其中， 所述图像生成模 型基于权利要求 1‑6 任意一项方法获取。 8.根据权利要求7所述的方法， 其中， 所述多层级生成器中每层生成器包括预训练的、 用于处理第一空间中的特征向量的第一模块， 并且预设层生成器还包括用于处理第二空间权　利　要　求　书 2/4 页 3 CN 114926568 A 3