(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221097280 3.8 (22)申请日 2022.08.15 (71)申请人 杭州云像科技有限公司 地址 310012 浙江省杭州市下城区环城北 路92号三楼3140室 (72)发明人 王鼎　谢衍涛　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 周翀 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 40/10(2022.01) G06T 5/50(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 图像融合方法、 图像融合装置、 电子设备及 存储介质 (57)摘要 本申请提出了一种图像融合方法及相关装 置， 应用于图像处理技术领域。 根据本申请的第 一方面提出的图像融合方法， 包括： 获取第一图 像和目标图像； 将所述第一图像和所述目标图像 输入至训练好的图像融合模型； 对 所述第一图像 进行语义提取， 获得至少一个预设区域的人像区 域图像； 对所述目标图像进行特征提取， 获得目 标编码图像； 将至少一个所述人像区域图像与所 述目标编码图像进行图像融合， 得到融合图像。 通过将至少一个预设区域的人像区域图像与经 过特征编码得到的目标编码图像进行融合， 只对 包含身份特征的预设区域的人像区域图像进行 融合， 避免融合过程中其他属性信息对融合结果 的影响， 提高 融合图像的精度。 权利要求书2页 说明书9页 附图8页 CN 115457355 A 2022.12.09 CN 115457355 A 1.图像融合方法， 其特 征在于， 包括： 获取第一图像和目标图像； 将所述第一图像和所述目标图像输入至训练好的图像融合模型； 对所述第一图像进行语义 提取， 获得至少一个预设区域的人像区域图像； 对所述目标图像进行 特征提取， 获得目标编码图像； 将至少一个所述人像区域图像与所述目标编码图像进行图像融合， 得到融合图像。 2.根据权利要求1所述的图像融合方法， 其特征在于， 所述图像融合模型包括编码模 块， 所述编码模块包括至少一个依 次连接的降采样模块， 所述对所述 目标图像进行特征提 取， 得到目标编码图像包括： 将所述目标图像输入所述降采样模块， 依次进行降采样 操作， 获得 所述目标编码图像。 3.根据权利要求2所述的图像融合方法， 其特征在于， 所述图像融合模型包括特征解码 模块， 所述特征解码模块包括至少一个依 次连接的特征融合模块， 所述将至少一个所述人 像区域图像与所述目标编码图像进行图像融合， 得到融合图像， 包括： 将至少一个所述人像区域图像和所述目标编码图像输入所述特征融合模块， 得到第 一 输出图像； 依次将至少一个所述人像区域图像和前一个所述特征融合模块的输出图像输入所述 特征融合模块， 得到所述输出图像； 将所述输出图像进行图像转 化， 得到融合图像。 4.根据权利要求3所述的图像融合方法， 其特征在于， 所述特征融合模块包括： 特征植 入模块和上采样模块， 所述将至少一个所述人像区域图像和所述目标编码图像输入所述特 征融合模块， 得到第一输出图像， 包括： 将至少一个所述人像区域图像和所述目标编码图像进行 特征植入， 得到特 征图像； 将所述特 征图像进行 上采样卷积， 得到所述第一输出图像。 5.根据权利要求4所述的图像融合方法， 其特征在于， 所述将至少一个所述人像区域图 像和所述目标编码图像进行 特征植入， 得到特 征图像， 包括： 对至少一个所述人像区域图像与 所述目标编码图像进行特征植入， 得到至少一个对应 预设区域的特 征植入图像； 对至少一个所述特 征植入图像分别进行掩膜操作， 得到 至少一个掩膜输出图像； 将至少一个所述掩膜输出图像与所述目标编码图像进行特征叠加， 得到所述特征图 像。 6.根据权利要求5所述的图像融合方法， 其特征在于， 所述对至少一个所述人像区域图 像与所述目标编码图像进行 特征植入， 得到 至少一个对应预设区域的特 征植入图像， 包括： 根据所述人像区域图像得到第一调制参数和第二调制参数； 根据所述目标编码图像得到归一 化特征信息； 利用所述第 一调制参数和所述第 二调制参数对所述归一化特征信 息进行特征植入， 得 到所述特 征植入图像。 7.根据权利要求1所述的图像融合方法， 其特征在于， 在所述将所述第 一图像和所述目 标图像输入至训练好的图像融合模型之前， 还 包括： 利用判别器训练所述图像融合模型；权　利　要　求　书 1/2 页 2 CN 115457355 A 2获取训练图像样本集， 所述训练图像样本集中 图像样本包括： 源图像、 目标图像和目标 图像的区域图像； 将所述图像样本 输入所述图像融合模型， 得到预测输出信息； 将所述图像样本、 所述预测输出信息和所述目标图像的区域图像输入所述判别器， 计 算所述判别器和所述图像融合模型的损失函数的损失值； 根据所述损失值调 整所述图像融合模型和所述判别器的模型权重， 直至所述损失函数 收敛， 得到训练好的所述图像融合模型； 其中， 所述图像融合模型的损 失函数至少包括， 判别器损失函数、 身份损失函数、 属性 损失函数、 语义损失函数中的至少一种。 8.图像融合装置， 其特征在于， 所述图像融合装置应用权利要求1至7任一项所述的图 像融合方法， 所述装置包括： 图像获取 单元， 用于获取第一图像和目标图像； 图像输入单 元， 用于将所述第一图像和所述目标图像输入至训练好的图像融合模型； 语义提取单元， 用于对所述第一图像进行语义提取， 获得至少一个预设区域的人像区 域图像； 编码单元， 用于对所述目标图像进行 特征提取， 获得目标编码图像； 融合单元， 用于将至少一个所述人像区域图像与所述目标编码图像进行图像融合， 得 到融合图像。 9.电子设备， 包括存储器、 处理器以及存储在存储器上并可在处理器上运行的计算机 程序， 其特 征在于， 所述通信总线用于实现所述处 理器和所述存 储器之间的连接通信； 所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的图像融合方 法。 10.存储介质， 所述存储介质为可读存储介质， 其特征在于， 所述可读存储介质存储有 计算机程序， 所述计算机程序用于使计算机执行： 权利要求1至7中任一项所述的图像融合 方法。权　利　要　求　书 2/2 页 3 CN 115457355 A 3