(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111599565.2 (22)申请日 2021.12.24 (71)申请人 北京旷视科技有限公司 地址 100096 北京市海淀区西三 旗建材城 内建中路12幢一层1268号 申请人 北京迈格威科技有限公司 (72)发明人 陆鑫　陈亮宇　陈程鹏　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 代理人 唐正瑜 (51)Int.Cl. G06T 5/00(2006.01) G06T 3/00(2006.01) G06T 9/00(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 图像恢复方法、 存储介质、 电子设备和计算 机程序产品 (57)摘要 本申请实施例提供一种图像恢复方法、 存储 介质、 电子设备和计算机程序产品， 该图像恢复 方法包括： 获取待恢复图像； 将待恢复图像输入 到预先训练好的初级模型中， 获得初级模型的初 级解码器中的上采样层输出的上采样特征； 分别 将待恢复图像和上采样特征输入到预先训练好 的次级模型中， 以通过次级模型的次级编码器对 待恢复图像的特征和上采样特征进行标准化处 理， 获得恢复后的 图像。 借助于上述方案， 本申请 实施例能够合理地将标准化处理引入到图像恢 复任务中， 使得在增加很少参数量和计算量的情 况下， 显著提升模型的性能， 同时提出的由初级 模型和次级模 型构成的双阶段模 型设计， 可以进 一步提高图像恢复的效率。 权利要求书2页 说明书10页 附图5页 CN 114359080 A 2022.04.15 CN 114359080 A 1.一种图像恢复方法， 其特 征在于， 包括： 获取待恢复图像； 将所述待恢 复图像输入到预先训练好的初级模型中， 获得所述初级模型的初级解码器 中的上采样层输出的上采样特 征； 分别将所述待恢 复图像和所述上采样特征输入到预先训练好的次级模型中， 以通过所 述次级模型的次级编码器对所述待恢复图像的特征和所述上采样特征进 行标准化处理， 获 得输出特征， 以及通过所述次级模型 的次级解码器对所述输出特征进行解码处理， 获得恢 复后的图像。 2.根据权利要求1所述的图像恢 复方法， 其特征在于， 所述初级解码器包括多个上采样 层， 所述次级编码器包括多个下采样层， 并且所述多个下采样层中每个下采样层均包括第 一残差层； 其中， 所述分别将所述待恢复图像和所述上采样特征输入到预先训练好的次级模型 中， 包括： 分别将所述多个上采样层中每个上采样层输出的上采样特征输入到对应的下采样层 的第一残差层中， 其中， 所述每个上采样层的上采样倍数和所述每个上采样层对应的下采 样层的下采样倍数相同。 3.根据权利要求2所述的图像恢 复方法， 其特征在于， 所述每个下采样层均包括依次连 接的多个残差层； 所述第一残差层为所述多个残差层中的首个残差层， 或者所述第 一残差层为所述多个 残差层中任意 一个残差层。 4.根据权利要求2所述的图像恢 复方法， 其特征在于， 所述通过所述 次级模型的次级编 码器对所述待恢复图像的特 征和所述上采样特 征进行标准化处理， 获得输出 特征， 包括： 获取中间特征； 其中， 所述中间特征是对所述待恢复图像的特征进行非线性处理后获 得的； 对所述中间特 征进行归一 化处理， 获得归一 化结果； 根据所述第一残差层对应的上采样特 征， 获得仿射变换参数； 利用所述仿射变换参数对所述归一 化结果进行仿射变换处 理， 获得仿射变换 结果； 根据所述仿射变换 结果， 获得 所述输出 特征。 5.根据权利要求4所述的图像恢 复方法， 其特征在于， 所述仿射变换参数包括尺度缩放 系数和偏移系 数， 所述第一残差层包括第一卷积层和第二卷积层， 所述第一卷积层用于根 据所述第一残差层对应的上采样特征， 获得所述尺度缩放系 数， 所述第二卷积层用于根据 所述第一残差层对应的上采样特 征， 获得所述偏移系数。 6.根据权利要求5所述的图像恢 复方法， 其特征在于， 所述利用所述仿射变换参数对所 述归一化结果进行仿射变换处 理， 获得仿射变换 结果， 包括： 计算所述归一 化结果和所述尺度缩放系数的乘积值； 计算所述乘积值和所述偏移系数的和值， 并将所述和值作为所述仿射变换 结果。 7.根据权利要求1所述的图像恢 复方法， 其特征在于， 所述初级模型的模型结构和所述 次级模型的模型 结构相同。 8.一种存储介质， 其特征在于， 所述存储介质上存储有计算机程序， 所述计算机程序被权　利　要　求　书 1/2 页 2 CN 114359080 A 2处理器运行时执 行如权利要求1至7任一所述的图像恢复方法。 9.一种电子设备， 其特征在于， 所述电子设备包括： 处理器、 存储器和总 线， 所述存储器 存储有所述处理器可执行 的机器可读指令， 当所述电子设备运行时， 所述处理器与所述存 储器之间通过总线通信， 所述机器可读指令被所述处理器执行时执行如权利要求1至7任一 所述的图像恢复方法。 10.一种计算机程序产品， 其特征在于， 包括存储计算机程序的计算机可读存储介质， 所述计算机程序在由至少一个处理器执行时， 使 所述至少一个处理器执行如权利要求 1至7 任一所述的图像恢复方法。权　利　要　求　书 2/2 页 3 CN 114359080 A 3