(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111665877.9 (22)申请日 2021.12.31 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 申请人 宜宾电子科技大 学研究院 (72)发明人 陈波　邓媛丹　陈圩钦　朱舜文　 曾俊涛　王庆先　 (74)专利代理 机构 成都先导云创知识产权代理 事务所(普通 合伙) 51321 代理人 李坤 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 一种图像修复方法及存 储介质 (57)摘要 本发明公开了一种图像修复方法及存储介 质， 所述图像修复方法包括： 利用记忆神经网络 系统和损失函数对图像训练集先后进行初步修 复操作和清晰完善操作， 得到最终修复后的图像 集； 其中， 所述图像训练集包括一一对应的待修 复图像和真实图像， 所述修复后的图像集为清晰 完整的图像集且包括最终修复后的图像。 本发明 能够解决现有记忆网络过于简单， 难以解决复杂 问题且缺乏层次化的结构的问题。 权利要求书2页 说明书5页 附图2页 CN 114331903 A 2022.04.12 CN 114331903 A 1.一种图像修复方法， 其特 征在于， 所述图像修复方法包括： 利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善 操作， 得到最 终修复后的图像集； 其中， 所述图像训练集包括一一对应的待修复图像和真实 图像， 所述 修复后的图像集 为清晰完整的图像集且 包括最终修复后的图像。 2.根据权利要求1所述的记忆神经网络系统， 其特征在于， 所述利用记忆神经网络系统 和损失函数对图像训练集先后进 行初步修复操作和清晰完善操作， 得到修复后的图像集包 括： S1： 利用神经网络系统中的生成网络对所述图像训练集中的原始图像进行初步修复操 作， 得到初步 修复后的图像； S2： 利用损失函数计算所述初步 修复后的图像和所述原 始图像之间的差距程度； S3： 根据所述差距程度， 利用神经网络系统中的判别网络对所述初步修复后的图像进 行清晰完 善操作， 得到修复后的图像； S4： 利用Kernel  MMD对所述真实图像和所述修复后的图像进行距离计算， 得到计算结 果； S5： 判断所述计算结果是否达到纳什均衡， 若是， 将所述修复后的图像作为最终修复后 的图像输出； 否则， 返回步骤S1。 3.根据权利要求2所述的图像修复方法， 其特 征在于， 所述 步骤S1包括： 提取所述待修复图像的图像初始分布信息； 依次对所述图像初始分布信息进行记 忆操作， 得到操作结果； 对所述操作结果进行初步 修复处理， 得到初步 修复后的图像。 4.根据权利要求3所述的图像修复方法， 其特征在于， 所述步骤S1中， 所述生成网络包 括依次连接的特 征提取块结构、 记 忆块结构和修复块结构； 所述特征提取块结构包括第一卷积层、 第二卷积层和第三卷积层， 以用于从所述待修 复图像中获取 所述图像初始分布信息； 所述记忆块结构用于对所述图像初始分布信息进行记 忆操作， 以得到操作结果； 所述修复块结构包括第一反卷积层、 第二反卷积层和第 四卷积层， 以用于对所述操作 结果进行初步 修复处理； 所述第一卷积层和所述第四卷积层的步长为1； 所述第二卷积层、 所述第三卷积层、 所 述第一反卷积层和所述第二反卷积层的步长均为2。 5.根据权利要求4所述的图像修复方法， 其特征在于， 所述记忆块结构包括递归单元和 门单元， 所述递归单元包括多个残差块， 多个所述残差块依 次连接且每个所述残差块的输 出均与所述门单 元连接。 6.根据权利要求5所述的图像修复方法， 其特征在于， 所述残差块包括多个残差层， 每 两个所述残差层之 间通过和模块间隔设置， 且每个所述残差层用于对前一个输入的特征进 行过滤， 所述和模块用于对所述前一个输入的特 征和过滤后的特 征进行特征加深操作。 7.根据权利要求2所述的图像修复方法， 其特 征在于， 所述 步骤S2中， 所述损失函数为： L＝LGAN+λpLp； 其 中 ，L 表 示 损 失 函 数 ，LG A N表 示 生 成 对 抗 网 络 的 损 失 函 数 ，且权　利　要　求　书 1/2 页 2 CN 114331903 A 2α 表示MS‑SSIM与L1损失函数的占比， 其具体取值 根据任务和模型训练情况可进行调整， LMS‑SSIM表示MS‑SSIM+L1， Loss为损失函数， 且 G是生成网络， 表示生成 网络， IU是待修复图像， 表示L1损失函数， 且 λ表示梯度惩罚 项， p代表从生成网络以及判别网络中各自取值到的线性采样， M表 示不同尺度， m从1取到M， μp， μg分别表示预测图像和Ground  truth的均值， σp， σg分别表示预测图像和Ground  truth 之间的标准差， σpg表示预测值和Ground  truth之间的协方差， c1， c2作为常数项以防止被除 数为0， βm， γm表示两项之间的相对重要性， 表示预测图像和Ground  truth的逐 像素取值。 8.根据权利要求2所述的图像修复方法， 其特征在于， 所述步骤S3中， 所述判别网络包 括依次连接的第五卷积层、 第六卷积层、 第七卷积层、 第八卷积层和第九卷积层， 所述第五 卷积层、 所述第六卷积层和所述第七卷积层的步长为2， 所述第八卷积层和所述第九卷积层 的步长为1。 9.根据权利要求2 ‑9中任意一项所述的图像修复方法， 其特征在于， 所述步骤S4中， 所 述距离计算 为： 其中， Lp表示真实图像和修复后的 图像之间的距 离， Cj， Hj， Wj分别表示第j个 卷积层的通 道数、 高度和宽度， 表示第j个卷积层的特征图， G和 表示生成网络， IR表示真实图像， j 表示第j个卷积层。 n表示j从1取到n的情况， IU表示待修复图像。 10.一种存储介质， 其特征在于， 存储有计算机指令， 所述计算机指令运行时执行根据 权利要求1 ‑9中任意一项所述的图像修复方法的步骤。权　利　要　求　书 2/2 页 3 CN 114331903 A 3