(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111623814.7 (22)申请日 2021.12.28 (71)申请人 浙江大学嘉兴研究院 地址 314031 浙江省嘉兴 市秀洲区智富中 心48幢401室 (72)发明人 王玥　雷嘉锐　钱常德　孙焕宇　 刘东　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 彭剑 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/90(2017.01) G06T 3/40(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的图像校正方法 (57)摘要 本发明公开了一种基于深度学习的图像校 正方法， 包括： (1)使用有色差和较好的图像采集 设备拍摄尽量相同视场的图像， 作为有色差图像 和参考图像； (2)使用模板匹配算法求解两次拍 摄的偏移量， 并依据偏移量裁剪两张图像， 进一 步划分训练集和测试集； (3)构建图像校正模型， 包含一个权重预测网络和n个可学习的3D查找 表； (4)将有色差图像输入网络中， 将校正后的 图 像与参考图像相对比， 计算损失函数； 以损失函 数最小化为目标训练， 更新网络参数； (5)模型训 练完毕后， 进行图像校正的应用。 本发明的方法， 操作步骤简单， 无需人工设置大量参数及设计算 法， 在确保较好的效果的同时有效降低了人工处 理图像的时间。 权利要求书2页 说明书5页 附图1页 CN 114463196 A 2022.05.10 CN 114463196 A 1.一种基于深度学习的图像校正方法， 其特 征在于， 包括以下步骤： (1)使用待校正的图像采集设备拍摄一组有色差图像， 再使用色差较小的相同放大倍 率的图像采集设备对相同的景物拍摄另一组图像作为参考图像； 将有色差图像和参考图像 一一对应， 构成多组图像对； (2)将每组图像对中的有色差图像和参考图像进行图像对准， 并将对准后的多组图像 对进行扩增后划分为训练集和 测试集； (3)构建图像校正模型， 所述的图像校正模型内包含一个权重预测网络和n个可学习的 3D查找表； 所述的3D查找表用于建立有色差图像到预测参考图像之间的映射， 所述权重预 测网络的通道数与3D查找 表的数量相同； 图像输入图像校正模型时， 分别经过一个权重预测网络和n个3D查找表， 将权重预测网 络输出的特征图插值上采样 至原始图像大小， 将其与3D查找表输出的预测参考图像加权后 加和， 就得到 了图像校正模型的输出； (4)利用训练集对图像校正模型进行训练； 将训练集中的有色差图像输入模型， 将模型 的输出图像与参考图像相对比求出损失函数的值， 以损失函数最小化为目标更新网络参 数； (5)图像校正模型训练完毕后， 将待校正图像输入图像校正模型 得到校正后的图像。 2.根据权利要求1所述的基于深度 学习的图像校正方法， 其特征在于， 步骤(2)中， 进行 图像对准的具体过程 为： (2‑1)取每组图像对中有色差图像和参考图像共有的一部分图像作为模板图像， 记录 其在有色差图像上的位置坐标(x1,y1)； (2‑2)将模板图像作为滑窗， 分别计算模板在参考图像上不同位置时对应点像素差的 平方和作为模版匹配的值； (2‑3)记录模板在参 考图像上滑动的过程中的匹配值， 值越接 近0， 说明匹配程度高； (2‑4)记录匹配值最接近0的位置的坐标值(x2,y2)， 计算参考图像和有色差图像的视场 偏移， 为△x和△y。 (2‑5)根据偏移量剪 裁图像， 留下对应的两张图像视场重 叠的部分。 3.根据权利要求1所述的基于深度 学习的图像校正方法， 其特征在于， 步骤(3)中， 所述 3D查找表的输入为分辨率为224 ×224、 具有RGB三个颜色通道的彩色图像； 图像依次通过三 次线性插值和st ride为1， 3通道输出的3 ×3×3的3D卷积层。 4.根据权利要求1所述的基于深度 学习的图像校正方法， 其特征在于， 步骤(3)中， 权重 预测网络的结构 包括依次连接的UpsamplingBilinear2d二维双线上采样层、 stride为1， 32 通道输出的1×1卷积层、 ReLU激活层、 In stanceNorm2d层、 UpsamplingBilinear2d二维双线 上采样层、 stride为1， 64通道输出的1 ×1卷积层、 ReLU激活层、 InstanceNorm2d层、 UpsamplingBilinear2d二维双线上采样层、 stride为1， 128通道输 出的1×1卷积层、 ReLU激 活层、 Dropout层、 stri de为1， 3通道输出的1 ×1卷积层； 图片经过权重预测网络后 得到n个 对原始图像进行了8倍下采样的特 征图。 5.根据权利要求1所述的基于深度 学习的图像校正方法， 其特征在于， 步骤(4)中， 损失 函数为 Loss＝Lmse+λsRs+λmRm权　利　要　求　书 1/2 页 2 CN 114463196 A 2其中， Lmse为预测图像和参考图像的均方误差， λs和 λm为控制Rs和Rm两项对于训练影响的 系数， λs＝0.0001， λm＝10； g(·)为标准ReLU 函数， 为图像经过3D查找表后输 出的R/G/ B值； ωn为权重预测网络学习到的图像特 征图的均方值。 6.根据权利要求5所述的基于深度学习的图像校正方法， 其特征在于， 训练过程中， 采 用Adam参数优化算法进行参数优化， 分别设置学习率、 一阶和二阶矩估计的指数衰减率β1 和β2； 训练时， 在每一次参数传播中， 以最小化损失函数为目标来更新网络 权重。 7.根据权利要求5所述的基于深度 学习的图像校正方法， 其特征在于， 步骤(4)中， 训练 过程中， 在每一个epoch结束的时候将测试集中的有色差图像输入模型中正向传播， 得到输 出图像与对应的参 考图像对比并求出P SNR值， 用于实时判定网络效果。 8.根据权利要求7所述的基于深度 学习的图像校正方法， 其特征在于， 求出PSNR值的公 式如下： 式中， MSE为预测图像和参 考图像偏差的均方值， MAXI为图像灰度的最大值。权　利　要　求　书 2/2 页 3 CN 114463196 A 3