(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111631782.5 (22)申请日 2021.12.2 9 (71)申请人 中国计量大 学 地址 310018 浙江省杭州市学源街258号中 国计量大 学 (72)发明人 李润坤　李旸晖　黄泽钿　吴豪　 陈旺磊　黄垚　王乐　 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的超透 镜色差恢复方法 (57)摘要 本发明公开了一种基于深度学习的超透镜 色差恢复方法， 包括1)构建超透镜色差恢复神经 网络和色差恢复损失函数； 2)将超透镜色差图像 x与其对应的标准图像 y作为训练数据对， 对超透 镜色差恢复神经网络进行训练， 使得色差恢复损 失函数值小于8， 实现超透镜色差图像到其对应 的标准图像的双向映射， 获得训练好的超透镜色 差恢复模型； 3)利用步骤2)， 将待恢复超透镜色 差图像输入到训练好的超透镜色差恢复模型中， 实现超透 镜色差恢复。 权利要求书2页 说明书3页 附图3页 CN 114331891 A 2022.04.12 CN 114331891 A 1.一种基于深度学习的超透 镜色差恢复方法， 其特 征在于， 该 方法包括如下步骤： 1)构建超透 镜色差恢复神经网络和色差恢复损失函数； 2)将超透镜色差图像x与其对应的标准图像y作为训练数据对， 对超透镜色差恢复神经 网络进行训练， 使得色差恢复损失函数值小于8， 实现超透镜 色差图像到其对应的标准图像 的双向映射， 获得训练好的超透 镜色差恢复模型； 3)利用步骤2)， 将待恢复超透镜色差图像输入到训练好的超透镜色差恢复模型中， 实 现超透镜色差恢复。 2.根据权利要求1所述的基于深度学习的超透镜色差恢 复方法， 其特征在于， 步骤1)中 超透镜色差恢复神经网络利用色差恢复损失函数进行训练， 训练得到的色差恢复损失函数 值将反馈给超透 镜色差恢复神经网络 。 3.根据权利要求2所述的超透镜色差恢 复神经网络， 其特征在于， 超透镜色差恢 复神经 网络由将超透镜 色差图像转换为标准图像的生 成对抗神经网络X2Y生成对抗神经网络和将 标准图像转换为超透镜色差图像的生成对抗神经网络Y2X生成对抗神经网络两部分组成； 其中， X2Y生成对抗神经网络由X2Y生成对抗神 经网络的生成器GY和X2Y生成对抗神经网络 的判别器DY构成， Y2X生成对抗神经网络由Y2X生成对抗神经网络的生成器GX和Y2X生成对抗 神经网络的判别器DX构成。 4.根据权利要求2所述的色差恢复损失函数， 其特征在于， 色差恢复损失函数为X2Y生 成对抗神经网络的损失函数LX2Y、 Y2X生成对抗神经网络的损失函数LY2X、 循环一致损失函数 Lcyc和色差损失函数Lsc之和。 5.根据权利要求4所述的X2Y生成对抗神经网络的损失函数LX2Y， 其特征在于， X2Y生成 对抗神经网络的损失函数LX2Y是指： 先将DY对y的判别结果Dy(y)做底数为e的对数计算后取 均值； 再利用GY， 得到GY生成的标准图像Gy(x)， 接着利用DY对GY生成的标准图像DY(GY(x))进 行判别后与1相减， 将结果做底数为e的对数计算后取均值； 最后将两个均值相加的结果， 表 示超透镜色差图像到标准图像的转换误差 。 6.根据权利要求4所述的Y2X生成对抗神经网络的损失函数LY2X， 其特征在于， Y2X生成 对抗神经网络的损失函数LY2X是指： 先将DX对x的判别结果DX(x)做底数为e的对数计算后取 均值； 利用GX， 得到GX生成的超透镜色差图像GX(y)， 接着利用DX对GX生成的超透镜色差图像 DX(GX(y))进行判别后与1相减， 将结果做底数为e的对数计算后取均值； 最后将两个均值相 加的结果， 表示标准图像到超透 镜色差图像的转换误差 。 7.根据权利要求4所述的循环一致损失函数Lcyc， 其特征在于， 循环一致损失函数Lcyc是 指： 先利用GY， 得到GY生成的标准图像GY(x)， 再利用GX， 对GY生成的标准图像GY(x)进行转换， 将得到的超透镜色差图像GX(GY(x))与超透镜色差图像x之差做L1范数计算后取均值； 再利 用GX得到GX生成的超透镜色差图像GX(y)， 利用GY对GX生成的超透镜色差图像GX(y)进行转 换， 将得到的标准图像GY(GX(y))与标准图像之差做L1范数计算后取均值， 最后将两个均值 相加的结果。 8.根据权利要求4所述的色差损失函数Lsc， 其特征在于， 色差损失函数Lsc是指： 先利用 GY， 得到GY生成的标准图像GY(x)， 再利用GX， 对GY生成的标准图像GY(x)进行转换， 将得到的 超透镜色差图像GX(GY(x))作相邻像素灰度值之差的平方和后， 将结果与1之差做平方和计 算后取均值； 再利用GX得到GX生成的超 透镜色差图像GX(y)， 利用GY对GX生成的超 透镜色差图权　利　要　求　书 1/2 页 2 CN 114331891 A 2像GX(y)进行转换， 将得到的标准图像GY(GX(y))作相邻像素灰度值之差的平方和后， 将结果 与1之差做平方和计算后取均值， 最后 将两个均值相加的结果， 实现对超透镜色差图像的高 频细节区域和边 缘区域色差情况的刻画。 9.根据权利要求1所述的基于深度学习的超透镜色差恢复方法， 其特征在于， 步骤2) 中， 标准图像y是指图像像素尺寸大于128乘以128的无色差图像； 超透镜色差图像x是指由 超透镜拍摄得到的， 与标准图像对应的像素尺寸大于128乘以128的图像。 10.根据权利要求1所述的基于深度学习的超透镜色差恢复方法， 其特征在于， 步骤2) 中， 超透镜 色差图像到其对应的标准图像的双向 映射包括标准图像到其对应的超透镜图像 的映射和超透 镜图像到其对应的标准图像的映射。权　利　要　求　书 2/2 页 3 CN 114331891 A 3