(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111680666.2 (22)申请日 2021.12.27 (71)申请人 宜宾电子科技大 学研究院 地址 644000 四川省宜宾市翠屏区临港经 济开发区港园路西段9号208号 (72)发明人 程建　谢楚珮　徐政五　郑文　 刘鑫　 (74)专利代理 机构 成都先导云创知识产权代理 事务所(普通 合伙) 51321 代理人 冷燕燕 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的智能终端夜景图像增 强方法 (57)摘要 本发明公开了一种基于深度学习的智能终 端夜景图像增强方法， 该方法包括： 采集用于模 型训练的图像样本， 并构建图像数据集； 构建基 于Retinex理论的卷积神经网络； 将图像数据集 进行配对， 并作为训练数据输入至卷积神经网 络， 使用随机梯度下降算法进行训练， 得到该网 络的夜景图像增强模型； 使用Ghost模块替换夜 景图像增强模 型中的深度卷积层， 在保证图像质 量的基础上， 大量减少模 型参数； 输入测试图像， 在已训练好的卷积神经网络中进行一次前向传 播， 端到端地输出增强后的夜景图像。 其目的在 于， 改善现有超级夜景技术中的硬件要求高、 成 像质量低及深度网络模型在智能终端运行受限 等问题， 降低硬件成本、 提高夜景图像增强效率。 权利要求书2页 说明书6页 附图1页 CN 114331908 A 2022.04.12 CN 114331908 A 1.一种基于深度学习的智能终端夜景图像增强方法， 其特 征在于， 包括下述 步骤： S1： 采集用于模型训练的图像样本， 并构建图像数据集； S2： 构建基于Reti nex理论的卷积神经网络； S3： 将图像数据集根据图像场景进行配对， 并作为训练数据输入至卷积神经网络， 使用 随机梯度下降算法进行训练， 得到该网络的夜景图像增强模型； S4： 使用Ghost模块替换夜景图像增强模型中的深度卷积层， 在保证图像质量的基础 上， 大量减少模型参数； S5： 输入测试图像， 在已训练好的卷积神经网络中进行一次前向传播， 端到端地输出增 强后的夜景图像。 2.根据权利要求1所述的一种基于深度学习的智能终端夜景图像增强方法， 其特征在 于， 所述卷积神经网络包括层分解网络、 亮度调整网络以及反射图像修复 网络。 3.根据权利要求2所述的一种基于深度学习的智能终端夜景图像增强方法， 其特征在 于， 所述层分解网络用于将测试图像分解成反射图像和亮度图像， 所述反射图像修复网络 用于对反射图像进行退化修复的处理， 所述亮度调整网络用于对亮度图像进 行光照估计与 调整； 对反射图像与亮度图像进行合成， 得到增强后的夜景图像。 4.根据权利要求2所述的一种基于深度学习的智能终端夜景图像增强方法， 其特征在 于， 所述层分解网络包含反射分支和光照分支， 所述反射分支采用5层UNet 提取图像的细 小 纹理特征与边界， 并添加3*3卷积层获取更深层次的图像特征， 最后通过Sigmoid层输出； 所 述光照分支由2个Conv&ReLU层和一个3*3卷积层构成， 并连接在来自反射分支的特征图上， 以结合图像纹 理， 获取更为细致的亮度图像。 5.根据权利要求1所述的一种基于深度学习的智能终端夜景图像增强方法， 其特征在 于， 所述图像数据集包含同一地点同一角度的原始夜景图像和后 期修复处理过的精修夜景 图像。 6.根据权利要求1～4中任一所述的一种基于深度 学习的智能终端夜景图像增强方法， 其特征在于， 所述层分解网络对于图像数据集中成对的夜景下的原始图像Sl和精修图像Sh， 分解得到的反射图像对[Rl,Rh]以及亮度图像对[Ll,Lh]， 并构建3个损失函数， 包括： 1)重建损失函数： 其中， Rl为原始图像Sl分解得到的反射图像， Rh为精修图像Sh分解得到的反射图像， Ll为 原始图像Sl分解得到的亮度图像， Lh为精修图像Sh分解得到的亮度图像， ‖ ·‖1表示1范数； 2)反射分量相似性损失函数： 其中Rl为原始图像Sl分解得到的反射图像， Rh为精修图像Sh分解得到的反射图像， ‖ ·‖2 表示2范数； 3)光照分量平 滑损失函数： 其中， 表示包含水平和 垂直方向的一阶导数算子， Ll为原始图像Sl分解得到的亮度图权　利　要　求　书 1/2 页 2 CN 114331908 A 2像， Lh为精修图像Sh分解得到的亮度图像， ‖ ·‖1表示1范数， ∈为避免分母为0的较小正常 数， 这里采用的值 为0.01。 7.根据权利要求1～4中任一所述的一种基于深度 学习的智能终端夜景图像增强方法， 其特征在于， 在所述亮度调整网络中引入了光照调整自适应曲线， 所述自适应映射 曲线方 程为： LEn(x)＝LEn‑1(x)+AnLEn‑1(x)(1‑LEn‑1(x))； 其中， An为像素级亮度调整系 数， LEn(x)即为对应像素点x的亮度调整值， 下标n为迭代 次数。 8.根据权利要求1～3中任一所述的一种基于深度 学习的智能终端夜景图像增强方法， 其特征在于， 所述亮度调整网络是由4个Conv&ReLU层和1个Sigmoi d层构成， 将高质量的夜 景图像的亮度图像作为ground ‑truth来进行监 督训练， 其损失函数为： 其中 为调整后的亮度， Lh为精修图像Sh分解得到的亮度图像, 表示包含水平和垂直 方向的一阶导数算子, ‖ ·‖2表示2范数。 9.根据权利要求1～3中任一所述的一种基于深度 学习的智能终端夜景图像增强方法， 其特征在于， 所述反射图像修复网络使用了9层UNet 来提取图像清晰锐利的纹理， 并去除黑 暗区域的大量退化， 最后连接上1个3 *3卷积层， 并通过Sigmo id层输出； 其损失函数为： 其中SSIM( ·,·)为结构相似性度量， 对应修复后的反射图像,Rh为精修图像Sh分解 得到的反射图像， 表示包含水平和垂直方向的一阶导数算子, ‖ ·‖2表示2范数。权　利　要　求　书 2/2 页 3 CN 114331908 A 3