(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210646447.0 (22)申请日 2022.06.08 (71)申请人 大连海事大学 地址 116026 辽宁省大连市高新园区凌海 路1号 (72)发明人 李楠楠　陈蕊　周希瑞　张琪　 (74)专利代理 机构 大连东方专利代理有限责任 公司 21212 专利代理师 陈丽　李洪福 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/50(2006.01) G06V 10/77(2022.01)G06V 10/80(2022.01) (54)发明名称 基于光照信息引导的无监督低光图像增强 方法及装置 (57)摘要 本发明公开了基于光照信息引导的无监督 低光图像增强方法及装置， 涉及低光图像增强技 术领域， 方法包括： 收集训练数据集和测试数据 集； 构建基于光照信息引导的低光增强模型， 并 将训练数据集中的图像输入到低光增强模型中 进行训练； 基于光照信息引导的低光增强模型为 包括生成器和判别器的生 成式对抗网络； 生成器 包括光照估计模块和增强网络， 光照估计模块生 成单通道的光照信息图， 用以指导所述增强网络 的学习； 增强 网络以U‑net作为网络的基本块， 在 U‑net网络的不同层添加光照信息 图指导； 将测 试数据集中的图像输入到训练好的低光增强模 型中， 得到增强后的正常光图像。 本发明增强了 模型的普适性； 同时为模型的局部和全局信息融 合建立了纽带。 权利要求书2页 说明书7页 附图2页 CN 115115540 A 2022.09.27 CN 115115540 A 1.一种基于光照信息引导的无监 督低光图像增强方法， 其特 征在于， 所述方法包括： 收集训练数据集和测试数据集； 所述训练数据集包括低光图像和正常光的非成对图 像； 所述测试 数据集包括低光图像； 构建基于光照信 息引导的低 光增强模型， 并将所述训练数据集中的图像输入到所述光 照信息引导的低光增强模型中进 行训练； 所述光照信息引导的低光增强模 型的输入是三通 道的低光图像， 输出是增强后的正常光图像； 所述基于光照信息引导的低光增强模型为包 括生成器和判别器的生成式对抗网络； 所述生成器包括： 用于估计原始图像中包含的光照 信息的光照估计模块和用于低光增强的增强网络； 所述光照估计模块生成单通道的光照信 息图， 用以指导所述增强网络的学习； 所述增强网络以U ‑net作为网络的基本块， 在U ‑net网 络的不同层添加光照信息图指导； 将所述测试数据集中的图像输入到训练好的低 光增强模型中， 得到增强后的正常光图 像。 2.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法， 其特征 在于， 所述 光照估计模块， 包括： 四层卷积层、 三个残差块以及一个单通道提取操作。 3.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法， 其特征 在于， 所述增强网络包括： 将单通道光照指导图与三通道低光图像拼接成四通道的特征融合图作为所述增强网 络的输入； 在U‑net的跳跃连接部分将编码器对应特征层融合调整过大小 的光照指导图， 融合指 的是将编码层卷积的输出与不同尺度的光照信息相乘， 跳跃连接5个不同尺度的相对应的 编码层和解码层网络； 在U‑net解码完成后将其结果与光照指导图相乘融合。 4.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法， 其特征 在于， 所述判别器采用马尔科 夫鉴别器。 5.根据权利要求4所述的一种基于光照信息引导的无监督低光图像增强方法， 其特征 在于， 所述判别器包括全局判别器和局部判别器， 所述全局判别器的输入为整张生成图像 和真实正常光图像； 所述局部判别器的输入为从生成图像上和真实正常光图像上随机裁剪 的小块。 6.根据权利要求4或5所述的一种基于光照信 息引导的无监督低 光图像增强方法， 其特 征在于， 所述判别器包括： 5个卷积层以及LeakyReLu激活函数， 最后一层是全连接层并连接 Sigmoid激活函数 得出真假判别概 率。 7.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法， 其特征 在于， 所述低光增强模型的训练过程中采用的损失函数， 包括： 采用平滑损失来估计光照信息； 采用感知损失约束增强后的图像， 使增强前后的图像内容特 征保持不变； 采用对抗损失来 来最小化真实图像与生成图像中光照分布的差异。 8.一种基于光照信息引导的无监 督低光图像增强装置， 其特 征在于， 所述方法包括： 数据收集单元， 用于收集训练数据集和测试数据集； 所述训练数据集包括低光图像和 正常光的非成对图像； 所述测试 数据集包括低光图像；权　利　要　求　书 1/2 页 2 CN 115115540 A 2模型构建单元， 用于构建基于光照信息引导的低光增强模型， 并将所述训练数据集中 的图像输入到所述光照信息引导的低光增强模型中进 行训练； 所述光照信息引导的低光增 强模型的输入是三通道的低光图像， 输出是增强后的正常光图像； 所述基于光照信息引导 的低光增强模型为包括生成器和判别器的生成式对抗网络； 所述生成器包括： 用于估计原 始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络； 所述光照估计模块 生成单通道的光照信息图， 用以指导所述增强网络的学习； 所述增强网络以U ‑net作为网络 的基本块， 在U ‑net网络的不同层添加光照信息图指导； 图像增强单元， 用于将所述测试数据集中的图像输入到训练好的低光增强模型中， 得 到增强后的正常光图像。 9.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质内存储有计算机指 令集， 计算机指 令集被处理器执行时实现如权利要求 1～7任一项 所提供的一种基于光照信 息引导的无监 督低光图像增强方法。权　利　要　求　书 2/2 页 3 CN 115115540 A 3