(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111637777.5 (22)申请日 2021.12.2 9 (71)申请人 苏州科达科技股份有限公司 地址 215011 江苏省苏州市高新区金山路 131号 (72)发明人 张艳丽　李瑮　毛晓蛟　 (74)专利代理 机构 苏州谨和知识产权代理事务 所(特殊普通 合伙) 32295 代理人 叶栋 (51)Int.Cl. G06T 11/00(2006.01) G06T 7/90(2017.01) G06T 5/00(2006.01) G06N 3/04(2006.01) (54)发明名称 图像重建方法、 装置、 设备及存 储介质 (57)摘要 本申请属于数字图像处理领域， 具体涉及一 种图像重建方法、 装置、 设备及存储介质， 其包 括： 获取预先训练的图像重建模型， 图像重建模 型中的第一网络分支用于基于第一图像数据生 成初始重建图像； 第二网络分支用于从第二图像 数据中提取色彩矫正系数； 输出层用于使用色彩 矫正系数对初始重建图像进行调整； 将第一图像 数据和第二图像数据输入图像重建模 型， 得到重 建图像； 可以解决传统的图像重建模 型不能恢复 出在宽动态场景中暗区或者亮区采集的图像数 据， 导致图像重建效果不佳的问题； 使用图像传 感器采集到第一图像数据重建图像， 可以保证重 建图像不丧失 明暗部分细 节， 同时使用第二图像 数据提取色彩矫正系数进行色彩调整， 可以提高 重建图像的感观效果。 权利要求书2页 说明书11页 附图3页 CN 114299180 A 2022.04.08 CN 114299180 A 1.一种图像重建方法， 其特 征在于， 所述方法包括： 获取第一图像数据和第 二图像数据， 所述第 一图像数据 是指图像传感器输出的图像数 据， 所述第二图像数据是指对所述第一图像数据进行图像信号处 理后得到的图像数据； 获取预先训练的图像重建模型， 所述图像重建模型包括第 一网络分支、 第 二网络分支、 以及分别与所述第一网络分支和所述第二网络 分支相连的输出层； 所述第一网络分支用于 基于所述第一图像数据生成初始重 建图像； 所述第二网络 分支用于从所述第二图像数据中 提取色彩矫正系数； 所述输出层用于使用所述色彩矫正系数对所述初始重建图像进行调 整； 将所述第一图像数据和所述第二图像数据输入所述图像重建模型， 得到 重建图像。 2.根据权利要求1所述的方法， 其特征在于， 所述第 二网络分支包括与 所述输出层 分别 相连的第一网络 子分支和第二网络 子分支； 所述第一网络子分支用于从所述第二图像数据中提取所述色彩矫正系数中的全局矫 正系数， 所述全局矫 正系数用于对所述初始重建图像进行全局的白平衡矫 正； 所述第二网络子分支用于从所述第二图像数据中提取所述色彩矫正系数中的局部矫 正系数， 所述局部矫 正系数用于对所述第初始重建图像进行局部的颜色矫 正。 3.根据权利要求2所述的方法， 其特 征在于， 所述第一网络子分支依次包括卷积层、 修正线性单元ReLU函数、 全局平均池化层和 非 线性激活函数； 所述第二网络 子分支依次包括卷积层、 ReLU函数和非线性激活函数。 4.根据权利要求1所述的方法， 其特 征在于， 所述获取 预先训练的图像重建模型， 包括： 获取训练数据， 所述训练数据包括： 样本传感数据、 所述样本传感数据对应的处理后数 据、 以及所述样本传感数据对应的标准图像； 将所述样本传感数据和所述处理后数据输入预先创建的初始网络模型， 得到第 一训练 结果； 所述初始网络模型的模型 结构与所述图像重建模型的模型 结构相同； 将所述第一训练结果和所述标准图像输入预设的损失函数， 得到第一损失函数值； 使用所述第一损失函数值对所述初始网络模型进行迭代训练， 得到中间 网络模型； 基于所述处 理后数据确定掩码权 重； 将所述样本传感数据和所述处 理后数据输入所述中间 网络模型， 得到第二训练结果； 将所述第二训练结果和所述标准图像输入预设的第一损失函数， 得到第二损失函数 值； 确定所述第二损失函数值和所述掩码权 重的乘积， 得到第三损失函数值； 使用所述第三损失函数值对所述中间网络模型进行迭代训练， 得到所述图像重建模 型。 5.根据权利要求 4所述的方法， 其特 征在于， 所述获取训练数据， 包括： 获取在同一场景 下采集的多张样本传感数据， 不同样本传感数据的 曝光不同； 对每张样本传感数据进行图像信号处 理， 得到每张样本传感数据对应的处 理后数据； 对曝光不同的处 理后数据进行图像融合， 得到所述标准图像。 6.根据权利要求4所述的方法， 其特征在于， 所述基于所述处理后数据确定掩码权重， 包括：权　利　要　求　书 1/2 页 2 CN 114299180 A 2基于所述处 理后数据的Y通道的像素值计算所述掩码权 重。 7.根据权利要求4所述的方法， 其特征在于， 所述损 失函数包括第一损 失函数、 第二损 失函数和第三损失函数； 所述第一损失函数用于计算训练结果和所述标准图像之间像素值的差异。 所述第二损失函数用于缩小所述训练结果与所述标准图像间视 觉感知的差异。 所述第三损失函数用于缩小所述训练结果与所述标准图像间结构相似度的差异。 8.一种图像重建装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于获取所述第一图像数据和所述第二图像数据， 所述第一图像数据 是指图像传感器输出的图像数据， 所述第二图像数据是指对所述第一图像数据进 行图像信 号处理后得到的图像数据； 模型获取模块， 用于获取所述预先训练的图像重建模型， 所述图像重建模型包括第一 网络分支、 第二网络分支、 以及分别与所述第一网络分支和所述第二网络分支相连 的输出 层； 所述第一网络分支用于基于所述第一图像数据生成初始重建图像； 所述第二网络分支 用于从所述第二图像数据中提取色彩矫正系数； 所述输出层用于使用所述色彩矫正系数对 所述初始重建图像进行调整； 图像输入模块， 用于将所述第一图像数据和所述第二图像数据输入所述图像重建模 型， 得到重建图像。 9.一种电子设备， 其特征在于， 所述设备包括处理器和存储器； 所述存储器中存储有程 序， 所述程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的图像重建方 法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质中存储有程序， 所述程序被 处理器执行时用于实现如权利要求1至7任一项所述的图像重建方法。权　利　要　求　书 2/2 页 3 CN 114299180 A 3