(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210326308.X (22)申请日 2022.03.30 (65)同一申请的已公布的文献号 申请公布号 CN 114663315 A (43)申请公布日 2022.06.24 (73)专利权人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 刘婧　米晓峰　窦倩倩　苏育挺　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李林娟 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/40(2017.01) G06T 7/90(2017.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 111681192 A,2020.09.18 US 201615 6917 A1,2016.0 6.02 CN 111008938 A,2020.04.14 刘平平.基于卷积神经网络的视频比特深度 增强算法研究. 《中国优秀硕士学位 论文全文数 据库信息科技 辑》 .2022,第2022年卷(第01期), Changmeng Peng et al. .CNN-Based Suppression of False Co ntour and Co lor Distorti on in Bit-Depth Enhancement. 《Sensors》 .2021,第21卷(第2期),全 文. Jing Zhang et al. .BE-ACGAN: Photo- realistic residual bit-depth enhancement by advanced co nditional GAN. 《Displays》 .2021,全 文. 审查员 苏晓燕 (54)发明名称 基于语义融合生成对抗网络的图像比特增 强方法及装置 (57)摘要 本发明公开了一种基于语义融合生成对抗 网络的图像比特增强方法及装置， 方法包括： 生 成器以残差结构为框架， 添加输入图像到输出的 全局跳跃连接和语义融合层， 将零填充后的高比 特图像和语义分割结果作为输入， 输出重构后的 高比特图像； 鉴别器基于VGG网络， 具有图像真假 预测分支和图像语义类别预测分支， 将重构后的 高比特图像或真实的高比特图像作为输入， 输出 为对输入图像是否为重构图像的预测和该图像 所属类别的预测； 对测试集预处理得到的零填充 后的高比特图像和语义分割结果输入到已加载 训练模型参数后的生成器网络得到重构高 比特 图像。 装置包括： 处理器和存储器。 本发 明进行像素级别的纹理生成约束； 且保留突变区域纹理边 缘细节， 提高视 觉质量。 权利要求书2页 说明书10页 附图2页 CN 114663315 B 2022.11.22 CN 114663315 B 1.一种基于语义融合 生成对抗网络的图像比特增强方法， 其特 征在于， 所述方法包括： 1)生成器以残差结构为框架， 添加输入图像到输出的全局跳跃连接和语义融合层， 将 零填充后的高比特图像和语义分割结果作为输入， 输出重构后的高比特图像； 鉴别器基于VGG网络， 具有图像真假预测分支和图像语义类别预测分支， 将重构后的高 比特图像或真实的高比特图像作为输入， 输出为对输入图像是否为重构图像的预测和该图 像所属类别的预测； 2)将训练集预处理得到的零填充后的高比特图像和语义分割结果作为生成器的输入 数据， 并将重构后的高比特或真实高比特图像作为鉴别器的输入数据， 使用包括渐变突变 区域梯度损失的组合损失函数， 通过Adam优化器交替训练生 成器网络和鉴别器网络的模型 参数； 3)对测试集预处理得到的零填充后的高比特图像和语义分割结果输入到已加载训练 模型参数后的生成器网络得到 重构高比特图像； 其中， 梯度损失分为渐变突变区域分别计算， 渐变区域使用大的损失权重， 渐变区域检 测结果使用局部像素值差异计算获得， 对图像中的任一像素， 局部平均像素值差异计算如 下： 其中， gi， i＝1， 2， …， P， 表示邻近像素， P是邻近像素总 数， 是P个邻近像素 的平均值， 全局平均像素值差异计算如下： 其中， N是图像像素总数， 是像素的平均值， 渐变区域检测结果通过比较局部全 局平均像素值差异得到： dlocal＜0.05×dglobal     (3) 若式(3)成立， 则局部区域的中间像素位置为渐变区域， 记为1， 反之， 若不成立， 则为突 变区域， 记为0， 最终得到像素级别的二值渐变区域检测 结果记为Mflat， 则渐变与突变区域 梯度损失用下式计算： 其中， GHBD和 分别表示真实高比特图像和重构高比特图像的梯度图。 2.根据权利要求1所述的一种基于语义融合生成对抗网络的图像比特增强方法， 其特 征在于， 在步骤1)之前， 所述方法还 包括： 对训练集中的图像进行 预处理， 具体为： 对真实高比特图像量化得到低比特图像， 对所述低比特图像的比特位进行零填充得到 零填充后的高比特图像； 使用真实高比特图像获取语义分割结果和渐 变区域检测结果。 3.根据权利要求1所述的一种基于语义融合生成对抗网络的图像比特增强方法， 其特 征在于， 所述对测试集预处 理， 具体为： 将真实高比特图像量化为低比特图像， 对所述低比特图像的比特位进行零填充得到零权　利　要　求　书 1/2 页 2 CN 114663315 B 2填充后的高比特图像； 使用零 填充后的高比特图像获取语义分割结果。 4.根据权利要求1所述的一种基于语义融合生成对抗网络的图像比特增强方法， 其特 征在于， 所述生成器为： 以残差网络结构为基础的语义融合生成器， 由四个残差组组成， 每 个残差组包括： 一语义融合残差块和若干个通用残差块， 相邻的残差块之间存在跳跃 连接； 所述通用残差块由两个卷积层和一个ReLU激活层构成， 卷积层使用若干个3 ×3卷积操 作。 5.根据权利要求1所述的一种基于语义融合生成对抗网络的图像比特增强方法， 其特 征在于， 所述语义融合层以图像特征和语义分割 结果为输入， 通过语义分割 结果生成与图 像特征对应的语义特 征信息， 对图像特 征图进行语义增强。 6.根据权利要求1或5所述的一种基于语义融合生成对抗网络的图像比特增强方法， 其 特征在于， 所述语义融合层由卷积层构成， 第一个卷积层和其后的激活层是参数共享的， 最 后两个卷积层是以激活层的输出为输入得到变换后的语义特 征信息。 7.根据权利要求1或5所述的一种基于语义融合生成对抗网络的图像比特增强方法， 其 特征在于， 所述鉴别器由一系列卷积构成， 鉴别器后端的第一个 分支用于鉴别真假图像， 第 二个分支将输入图像预测为八个 类别之一， 两个分支共享前面的所有参数。 8.根据权利要求1或5所述的一种基于语义融合生成对抗网络的图像比特增强方法， 其 特征在于， 所述组合损失函数为： 其中， Lreconstruction为L1‑范数的重构损失， Lperception为感知损失， Lgradient为渐变与突变 区域梯度损失， Ladversary为生成器对抗损失函数， Lclassification为交叉熵形式的分类损失， α、 β 、 γ、 δ、 ε、 ζ 为各个损失的求和权 重。 9.一种基于语义融合 生成对抗网络的图像比特增强装置， 其特 征在于， 所述装置包括： 处理器和存储器， 所述存储器中存储有程序指令， 所述处理器调用存储器中存储的程 序指令以使装置执 行权利要求1 ‑8中的任一项所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 114663315 B 3