(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210795882.X (22)申请日 2022.07.06 (71)申请人 北京联合大 学 地址 100101 北京市朝阳区北四环东路97 号 (72)发明人 王金华　胡新　徐光美　张敬尊　 (74)专利代理 机构 北京驰纳南熙知识产权代理 有限公司 1 1999 专利代理师 马栋敏 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/90(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 20/70(2022.01) (54)发明名称 一种基于Transformer的图像颜色校正方法 (57)摘要 本发明提供一种基于Transformer的图像颜 色校正方法， 包括输入原始带颜色投影的图像， 其特征在于， 还包括以下步骤： 构建图像颜色校 正模型， 所述图像颜色校正模型包括浅层特征提 取模块、 深层特征提取模块和图像重构模块； 对 所述图像颜色校正模型进行训练； 将所述原始带 颜色投影的图像输入到训练后的所述图像颜色 校正模型中， 得到最后校正后彩色图像。 本发明 提出了一种基于Tran sformer的 图像颜色校正方 法， 融合了CNN和Transformer的优点， 一方面具 有CNN处理大尺寸图像的优势； 另一方面具有 Transformer的优势， 可以使用移位窗口策略对 全局信息进行建模。 权利要求书2页 说明书8页 附图3页 CN 115187480 A 2022.10.14 CN 115187480 A 1.一种基于Transformer的图像颜色校正方法， 包括输入原始带颜色投影的图像， 其特 征在于， 还 包括以下步骤： 步骤1： 构建图像颜色校正模型， 所述图像颜色校正模型包括浅层特征提取模块、 深层 特征提取模块和图像重构模块； 步骤2： 对所述图像颜色校正模型进行训练； 步骤3： 将所述原始带颜色投影的图像输入到训练后的所述图像颜色校正模型中， 得到 最后校正后彩色图像。 2.如权利要求1所述的基于Transformer的图像颜色校正方法， 其特征在于， 所述深层 特征提取模块的STB层的输入为所述大小为H ×W×120的特征图， 输出为提取后的深层语义 特征。 3.如权利要求2所述的基于Transformer的图像颜色校正方法， 其特征在于， 所述STB层 的结构依次为： 输入 特征、 LN层、 W ‑MSA子模块 或SW‑MSA子模块、 残差连接层、 LN层、 多层感知 机层、 残差连接层和输出 特征。 4.如权利要求3所述的基于Transformer的图像颜色校正方法， 其特征在于， 所述STB层 包括2部分， 左侧部分采用W ‑MSA子模块， 右侧部分采用SW ‑MSA子模块。 5.如权利要求4所述的基于Transformer的图像颜色校正方法， 其特征在于， 所述LN层 用于对输入数据进行归一 化处理。 6.如权利要求5所述的基于Transformer的图像颜色校正方法， 其特征在于， 所述多层 感知机层由两层全连接神经网络组成， 第一层全连接网络先把输入向量从120维度映射到 480维度， 激活函数为ReLU函数， 第二层全连接网络再从480维度映射回120维度， 不使用激 活函数。 7.如权利要求6所述的基于Transformer的图像颜色校正方法， 其特征在于， 所述全连 接网络的表达式为 FFN(x)＝max(0,xw1+b1)w2+b2 其中， x为输入特征图,w1为第一层权重,b1为第一层偏置,w2为第二层权重,b2为第二层 偏置。 8.如权利要求7所述的基于Transformer的图像颜色校正方法， 其特征在于， 所述W ‑MSA 子模块用于对输入特 征进行窗口划分， 在每 个划分的小窗口上进行多头自注意力计算。 9.如权利要求8所述的基于Transformer的图像颜色校正方法， 其特征在于， 所述W ‑MSA 子模块用于将输入特征映射到不同的子空间中， 再分别 在所有子空间上做点乘运算计算注 意力向量， 最后把所有子空间计算得到 的注意力向量拼接起来， 并利用W0做进一步映射得 到最终的注意力向量作为输出。 10.如权利要求8所述的基于Transformer的图像颜色校正方法， 其特征在于， 所述W ‑ MSA子模块的表达式为 MultiHead(Q,K,V)＝Co ncat(head1,…,headh)W0 其中， Q,K,V分别为W ‑MSA子模块的查询向量、 键向量、 值向量， W0为线性映射权重， h为子权　利　要　求　书 1/2 页 2 CN 115187480 A 2空间的个数， Attention为头注意力函数， 为第j子空间中Q的映射矩阵， 为第j子空 间中K的映射矩阵， 为第j子空间中V的映射矩阵。权　利　要　求　书 2/2 页 3 CN 115187480 A 3