(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210583275.7 (22)申请日 2022.05.26 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 鲁继文　周杰　马程　张静怡　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 罗岚 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/54(2022.01) G06T 3/40(2006.01) (54)发明名称 基于串并联查找表的轻量化图像超分辨率 重建方法及装置 (57)摘要 本发明公开了基于串并联查找表的轻量化 图像超分辨率重建方法及装置， 该方法包括： 对 输入图像进行特征提取， 输出第一像素图像和第 二像素图像； 输入并联网络利用第一查找表提取 第一图像邻域结构信息和第二图像邻域结构信 息； 对输入特征图预设分组数， 基于分组后的输 入特征图进行特征聚合， 将聚合后的特征图进行 融合操作并输出第一融合特征图和第二融合特 征图； 加和操作输出得到超分图像。 该方法解决 现有基于查找表的高效图像超分方法中因查找 表规模限制导致的信息损失的问题， 通过串并联 查找表方法， 串联网络堆叠多个感受野较小的查 找表来逐渐扩 大感受野， 并联网络补偿量化输入 像素值带来的精度损失， 从而实现快速、 准确的 超分图像 推理。 权利要求书2页 说明书7页 附图2页 CN 115115912 A 2022.09.27 CN 115115912 A 1.一种基于串并联查找表的轻量化图像超分辨率重建方法， 其特征在于， 包括以下步 骤： 对输入图像通道上每个像素的比特数值进行特征提取， 输出所述通道的第 一像素图像 和第二像素图像； 将所述第一像素图像和第 二像素图像输入 并联网络， 利用第 一查找表对所述第 一像素 图像和第二像素图像的纹理信息进行特征提取， 以提取第一图像邻域结构信息和 第二图像 邻域结构信息； 对根据所述第一图像邻域结构信息和第二图像邻域结构信息获取的输入特征图预设 分组数， 基于分组后的输入特征图进行特征聚合， 将聚合后的特征图进行融合操作并输出 第一融合特 征图和第二融合特 征图； 将输出的所述第一融合特 征图和第二融合特 征图进行加 和操作， 输出 得到超分图像。 2.根据权利要求1所述的方法， 其特征在于， 所述基于分组后的输入特征图进行特征聚 合， 将聚合后的特 征图进行融合操作并输出第一融合特 征图和第二融合特 征图， 包括： 将获取的所述输入特征图分为多组图像， 将所述多组图像中的第 一两组特征图通过水 平聚合输出第一聚合特 征图， 以及将第二两组特 征图通过 竖直聚合输出第二聚合特 征图； 利用第二查找表对所述第一聚合特征图进行处理以及利用第三查找表对所述第二聚 合特征图进行处 理， 输出第一融合特 征图和第二融合特 征图。 3.根据权利要求1所述的方法， 其特征在于， 所述对输入图像通道上每个像素的比特数 值进行特征提取， 输出 所述通道的第一像素图像和第二像素图像， 包括： 对输入图像各个通道上每个像素的八比特数值提取四位最高有效位和四位最低有效 位； 基于提取的所述 四位最高有效位和四位最低有 效位， 得到预设精度的第 一像素图像和 第二像素图像。 4.根据权利要求2所述 的方法， 其特征在于， 所述第一查找表为LUTWH类型查找表， 所述 第二查找表为LUTWC类型查找 表， 所述第三 查找表为LUTHC类型的查找 表。 5.根据权利要求2所述的方法， 其特征在于， 所述将多组图像中的第 一两组特征图通过 水平聚合输出第一聚合特 征图， 包括： 提取所述多组图像中的相邻的两组特征图， 对所述相邻的两组特征图进行数据反射填 充， 得到填充后的两组数据特 征图； 基于像素偏移对所述填充后的两组数据特征图进行数据叠加， 得到叠加后的两组数据 特征图； 对所述叠加后的两组数据特征图的每一个数值进行数据量化， 得到预设数值的取值个 数。 6.一种基于串并联查找 表的轻量 化图像超分辨 率重建装置， 其特 征在于， 包括： 第一特征提取模块， 用于对输入图像通道上每个像素的比特数值进行特征提取， 输出 所述通道的第一像素图像和第二像素图像； 第二特征提取模块， 用于将所述第一像素图像和第二像素图像输入并联网络， 利用第 一查找表对所述第一像素图像和 第二像素图像的纹理信息进 行特征提取， 以提取第一图像 邻域结构信息和第二图像邻域结构信息；权　利　要　求　书 1/2 页 2 CN 115115912 A 2聚合融合模块， 用于对根据 所述第一图像邻域结构信 息和第二图像邻域结构信 息获取 的输入特征图预设分组数， 基于分组后的输入特征图进行特征聚合， 将聚合后的特征图进 行融合操作并输出第一融合特 征图和第二融合特 征图； 加和输出模块， 用于将输出的所述第一融合特征图和第二融合特征图进行加和操作， 输出得到超分图像。 7.根据权利要求6所述的装置， 其特 征在于， 所述聚合融合模块， 包括： 聚合输出模块， 用于将获取的所述输入特征图分为多组图像， 将所述多组图像中的第 一两组特征图通过水平聚合输出第一聚合特征图， 以及将第二两组特征图通过竖直聚合输 出第二聚合特 征图； 查找融合模块， 用于分别利用第 二查找表对所述第 一聚合特征图进行处理以及利用第 三查找表对所述第二聚合特 征图进行处 理， 输出第一融合特 征图和第二融合特 征图。 8.根据权利要求6所述的装置， 其特 征在于， 所述第一特 征提取模块， 包括： 比特数值提取模块， 用于对输入图像各个通道上每个像素的八比特数值提取四位最高 有效位和四位 最低有效位； 精度像素输出模块， 用于基于提取的所述四位最高有效位和四位最低有效位， 得到预 设精度的第一像素图像和第二像素图像。 9.根据权利要求7所述 的装置， 其特征在于， 所述第一查找表为LUTWH类型查找表， 所述 第二查找表为LUTWC类型查找 表， 所述第三 查找表为LUTHC类型的查找 表。 10.根据权利要求7 所述的装置， 其特 征在于， 所述聚合输出模块， 包括： 数据填充模块， 用于提取所述多组图像中的相邻的两组特征图， 对所述相邻的两组特 征图进行 数据反射 填充， 得到填充后的两组数据特 征图； 数据叠加模块， 用于基于像素偏移对所述填充后的两组数据特征图进行数据叠加， 得 到叠加后的两组数据特 征图； 数据量化模块， 用于对所述叠加后的两组数据特征图的每一个数值进行数据量化， 得 到预设数值的取值个数。权　利　要　求　书 2/2 页 3 CN 115115912 A 3