(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210392717.X (22)申请日 2022.04.15 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 林乐平　朱静　欧阳宁　莫建文　 (74)专利代理 机构 桂林市华杰 专利商标事务所 有限责任公司 451 12 专利代理师 覃永峰 (51)Int.Cl. G06T 7/11(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06T 5/00(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/74(2022.01) (54)发明名称 基于自适应非局部特征融合网络的图像压 缩感知重建方法 (57)摘要 本发明公开了一种基于自适应非局部特征 融合网络的图像压缩感知重建方法， 其特征在 于， 包括如下步骤： 1)训练数据预处理； 2)获取测 数据yi； 3)构造图像块压缩观测值yi协同重构组 Yi； 4)采用线性映射网络F获得初始重建图像块 协同重构组Zi； 5)将协同重构组Zi进行特征交互 得到协同联合重建特征Zc； 6)采用全局残差 网络 Fr对图像块zi进行增强重建获得重建图像z ′i； 7) 采用图像块稀疏约束损失函数对网络训练进行 约束。 这种方法采用非局部特征为图像块重建提 供互补信息， 能有效恢复图像中的高频信息 。 权利要求书2页 说明书4页 附图1页 CN 114708281 A 2022.07.05 CN 114708281 A 1.一种基于自适应非局部特征融合网络的图像压缩感知重建方法， 其特征在于， 包括 如下步骤： 1)训练数据预处理： 将T91数据集和BSD500数据集中的图像随机裁剪成大小为B ×B的 不重叠的图像块xi,并将图像块xi向量化为B2×1维列向量， 列向量归一化到[0,1]区间得到 转换归一 化的列向量x'i， 其中， i＝1,2,…,N； 2)获取测数据yi： 采用随机高斯矩阵Φ对步骤1)得到的图像块转化后的列向量x'i， 进 行压缩观测， 得到相应观测值yi＝Φx'i， x'i∈RN×1,Φ∈RM×N,yi∈RM×1， 其中， i＝1,2,…,N； 3)构造图像块压缩观测值yi协同重构组Yi： 采用余弦相似性度量步骤2)中得到的图像 块压缩观测值yi与其它分块图像压缩观测值yj的相似性， 构造其协同重构组Yi＝[yi, yi,1,…,yi,n],其中， j＝1,2, …,N， n＝1,2,…,m； 4)采用线 性映射网络 F获得初始重建图像块协同重构组Zi： 将步骤3)构造的协同重构组 Yi输入线性映射网络F， 如公式(1)所示： Zi＝F(W1,Yi)                 (1)， 其中,F表示线性映射网络、 采用全连接网络实现， W1为全连接网络参数， 线性映射网络F采用全连接网络层对协同重构组Yi内压缩观测值升 维、 转换尺寸， 得到大小为B ×B的初始重建图像块协同重构组Zi＝[zi,zi,1,…,zi,n],n＝1, 2,…,m； 5)将协同重构组Zi进行特征交互得到协同联合重建特征Zc： 对步骤4)所获得 的协同重 构组Zi中图像块初始估计值zi及图像块zi非局部相似特征初始估计值zi,1,zi,2,…,zi,n进行 通道拼接， 得到协同联合重建特 征Zc， 如公式(2)所示： Zc＝concat(zi,zi,1,…,zi,n)            (2)， 其中， concat表示通道拼接； 6)采用全局残差网络Fr对图像块zi进行增强重建获得重建图像z'i： 将步骤5)得到的协 同联合重建特征Zc输入由非局部特征自适应 交互模块Flg堆叠组成的全局残差重构网络Fr， 进行特征融合， 得到最终输出图像z'i， 如公式(3)所示： z'i＝zi+Fr(W2,Zc)                 (3)， 其中， Fr为全局残差网络， zi为图像块初始重建图像， W2为残差网络参数； 7)采用图像块稀疏约束损失函数对网络训练进行约束： 如公式(4)所示： 其中， xi为原始图像块， z'i为重建图像块， yi为图像块观测值。 2.根据权利要求1所述的基于自适应非局部特征融合网络的图像压缩感知重建方法， 其特征在于， 步骤6)中所述的非局部特 征自适应交 互模块Flg的具体过程 为： 2‑1)先对得到的初始重建图像块协同重构组Zi＝[zi,zi,1,…,zi,n],n＝1,2, …,m内图 像进行通道拼接， 得到通道数为m+1维协同联合重建特征Zc； 再对Zc采用32个核大小为3 ×3 的非局部特征融合卷积Fd进行自适应特征映射得到32张融合了非局部信息的特征图f1； 将 得到的特征图f1通过通道相关性判别 模块Fc‑a得到特征图f2， 采用m+1核大小为9 ×9的非局 部特征融合卷积Fd1对特征图f2特征提取， 输出m+1张特征图f3； 最后对特征图f3采用空间关 联性判别模块Fs‑a对重要空间结构进行 关注， 得到最后的输出特征图flg； 然后采用1 ×1卷积 F1×1对输出特征图flg通道间信息融合后与初始重 建图像zi相加得到最终输出图像z'i， 如公权　利　要　求　书 1/2 页 2 CN 114708281 A 2式(5)、 (6)、 (7)、 (8)、 (9)所示： f1＝Fd(W3,Zc)                  (5)， f2＝Fc‑a(W4,f1)                (6)， f3＝Fd1(W5,f2)                 (7)， flg＝Fs‑a(W6,f3)                (8)， z'i＝zi+F1×1(W7,flg)            (9)， 其中， Fd为核大小为3 ×3的非局部特征融合卷积， Fc‑a为通道相关性判别模块， Fd1为核 大小为9×9的非局部特征融合卷积， Fs‑a为空间关联性判 别模块， F1×1为1×1卷积， W3,W4,W5, W6,W7表示网络参数。权　利　要　求　书 2/2 页 3 CN 114708281 A 3