(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211081419.5 (22)申请日 2022.09.06 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市江北新区宁六 路219 (72)发明人 付章杰　何卓豪　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 5/50(2006.01) (54)发明名称 一种多尺度特征融合的图像重建方法及系 统 (57)摘要 本发明公开了图像重建领域的一种多尺度 特征融合的图像重建方法及系统， 包括： 对原图 像进行压缩测量得到测量向量； 根据测量向量生 成初始重建图像； 采用多个残差模块对初始重建 图像依次进行特征提取， 获得残差特征集合； 将 残差特征En输入至多种尺度卷积核的密集模块 提取密集特征T1； 采用注意力模块将密集特征T1 和残差特征En‑1进行局部 特征融合形成密集特征 T2； 重复迭代直至全局的残差特征融合完成， 获 得全局融合特征； 计算全局融合特征的残差后与 初始重建图像相加得到最终重建图像； 本发明提 升了图像重建质量并减少网络的计算 量。 权利要求书3页 说明书7页 附图3页 CN 115170916 A 2022.10.11 CN 115170916 A 1.一种多尺度特 征融合的图像重建方法， 其特 征在于， 包括： 对原图像进行压缩测量得到测量向量； 根据测量向量 生成初始重建图像； 采用多个残差模块对初始重建图像依次进行特征提取， 获得残差特征集合E={E1， E2，…， En}； 将残差特 征En输入至多种尺度卷积核的密集模块 提取密集特 征T1； 采用注意力模块将密集特征T1和残差特征En‑1进行局部特征融合形成密集特征T2； 重复 迭代直至全局的残差特 征融合完成， 获得全局融合特 征； 计算全局融合特 征的残差后与初始重建图像相加得到最终重建图像。 2.根据权利要求1所述的一种 多尺度特征融合的图像重建方法， 其特征在于， 对原图像 进行压缩测量得到测量向量的方法包括： 将原图像转为灰度图后进行区块处理获得图像块， 将图像块进行旋转和翻转后构建图 像块数据集； 对图像块数据集中的图像块进行采样后， 通过测量矩阵对图像块行压缩测量得到测量 向量， 表达公式为： 公式中，𝚽表示为测量矩阵； 表示为第i个图像块； 表示为第i个图像块对应的测 量向量。 3.根据权利要求2所述的一种 多尺度特征融合的图像重建方法， 其特征在于， 根据测量 向量生成初始重建图像的方法包括： 将测量向量 转化为初始重建图像块的表达公式为： 公式中， 表示由全连接层组成的线性映射关系函数,  表示为第i个图像 块的权重； 表示为第i个初始重建图像块； 将各初始重建图像块进行叠加生成初始重建图像。 4.根据权利要求1或权利要求3所述的一种 多尺度特征融合的图像重建方法， 其特征在 于， 采用多个残差模块对初始重建图像依次进行 特征提取， 获得残差特 征集合的方法包括： 将初始重建图像输入至残差模块， 对初始重建图像分别进行3 ×3卷积和5 ×5卷积后进 行相互连接， 获得叠加特 征； 将叠加特 征进7×7卷积获得残差特 征E1； 重新采用残差模块对残差特征E1进行特征提取获得残差特征E2， 采用残差模块对残差 特征E2进行特征提取获得残差特 征E3； 构建残差特 征集合E={E1， E2， E3}。 5.根据权利要求1所述的一种 多尺度特征融合的图像重建方法， 其特征在于， 将残差特 征En输入至多种尺度卷积核的密集模块 提取密集特 征的方法包括： 通过DensNet分别对残差特征En进行3×3卷积后， 使用1 ×1卷积降维获得初 始密集特征 P1； 通过另一DensNet分别 对残差特征En进行5×5卷积后， 使用1 ×1卷积降维获得初始密集 特征P2； 将初始密集特征P1与初始密集特征P2连接后依次进行1 ×1卷积和ReLU函数处理后 获得密集特 征。 6.根据权利要求1所述的一种 多尺度特征融合的图像重建方法， 其特征在于， 采用注意权　利　要　求　书 1/3 页 2 CN 115170916 A 2力模块将密集特 征T1和残差特 征En‑1进行局部特 征融合形成密集特 征T2的方法包括： 通过空间注意力对残差特征En‑1进行重要性加权生成残差融合特征； 通过通道注意力 对密集特征T1进行重要性加权生成密集融合特征； 将残差融合特征和密集融合特征执行 Concat连接后依次进行1 ×1卷积和ReLU函数处 理后获得密集特 征T2。 7.根据权利要求6所述的一种 多尺度特征融合的图像重建方法， 其特征在于， 通过通道 注意力对密集特 征进行重要性加权生成密集融合特 征的方法包括： 将第k次生成的密集特征 重塑为密集特征 ， ； C表示为密集特征 的通达数量； H表示为密集特征 的高度； W表示 为密集特 征 的宽度； 计算密集特 征 在各通道之间的影响程度， 计算公式为： 公式中， 表示为第a个通道的密集特征 对第b个通道的密集特征 的影响程 度； 表示为第a个通道的密集特征 ； 表示为第b个通道的密集特征 ； 根据密 集特征和影响程度计算得到尺寸 为 的密集融合特 征， 计算公式为： 公式中， 表示为第b个通道的密集融合特征； 表示为设定的比例参数； 表示 为第b个通道的密集特 征 。 8.根据权利要求7所述的一种 多尺度特征融合的图像重建方法， 其特征在于， 通过空间 注意力对残差特 征进行重要性加权生成残差融合特 征的方法包括： 将第t次生成的残差特征 输入至卷积函数生成 映射特征 、 映射特 征 和映射特征 ； 将映射特征 、 映射特征 和映射特 征 分别重塑为映射特征 、 映射特征 和映射特征 ； 将映射特 征 和映射特 征 进行矩阵计算， 表示公式为： 权　利　要　求　书 2/3 页 3 CN 115170916 A 3