(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210538803.7 (22)申请日 2022.05.17 (71)申请人 东南大学 地址 211102 江苏省南京市江宁区东 南大 学路2号 (72)发明人 裴文江　冯程晨　夏亦犁　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 沈廉 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/40(2022.01) G06K 9/62(2022.01) (54)发明名称 基于多注意力机制融合的轻量级双目图像 超分辨率方法 (57)摘要 本发明公开了一种基于多注意力机制融合 的轻量级双目图像超分辨率方法， 主要解决双目 图像超分辨率任务中模型性能和计算效率难以 达到平衡的问题。 首先， 引入修正的二值化特征 融合框架融合通道注意力和空间注意力机制下 提取的多级 图像特征； 其次， 通过双通道注意力 机制对双目图像进行全局视差信息的提取， 同时 引入金字塔采样机制减少模块计算量。 经实验证 明， 本发明实现了较少参数下超分辨率性能的较 大提升， 证实了轻量级网络在双目图像超分辨率 任务中的可移植 性。 权利要求书2页 说明书6页 附图3页 CN 114881858 A 2022.08.09 CN 114881858 A 1.一种基于多注意力机制融合的轻量级双目图像超分辨率方法， 其特征在于， 具体包 括如下步骤： 步骤1： 构建网络模型 以低分辨率左 视图图像和右视图图像作为网络输入， 并对左视图进行超分辨率处理得 到高分辨率的左视图图像； 所述构建 网络模型包括三个子模块， 即特征提取模块、 视差注 意 力提取模块及特 征重建模块； 首先， 输入低分辨率双目图像对 和 经过一个3 ×3卷积层提取左视图图像和右 视 图图像的浅层特 征： 其中， Hsfe代表共享权重的3 ×3卷积层， 和 表示从低分辨率双目图形对中分别 提取到的左视图和右视图的浅层特征； 输入m个共享权值的特征融合组进一步提取较深层 次的特征： 上式中， 代表第m个特征融合组， 同理， 和 分别代表第m ‑1和第1个特征 融 合组， 和 指浅层特 征通过m个特 征融合组之后输出的较深层次的特 征张量； 之后， 在提取到低分辨率图像对的独立特征后， 通过基于多尺度金字塔采样机制的视 差注意力模块进行双目特 征的匹配， 输出左视图 图像的视 差融合特 征张量： 其中， HDCPAM表征双通道视差注意力模块， 表示通过视差注意力模块得到 的特征张 量； 随后， 再次使用n个特 征融合组对前级特 征进行进一 步的提取和融合， 表征为： 与特征提取阶段类似， 表示特征重建阶段的第n个特征融合组， 和 分别 代表第n‑1和第1个特征融合组， 表示经过n个特征融合组后得到的左视图的融合特征 张量； 最后， 将经过双三次上采样后的左视 图图像与上级输出特征逐像素相加， 得到最终的 左视图超分辨 率重建结果： 其中， H5和H3分别指5×5和3×3卷积， Hps表示像素重组层， Hup为双三次上采样操作， λ1和 λ2代表可训练的标量 参数， 为最终超分辨 率后的高分辨 率左视图； 步骤2： 构建双目图像数据集， 设置训练参数进行网络训练，权　利　要　求　书 1/2 页 2 CN 114881858 A 2将数据集图像分为训练集、 验证集和测试集， 设置训练参数对网络模型进行训练， 在训 练集上进行网络训练得到训练后的网络模型； 步骤3： 将待处 理双目图像输入到训练后的网络模型中， 进行双目图像超分辨 率重建。 2.根据权利要求1所述基于多注意力机制融合的轻量级双 目图像超分辨率方法， 其特 征在于， 步骤1所述的特征融合块以多注意力融合模块为基础模块， 集成了通道注意力、 空 间注意力及空洞卷积提取的多级特征， 并且以修正的二值化特征融合结构为基本架构搭 建。 3.根据权利要求1所述基于多注意力机制融合的轻量级双 目图像超分辨率方法， 其特 征在于， 步骤1所述的视差注意力模块为双通道注意力模块， 旨在提取局部沿极线 特征及全 局视差信息。 4.根据权利要求1所述基于多注意力机制融合的轻量级双 目图像超分辨率方法， 其特 征在于， 步骤1所述多尺度金字塔采样机制， 其各级卷积核尺寸 为[12， 15， 18， 21]。 5.根据权利要求1所述基于多注意力机制融合的轻量级双 目图像超分辨率方法， 其特 征在于， 步骤1所述m＝2， n ＝2， 且特 征提取阶段的左右视图支路的特 征融合块数量相同。 6.根据权利要求1所述基于多注意力机制融合的轻量级双 目图像超分辨率方法， 其特 征在于， 步骤1所述低分辨率左视图图像和右视图图像， 通过对调左右视图低分辨率图像可 以以同样方式重建高分辨 率右视图 图像。 7.根据根据权利要求1所述基于多注意力机制融合的轻量级双目图像超分辨率方法， 其特征在于， 步骤2对网络模型进行训练过程中， 使用超分辨 率损失为损失函数。 8.根据根据权利要求1所述基于多注意力机制融合的轻量级双目图像超分辨率方法， 其特征在于， 步骤2对网络模型进行训练过程中， 训练优化器使用Adam， 学习率初始化为 0.00002， 训练过程中对学习 率进行优化， 每30个迭代降低为原来的一半， 批次大小设置为 4， 训练120个迭代后收敛。 9.根据根据权利要求1所述基于多注意力机制融合的轻量级双目图像超分辨率方法， 其特征在于， 步骤2对网络模型进行训练过程中， 使用Nvidia  RTX3090Ti  GPU基于 pytorch1.8搭建网络环境。权　利　要　求　书 2/2 页 3 CN 114881858 A 3