(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111584286.9 (22)申请日 2021.12.23 (71)申请人 广东工业大 学 地址 510006 广东省广州市番禺区大 学城 外环西路10 0号 (72)发明人 吴衡　杨鹏飞　赵艮平　 (74)专利代理 机构 中国商标专利事务所有限公 司 11234 代理人 宋义兴 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于特征金字塔注意力神经网络的太赫兹 图像增强方法 (57)摘要 本发明涉及太赫兹成像的技术领域， 更具体 地说， 它涉及基于特征金字塔注 意力神经网络的 太赫兹图像增强方法， 其技术方案要 点是： S1、 使 用SIDD公开数据集作为数据集， 选 取SIDD数据集 中M张成对的低质量 ‑高质量图像， 记为 i＝1,2,…,M； S2、 构建特征金字塔注 意力卷积神经网络模型； S3、 训练所述神经网络 模型； S4、 利用太赫兹成像仪拍摄得到K张分辨率 为a×b的带噪声的太赫兹图像集H， 然后将该图 像集输入到深度神经网络， 之后输出即为高质量 图像GT。 本发明具有算法去噪效果好、 图像信息 保留较完整、 算法运行较快的优点。 权利要求书3页 说明书8页 附图2页 CN 114359078 A 2022.04.15 CN 114359078 A 1.基于特征金字塔注意力神经网络的太赫兹图像增强方法， 其特征在于， 包括以下步 骤： S1、 使用SIDD公开数据集作为数据集， 选取SIDD数据集中M张成对的低质量 ‑高质量图 像， 记为 S2、 构建特 征金字塔注意力卷积神经网络模型； S3、 训练所述神经网络模型； S4、 利用太赫兹成像仪拍摄得到K张分辨率为a ×b的带噪声 的太赫兹图像集H， 然后将 该图像集输入到深度神经网络， 之后输出即为高质量图像GT。 2.根据权利要求1所述的基于特征金字塔注意力神经网络的太赫兹图像增强方法， 其 特征在于， 所述 步骤S1还 包括以下步骤： 首先将SIDD数据集彩色图像转为单通道灰度图， 然后进行数据增强， 将灰度图裁剪为K 张分辨率为a ×b的图像， 接着将裁剪后的图像随机上下翻转、 随机将图像旋转R1， R2， R3， R4 度， Rl∈[1,4]∈[D,E]， 得到用于训练的子图像集 记为S。 3.根据权利要求1所述的基于特征金字塔注意力神经网络的太赫兹图像增强方法， 其 特征在于， 所述 步骤S2还 包括以下步骤： S21、 使用h个卷积核尺寸为s， 通道数为c1的卷积层和Relu层， 将分辨率为m ×n， 通道数 为c2的太赫兹图像处 理为分辨 率为m×n， 通道数为c1的张量信息， 上述操作如下： C1＝Convh(Wi) 上式中Wi为输入的通道数为c2， 分辨率为m ×n的张量信息， Convh(·)表示卷积层， C1为 输出的张量信息； 然后将张量信息输入至通道注意力模块， 最后通过h1个卷积核尺寸为s， 通道数为c3的 卷积层， 上述操作如下： Nest＝Conv(CAB(C1, θ, β )) 上式中Nest为通道数为c3， 分辨率为m ×n的张量信息， Conv( ·)表示卷积操作， CAB( ·) 为通道注意力模块， θ和β 是网络待优化的参数； 通道注意力利用通道映射之间的相互依赖 性， 改进特定语义信息的特 征表示， 来显式地建模通道之间的相互依赖关系； S22、 输入特征首先通过卷积层， 尺寸为s， 通道数为c4， 然后分别进行Reshape和 Transpose操作， 最后在不同阶段进行相乘和相加， 给不同特 征通道进行加权， 其表示如下： C1_1＝Reshape(C1) C1_2＝Reshape(C1) C1_3＝RT(C1) C1_4＝Softmax(C1_2*C1_3) C1_5＝Reshape( β(C1_1*C1_4)) C1*＝C1+C1_5 上式中C1*为经过加权后的C1， RT表示Reshape和Transpose操作； 最后将输入特征与输 出特征进行维度层面的拼接操作， 实现低级特 征和高级特 征的融合， 其表示如下： C2＝Concat(Nest,Wi)权　利　要　求　书 1/3 页 2 CN 114359078 A 2上式中C2为通道数为c5＝c2+c3， 分辨率为 m×n的张量信息， Concat( ·)为维度的层面拼 接操作， 然后将C2通过h个卷积核尺寸为s， 通道数为c6的卷积层和Relu层提取特征， 然后通 过h个特征金字塔注 意力模块进 行不同尺度特征的融合， 之后通过h个卷积核尺 寸为s， 通道 数为c7的卷积层和Relu层， 其过程表示如下： C3＝Convh(C2) C4＝FPAh(C3) C5＝Convh(C4) 上式中Convh(·)表示h个卷积层和Relu层的操作， FPAh(·)表示h个特征金字塔注意力 模块； S23、 输入通道数为c6， 分辨率为的m ×n特征C3分别通过下采样残差模块之后生成四个 通道数为c6， 尺度为m/2 ×n/2， n/4×n/4， m/8×n/8， m/16 ×n/16的特征图， 这样构建了五层 的特征金字塔模型； 对每个尺度下 的特征图通过一个通道注意力模块， 建模通道之间的相 互依赖关系， 最后对每个尺度下的特征使用bicubic上采样， 进行特征融合； 特征金字塔注 意力通过利用构建的多尺度特征图， 使用注意力机制来显式建模不同尺度特征 的相关性， 使得重建后的太赫兹图像细节信息保留完整； 最后， 使用残差连接来保留更丰富的特征信 息， 最后通 过h2个卷积核尺寸为s， 通道数为c8的卷积层得到增强后的太赫兹图像； 其 过程表 示如下： Cout＝Conv(C3+C5) 上式中Cout为最终增强后的太赫兹图像。 4.根据权利要求1所述的基于特征金字塔注意力神经网络的太赫兹图像增强方法， 其 特征在于， 所述 步骤S3具体为： 采用生成对抗网络的训练方法， 训练的网络包括图像增强网络G和判别网络D， 损失函 数包含三个部分， 内容损失L( θ )， 噪声损失Ln以及生成对抗损失LA(G,D)； 内容损失衡量高质量图像与神经网络模型增强之后的 图像之间的差距， 采用l1损失， 公 式表示如下： 上式中N为一个epochs下训练的图像数量， Net( ·)为网络模型， Wj*为第j个低质量图 像， GTj*为第j个高质量图像， θ 为神经网络待优化的参数； 噪声损失 公式表示如下： 上式中α 为常数， Nj gt＝Wj*‑GTj*为第j张图像的真实噪声， Nestj为神经网络估计的噪声； 生成对抗损失 公式表示如下： 上式中minD为判别器的损失函数， minG为生成器的损失函数， D( ·)为判别器网络， G权　利　要　求　书 2/3 页 3 CN 114359078 A 3