(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210520908.X (22)申请日 2022.05.13 (71)申请人 东北大学 地址 110819 辽宁省沈阳市和平区文化路3 号巷11号 (72)发明人 雷为民　梁辉　赵莹月　张伟　 陈新怡　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 专利代理师 李在川 (51)Int.Cl. G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于混合语义的双流图像 重建系统及方法 (57)摘要 本发明提供一种基于混合语义的双流图像 重建系统及方法， 所述系统包括低级特征提取模 块、 高级语义特征提取模块、 混合特征流模块、 低 级特征流模块、 重建模块； 设计混合特征流支路 和低级特征流支路搭建重建网络， 采用双特征流 网络设计可以保证语义信息和结构信息更好地 用于图像重建， 其中混合特征流支路输出混合语 义信息特征图， 低级特征流支路输出结构信息特 征图； 低级特征流支路采用可变形卷积模块提取 特征， 利用可变形卷积可 以自适应改变感受野， 从而捕获一些重要的信息； 为了加强特征的传播 和重用， 采用特征融合技术concat()操作和add ()操作； 本发明方法可以重建出质量较好的图 像， 且重建的图像会保留完整的结构信息和语义 信息。 权利要求书2页 说明书7页 附图6页 CN 114972942 A 2022.08.30 CN 114972942 A 1.一种基于混合语义的双流图像重建系统， 其特征在于， 包括： 低级特征提取模块、 高 级语义特 征提取模块、 混合特 征流模块、 低级特 征流模块、 重建模块； 所述低级特 征提取模块用于根据边 缘检测算法提取图像的边 缘特征作为低级特 征； 所述高级语义特征提取模块用于根据变分自编码器和重参数化方法提取图像的高级 语义特征； 所述低级特 征流模块用于根据低级特 征重建图像特 征x′out； 所述混合特 征流模块用于根据低级特 征和高级语义特 征重建图像特 征xnout； 所述重建模块用于根据特 征x′out、 xnout重建图像。 2.根据权利要求1所述的一种基于混合语义的双流图像重建系统， 其特征在于， 所述低 级特征提取模块中边 缘检测算法使用PiDi Net网络； 所述高级语义特 征提取模块中变分自编码器采用ResNet ‑152网络构建； 所述低级特 征流模块采用可变形 卷积块构建； 所述混合特征流模块包括可变形卷积、 全连接层和渐进式块 Gi， 可变形卷积的卷积核大 小为3*3； 渐进式块Gi采用SE‑ResNet块构建； 所述重建模块包括特征融合concat()操作、 3*3卷积和To  RGB模块， To  RGB模块包括一 个3*3的二维卷积和谱范 数正则化操作。 3.根据权利要求1所述的一种基于混合语义的双流图像重建系统， 其特征在于， 所述渐 进式块Gi的主干网络是Bottleneck残差块， 其中Bottleneck残差块是由1*1卷积、 3*3卷积 和1*1卷积三个卷积层构成， 使用LeakyRelu()激活函数进行激活。 4.一种基于混合语义的双流图像重建方法， 基于权利要求1～2任意一项所述的基于混 合语义的双流图像重建系统实现， 其特 征在于， 所述方法包括： 步骤1： 获取图像X， 对图像X进行 预处理得到像素为 N*N的待重建图像x； 步骤2： 将待重建图像x送入低级特 征提取模块， 提取图像的低级特 征l； 步骤3： 将待重建图像x送入高级语义特 征提取模块， 提取图像的高级语义特 征h； 步骤4： 将步骤2提取到的低级特征l和步骤3提取到的高级语义特征h送入混合特征流 模块， 提取用于 重建图像的特 征xnout； 步骤5： 将步骤2提取到的低级特征l送入低级特征流模块， 提取用于重建图像的特征 x′out； 步骤6： 将特 征xnout和x′out送入重建模块， 输出重建图像 5.根据权利要求4所述的一种基于混合语义的双流图像重建方法， 其特征在于， 所述步 骤3包括： 步骤3.1： 将待重建图像x输入到ResNet ‑152主干网络提取 特征； 步骤3.2： 将步骤3.1得到的特征经过一个2 56维的全连接层， 经过一个nz维的全连接层， 得到高级语义特 征h的均值 μ和对数 方差logeσ2； 步骤3.3： 将均值 μ和对数 方差logeσ2使用重参数化方法得到高级语义特 征h。 6.根据权利要求4所述的一种基于混合语义的双流图像重建方法， 其特征在于， 所述步 骤4包括： 步骤4.1： 将低级特 征l送入可变形 卷积， 进行平均池化得到渐进式块G1的部分输入 x0； 步骤4.2： 将高级语义特 征h输入第一个全连接层中， 获得一组仿射变换参数α0和β0；权　利　要　求　书 1/2 页 2 CN 114972942 A 2步骤4.3： 将低级特征l进行下采样操作得到与x0同维度的l0， 然后将x0与l0进行特征融 合concat()操作得到融合特 征图[l0， x0]； 步骤4.4： 将[l0， x0]和仿射变换参数α0和β0送入第一个 渐进式块G1得到输出特征图x1； 步骤4.5： 将x0与输出特征图x1进行特征融合得到融合特 征图x1out； 步骤4.6： 获取前一个渐进式块Gi‑1输出的特征 图xi‑1； 将所述低级特征l进行下采样操 作， 得到与xi‑1同维度的li‑1； 将所述高级语义特征h输入第i个全 连接层中， 获得一组仿射变 换参数αi‑1和βi‑1； 步骤4.7： 沿着重建网络的深度方向， 将特征图xi‑1和低级特征li‑1进行特征融合concat ()操作得到融合特征图[li‑1， xi‑1]， 再将融合特征图[li‑1， xi‑1]和仿射变换参数αi‑1和βi‑1 送入第i个渐进式块Gi中， 得到输出特征图xi， 将输出特征图xi和前一个渐进式块Gi‑1的融合 特征图x(i‑1)out进行特征融合ad d()操作， 得到融合特 征图xiout； 步骤4.8： 令i加1， 重复执行步骤4.6～步骤4.7， 得到融合n ‑1次后的特征图xnout， 其中n ＝log2N‑1。 7.根据权利要求4所述的一种基于混合语义的双流图像重建方法， 其特征在于， 所述步 骤6包括： 步骤6.1： 将特征图xnout和x′out进行特征融合concat()操作， 得到特征concat(xnout， x′out)； 步骤6.2： 将特 征concat(xnout， x′out)送入3*3卷积， 使用LeakyRelu()进行激活； 步骤6.3： 将步骤6.2输出的特 征送入To  RGB模块得到 重建图像 权　利　要　求　书 2/2 页 3 CN 114972942 A 3