(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210915924.9 (22)申请日 2022.08.01 (71)申请人 安徽理工大 学环境友好材 料与职业 健康研究院 （芜湖） 地址 241002 安徽省芜湖市弋江区中山 南 路芜湖科技产业园 申请人 安徽理工大 学 (72)发明人 梁兴柱　李厚国　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 何静 (51)Int.Cl. G06V 10/26(2022.01) G06N 3/04(2006.01) G06V 10/52(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种多尺度特征融合的语义分割方法、 设备 及存储介质 (57)摘要 本发明公开了一种多尺度特征融合的语义 分割方法、 设备及存储介质， 涉及计算机视觉领 域， 输入多尺度图像， 通过特征提取模块提取多 尺度图像特征； 将提取的多尺度图像特征输入到 注意力模块中去， 调整权重， 增强关键点的表现 力； 在编码器上的特征经过加强后传入到空洞空 间金字塔池化和带状池化并联的模块中去， 提取 特征上下文信息； 将在编码器部分提取的上下文 信息与在解码器部分加强的特征信息相融合， 从 而对关键信息有着更好的增强， 从而能够实现提 升多尺度特 征融合的效果的功能。 权利要求书2页 说明书5页 附图1页 CN 115272677 A 2022.11.01 CN 115272677 A 1.一种多尺度特 征融合的语义分割方法， 其特 征在于， 方法包括以下步骤： 输入多尺度图像， 通过 特征提取模块 提取多尺度图像特 征； 将提取的多尺度图像特 征输入到注意力模块中去， 调整权 重， 增强关键点的表现力； 在编码器上的特征经过加强后传入到空洞空间金字塔池化和带状池化并联的模块中 去， 提取特征上下文信息； 将在编码器部分提取的上 下文信息与在解码器部分加强的特 征信息相融合。 2.根据权利要求1所述的一种 多尺度特征融合的语义分割方法， 其特征在于， 所述提取 多尺度图像特 征的过程包括： 先通过下采样模块进行下采样操作， 对多尺度图像进行缩小， 并且保留多尺度图像中 的细节信息， 并共 采取两次 次下采样 操作， 使得 特征图像达 到原多尺度图像的1/ 6； 然后通过空洞可分离卷积模块 提取特征图像的特 征。 3.根据权利要求2所述的一种 多尺度特征融合的语义分割方法， 其特征在于， 所述下采 样模块由步长为2的3 ×3卷积和2 ×2的最大池化组成。 4.根据权利要求2所述的一种 多尺度特征融合的语义分割方法， 其特征在于， 所述空洞 可分离卷积模块将通道平均分成两个通道， 每一个通道分支都是用深度可分离卷积代替常 规的卷积操作， 深度可分离卷积减少了参数的数量， 同时量化了参数， 减少了参数占用的内 存， 同时深度可分离卷积在两个分支上还设置两个不同的空洞率， 来获取更多的多尺度信 息。 5.根据权利要求1所述的一种 多尺度特征融合的语义分割方法， 其特征在于， 所述调整 权重， 增强关键点的表现力的过程包括： 输入的特征图首先经过通道注意力模块， 通道注意力模块对于输入的特征图的空间维 度进行压缩， 通过全局平均池化和全局最大池化， 将输入的特 征图压缩成两个通道描述符； 得到通道描述符之后将通道描述符送到两个全连接网络中， 得到注意力权重矩阵， 再 与原图做 乘法运算得到校准后的图像； 再将特征图像进入空间注意力模块， 空间注意力模块是通过平均池化和最大池化操作 生成一个描述符， 后 将描述符送入到卷积网络中进 行卷积， 得到最 终的空间注 意力图， 具体 操作如下式： 式中空间注意力图Ms； F表示特征图； f7×7是表示7×7的卷积层， σ 是sigmoid激活函数； 和 分别表示平均池化特 征和最大池化特 征； 使用两个池化操作聚合成一个特征图的通道信息， 生成两个2D图， 将通道注意力模块 和空间注意力模块融合成CBM模块。 6.根据权利要求1所述的一种 多尺度特征融合的语义分割方法， 其特征在于， 所述提取 特征上下文信息的过程包括： 将在编码器经过CBM模块增 强的特征图输入到空洞空间金字塔池化模块中， 然后将特 征图分别输入到空洞空间金字塔池化模块里一个常规的1 ×1卷积和三种同空洞率的3 ×3 卷积， 以及还有一个去全局平均池化 来进行特征提取；权　利　要　求　书 1/2 页 2 CN 115272677 A 2采用垂直维度的带状池化SP收集远程上下文信息， 然后分别经过一个一维卷积， 接着 以双线性差值的方式将特 征图上采样之原特 征图大小； 将所有的融合在一 起， 进行降维， 得到需求的特 征图。 7.根据权利要求6所述的一种 多尺度特征融合的语义分割方法， 其特征在于， 所述收集 远程上下文信息的过程为： 对于输入的H ×W的特征图， 在垂直方向上采用H ×1的SP滑动， 得 到1×W的特征图， 然后分别经过卷积核k＝3的一维卷积， 接着以双线性差值的方式将特征 图上采样之原特 征图大小。 8.根据权利要求1所述的一种 多尺度特征融合的语义分割方法， 其特征在于， 所述融合 的过程包括： 将输入的两个特征进行卷积， 然后将低特征图和高特征图进行重塑， 重塑之后得到的 特征图进行矩阵相乘， 得到一个空间注意力图， 再将空间注意力图与高特征图重塑后的图 矩阵相乘生成特征图， 最后将 高特征图卷积后的图与之前生成的特征图之间求和， 得到最 终融合后的特 征图。 9.一种设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑8中任一所述的一种多尺度特 征融合的语义分割方法。 10.一种包含计算机可执行指令的存储介质， 其特征在于， 所述计算机可执行指令在由 计算机处理器执行时用于执行如权利要求 1‑8中任一所述的一种多尺度特征融合的语义分 割方法。权　利　要　求　书 2/2 页 3 CN 115272677 A 3