(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111680676.6 (22)申请日 2021.12.3 0 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 巫笠平　马玉良　张启忠　孟明　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 杨舟涛 (51)Int.Cl. G06T 7/10(2017.01) G06T 5/30(2006.01) G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进FastFCN的图像分割方法 (57)摘要 本发明公开了一种基于改进FastFCN的图像 分割方法； 本发 明创新地提出用于提取非线性特 征的双重并行非对称卷积模块和用于捕捉多尺 度信息的串行空洞空间金字塔池化模块模块。 将 非对称卷积模块、 串行空洞空间金字塔池化模 块、 双重注意力CB AM模块以及瓶颈层融入子模块 中， 构建语义文本信息子模块。 然后将语义文本 信息子模块嵌入到编码器结构 优化后的FastFCN 网络， 结构 优化主要表现在编码器部分通过增添 特征跳连路径 来增强信息流。 训练前无需复杂的 预处理， 训练时采用多尺度深度监督， 测试时使 用翻转测试。 本发明方法取得了优异的分割性能 和极低的模型参数量， 其中Jaccard指数为 84.05％， 模型参数量仅为0.96 M。 权利要求书2页 说明书7页 附图3页 CN 114332103 A 2022.04.12 CN 114332103 A 1.一种基于改进FastFCN的图像分割方法， 其特 征在于， 包括如下步骤： 步骤1、 选取ISIC2018数据集作为实验数据， 对数据预处理， 数据充分打乱划分测试集 和训练集， 并将数据进行增强后输入； 步骤2、 构建双重并行非对称卷积模块提取非线性特征； 所述的双重并行非对称卷积模 块由两个串联 连接的并行非对称卷积模块组成； 步骤3、 构建串行空洞空间金字塔池化模块获取多尺度特 征； 步骤4、 将非对称卷积模块、 串行空洞空间金字塔池化模块、 普通空洞空间金字塔池化 模块、 双重注意力CBAM模块以及瓶颈层融入子模块中， 构建语义文本信息子模块和轻量级 的语义文本信息 子模块； 步骤5、 将语义文本信息子模块和轻量级的语义文本信息子模块嵌入到编码器结构优 化后的FastFCN网络中， 构建改进后的FastFCN网络； 步骤6、 对构建的所述改进后的FastFCN网络进行多尺度监督辅助训练， 得到所需分割 网络； 步骤7、 测试集图像经过数据增强后输入步骤5得到的分割网络， 通过翻转测试输出分 割图。 2.根据权利要求1所述的一种基于改进FastFCN的图像分割方法， 其特征在于： 所述步 骤2中， 构建双重并行非对称卷积模块 提取非线性特 征， 具体步骤为： 双重并行非对称卷积模块由两个串联连接的并行非对称卷积模块组成， 而单个并行非 对称卷积模块采用双分支并联连接的结构， 分为竖直支路和水平支路； 其中竖直支路的结 构依次为： 第一层为3*1的DOConv 卷积层， 提取竖直方向的特征； 第二层为BN层， 控制梯度爆 炸以及防止梯度消失； 第三层为PRelu层， 激活非线性特征； 而水平支路 的结构除了在第一 层使用DOConv(1*3)卷积层， 其余部分与竖直支路相同； 然后将竖直支路与水平支路的输出 通过特征图相加的方式合并后， 作为并行非对称卷积模块的输出。 3.根据权利要求1所述的一种基于改进FastFCN的图像分割方法， 其特征在于： 所述步 骤3中， 构建串行空洞空间金字塔池化模块获取多尺度特 征； 具体步骤为： 具有四分支并行连接的结构， 假设各分支的输入通道数为m， 四条分支的具体情况如 下： 第1条分支采用直连的方式， 不做任何处理， 该分支的输入输出通道数均为m； 第2条分支 采用串联 1个3*3， dilation＝3的DO ‑Conv卷积层+BN层+PReLU层组合的方式， 该分支的输入 输出通道数均为m不变； 第3条分支采用串联2个3*3， dilation＝3的DO ‑Conv卷积层+BN层 + PReLU层组合的方式； 该分支的输入通道数为m， 分别经过第1、 2个3*3， dilation＝3的DO ‑ Conv卷积层后， 输出通道数先增加到2m， 后减少到m； 第4条分支采用串联3个3*3， dilation ＝3的DO‑Conv卷积层+BN层+PReLU层组合的方式； 该分支的输入通道数为m， 在经过第1、 2、 3 个3*3， dilation＝3的DO ‑Conv卷积层时， 输出通道数先增加到3m， 然后减少到2m， 最后到m； 最后将四条分支的输出结果通过concat的方式进 行融合， 得到串 行空洞空间金字塔池化模 块的最终输出， 输出通道数为 4m。 4.根据权利要求1所述的一种基于改进FastFCN的图像分割方法， 其特征在于： 所述步 骤4中， 将非对称卷积模块、 串行空洞空间金字塔池化模块、 双重注意力CBAM模块以及瓶颈 层融入子模块中， 构建语义文本信息 子模块； 具体步骤为： 4‑1.首先运用瓶颈层， 使用1*1的DO ‑Conv卷积层+B N层+PReLU层的组合将输入通道数m权　利　要　求　书 1/2 页 2 CN 114332103 A 2压缩到n/4； 4‑2.然后使用双重并行非对称卷积模块进行提取非线性特征， 期间输入输出通道数保 持n/4不变； 4‑3.接着采用串行空洞空间金字塔池化模块捕捉多尺度特征， 经由串行空洞空间金字 塔池化模块后， 输出通道数恢复到n； 4‑4.最后引入空间通道双重注意力的CBAM模块， 借助1*1的DO ‑Conv卷积层+B N层+CBAM 模块+PReLU层的组合， 关注多尺度特 征中的重要特 征， 期间输入输出通道数保持n 不变。 5.根据权利要求1所述的一种基于改进FastFCN的图像分割方法， 其特征在于： 预处理 具体步骤为： 1‑1.将训练集图像统一大小； 1‑2.将训练集划分出新的训练集和 测试集； 1‑3.对训练集图像以及标签分别处 理后输入到网络中。 6.根据权利要求1所述的一种基于改进FastFCN的图像分割方法， 其特征在于： 所述的 测试集图像经过数据增强后输入步骤5得到的分割网络， 通过翻转测试输出分割图； 具体 为： 7‑1.测试集图像灰度化处理后输入到训练好的网络中， 将网络编码器输出的特征图经 由Sigmoid()函数归一化， 以0.5为阈值二值化； 由于分辨率小于输入图像分辨率， 接着通 过resize函数恢复分辨 率为224*224， 并重新 二值化， 得到分割图， 记为m1； 7‑2.测试集图像分别经过水平翻转、 竖直翻转、 水平竖直翻转后， 重 复上述7‑1.步骤得 到分割图， 记为m2,m3,m4； 7‑3.对m1,m2,m3,m4进行投票， 每一个像素点中对应类别得票数多的为准， 得到最终分 割结果。 7.根据权利要求1所述的一种基于改进FastFCN的图像分割方法， 其特征在于： 构建改 进后的FastFCN网络； 具体步骤为： 5 ‑1.改进后的FastFCN网络包括6块子模块， 分别是编码 器部分的Encoder1、 Encoder2、 Encoder 3、 Encoder4、 Encoder 5以及解码器部分的Dncoder1； 其中， 将语义文本信 息子模块应用在子模块Encoder1、 Encoder2、 Encoder3、 Encoder4以及 Dncoder1中， 而Encoder5 子模块使用轻量级的语义文本信息 子模块； 5‑2.在原有FastFCN网络的基础 上， 编码器部分增添了6条浅层 特征图到深层 特征图的 跳连路径， 作为编码器中深层子模块的输入之一； 6条跳连路径为： Encoder1 →Encoder3、 Encoder1 →Encoder4、 Encoder1 →Encoder5、 Encoder2 →Encoder4、 Encoder2 →Encoder5以 及Encoder3 →Encoder5； 每条跳连路径内部组成情况相似:首先第一层是最大池化层， 将特 征图分辨率减低到需要的大小， 然后是使用双重并行非对称卷积模块进行提取非线性特 征， 经由第一个并行非对称卷积模块中的卷积层， 输入通道数 降至16， 通道数后续保持不 变。权　利　要　求　书 2/2 页 3 CN 114332103 A 3