(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210548515.X (22)申请日 2022.05.20 (71)申请人 暨南大学 地址 510632 广东省广州市天河区黄埔大 道西601号 (72)发明人 李展　姚庚奇　钟晓键　吕吉雅　 赵祎明　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 基于上下文信息聚合和辅助学习的轻量级 语义分割方法及系统 (57)摘要 本发明涉及基于上下文信息聚合和辅助学 习的轻量级语义分割方法及系统， 其方法包括步 骤： S1、 获取图像， 对图像进行预处理， 得到输入 图像； S2、 构建语义 分割网络， 语义分割网络包含 上下文信息聚合模块和两阶段可分离卷积模块； S3、 对语义分割网络进行训练， 得到训练后的语 义分割网络； S4、 利用训练后的语义分割网络对 输入图像进行处理， 得到语义分割结果图。 本发 明引入了多尺度上下文并行聚合模块， 在提高少 量参数量的前提下均衡地提升了单向架构在大 多数类别上的分割精度， 在降低尽量少的分割精 度的情况下， 提高了语义分割网络整体的推断效 率， 还引入了辅助分支损失函数提升语义分割网 络训练时的收敛速度， 并且该分支不影 响推断过 程的推断速度。 权利要求书2页 说明书6页 附图3页 CN 114972753 A 2022.08.30 CN 114972753 A 1.基于上下文信息聚合和辅助学习的轻量级语义分割方法， 其特征在于， 包括以下步 骤： S1、 获取图像， 对图像进行 预处理， 得到输入图像； S2、 构建语义分割网络， 语义分割网络包含上下文信息聚合模块和两阶段可分离卷积 模块； S3、 对语义分割网络进行训练， 得到训练后的语义分割网络； S4、 利用训练后的语义分割网络对输入图像进行处 理， 得到语义分割结果图； 步骤S3中对语义分割网络进行训练的具体过程如下： S31、 通过对输入的训练图像进行 预处理得到输入图像和真实标记图像； S32、 通过使用语义分割 网络对输入图像进行特征提取和处理得到输入图像的语义分 割图像； S33、 通过交叉熵损失函数对语义分割图像和真实标记图像GT进行损失计算， 得到交叉 熵损失； S34、 通过将下采样卷积层输出的特征图输入第一辅助分支进行加权辅助损失函数计 算， 得到加权的第一辅助分支损失， 通过特征融合输出 的特征图输入第二辅助分支进行损 失函数计算， 得到加权的第二辅助分支损失； S35、 根据交叉熵损失函数、 第一加权辅助分支损失函数和第二加权辅助分支损失函 数， 得到总损失函数； S36、 通过总损失函数对语义分割网络模型进行优化。 2.根据权利要求1所述的基于上下文信息聚合和辅助学习的轻量级语义分割方法， 其 特征在于， 步骤S1中对图像进行 预处理的具体过程如下： S11、 将Cityscapes数据集的训练集用于训练， 验证集作为测试集， Cityscapes数据集 由道路、 交通灯、 卡车19个 类别组成； S12、 对获取的图像进行图像增强操作， 并将处理后的图像缩放为512*1024的图块得到 输入图像， 且对图像的真实标记图进 行除归一化和填充的操作外相同的增强操作得到和输 入图像相同大小的GT图； S13、 对所有训练图像进行 图像增强， 介于0.5和2.0之间倍数的随机放缩操作、 最大不 超过75％的随机 裁剪操作、 随机翻转操作、 归一 化操作， 以及图像填充操作。 3.根据权利要求1所述的基于上下文信息聚合和辅助学习的轻量级语义分割方法， 其 特征在于， 步骤S2中采用Fast ‑SCNN网络构建语义分割网络， 引入上下文信息聚合模块和两 阶段深度可分离解码器； 并引入辅助分支， 在下采样卷积层引入第一辅助损失分支， 在特征 融合模块引入第二辅助损失分支。 4.根据权利要求1所述的基于上下文信息聚合和辅助学习的轻量级语义分割方法， 其 特征在于， 步骤S3 3中交叉熵损失的计算公式如下： 其中， M表示类别数； y为one ‑hot变量； log是以e为底的对数； p表示预测样本属于c的概 率。权　利　要　求　书 1/2 页 2 CN 114972753 A 25.根据权利要求1所述的基于上下文信息聚合和辅助学习的轻量级语义分割方法， 其 特征在于， 步骤S34中加权辅助分支具体为： 使用一个自适应平均池化层和一个卷积核为1 的卷积层调整中间特征图的分辨率和通道数， 使用全连接层编码分类信息， 再使用Softmax 激活函数输出概 率向量， 计算辅助损失， 在完成网络训练后， 删除该辅助损失分支。 6.根据权利要求1所述的基于上下文信息聚合和辅助学习的轻量级语义分割方法， 其 特征在于， 步骤S3 5中总损失函数的具体公式如下： 其中， LCrossEntropyLoss表示交叉熵损失， Naux表示辅助分支损失的数量， wi表示第i个辅助 分支损失的权 重， Laux_i表示第i个辅助分支损失的值， 其中， w1＝w2＝1。 7.根据权利要求1所述的基于上下文信息聚合和辅助学习的轻量级语义分割方法， 其 特征在于， 步骤S36中对语义分割网络模型进行优化的具体过程如下： 通过梯度下降方法， 使用随机梯度下降配合值为0.9的动量策略作为优化算法， 使用L2权重衰减， 设定批次大小 为4， 使用幂次为0.9的多 项式学习率调整策略对学习率进行 更新。 8.基于上 下文信息聚合和辅助学习的轻量级语义分割 系统， 其特 征在于， 包括： 图像获取模块： 用于获取图像， 对图像进行 预处理， 得到输入图像； 语义分割 网络构建模块： 用于构建语义分割 网络， 语义分割 网络包含上下文信息聚合 模块和两阶段 可分离卷积模块； 语义分割网络训练模块： 用于对语义分割网络进行训练， 得到训练后的语义分割网络； 语义分割结果图获取模块： 利用训练后的语义分割 网络对输入图像进行处理， 得到语 义分割结果图； 语义分割网络训练模块的具体训练过程如下： 通过对输入的训练图像进行 预处理得到输入图像和真实标记图像； 通过使用语义分割网络对输入图像进行特征提取和 处理得到输入图像的语义分割图 像； 通过交叉熵损失函数对语义分割图像和真实标记图像GT进行损失计算， 得到交叉熵损 失； 通过将下采样卷积层输出的特征图输入第 一辅助分支进行加权辅助损失函数计算， 得 到加权的第一辅助分支损失， 通过特征融合输出的特征图输入第二辅助分支进行损失函数 计算， 得到加权的第二辅助分支损失； 根据交叉熵损 失函数、 第一加权辅助分支损 失函数和第二加权辅助分支损 失函数， 得 到总损失函数； 通过总损失函数对语义分割网络模型进行优化。权　利　要　求　书 2/2 页 3 CN 114972753 A 3