(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210480964.5 (22)申请日 2022.05.05 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 王宽全　李向宇　骆功宁　王玮　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 专利代理师 岳昕 (51)Int.Cl. G06V 10/26(2022.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种基于标签分布学习的图像分割方法 (57)摘要 一种基于标签 分布学习的图像 分割方法， 它 属于图像处理技术领域。 本发明解决了现有 方法 无法充分利用神经网络中捕捉的先验信息导致 分割结果的准确率低， 且分割结果边界不连续的 问题。 本发 明首先利用语义分割标签生成多分辨 率的标签分布， 并在分割网络不同的上采样层加 入对应分辨率的标签分布监督， 利用标签分布学 习的方法训练网络， 并得到不同细 节的预测区域 分布， 最后基于上述预测区域分布实现逐像素的 稠密分布预测。 本发明方法能够 充分利用分割网 络中生成的先验信息， 并能够 有效的捕捉边界信 息进而促进边界的分割， 可以准确且高效地实现 图像的语义分割任务， 保证了图像分割的准确 性。 本发明方法可以应用于对图像进行分割。 权利要求书3页 说明书8页 附图2页 CN 114863104 A 2022.08.05 CN 114863104 A 1.一种基于标签分布学习的图像分割方法， 其特 征在于， 所述方法具体包括以下步骤： 步骤S1、 对训练图像进行 预处理操作， 获得 预处理后的训练图像； 步骤S2、 根据训练图像的分割标签分别生成各分辨 率下的标签分布； 步骤S3、 将训练图像输入编解码分割网络的编码器部分进行特征提取处理， 通过编码 器部分的各 下采样层分别输出 各尺度的特 征图； 步骤S4、 编码器部分的最后一个下采样层输出的特征图通过上采样 获得上采样后的特 征图； 步骤S5、 上采样后的特 征图经过Softmax层后得到预测区域分布； 通过最小化预测区域分布与对应分辨率下的标签分布之间的KL散度误差来训练网络 的参数； 其中， W表示预测区域分布的宽， H表示预测区域分布的高， D表示预测区域分布的深； M 表示预测区域分布中所有的体素数量， M＝W ×H×D， 表示在体素(i,j,k)位置的目 标标签分布， 表示在体素(i,j,k)位置的预测区域分布， 表 示 与 之间的KL散度； 步骤S6、 利用步骤S5中得到的预测区域分布， 通过逐体素求取信息熵来获取预测区域 的边界先验； 步骤S7、 将预测区域分布、 边界先验以及上采样之前的特征图作为先验感知模块的输 入， 得到最终的特 征表示； 步骤S8、 将倒数第二个下采样层输出的特征图与步骤S7得到的最终特征进行融合， 将 融合结果作为下一个上采样层的输入特 征图； 步骤S9、 共执行三次步骤S5至步骤S8的过程， 将最后一次执行步骤S8时所获得的融合 结果作为 最后一个上采样层的输入特 征图； 步骤S10、 将最后一个上采样层的输出 结果通过Softmax层得到逐体素的预测概 率； 步骤S11、 利用步骤S10中得到的逐体素预测概率与训练图像的分割标签进行监督学 习， 训练网络参数； 步骤S12、 对待分割图像进行预处理操作后， 利用训练好的网络参数对预处理后的待分 割图像进行分割。 2.根据权利要求1所述的一种基于标签分布学习的图像分割方法， 其特征在于， 所述步 骤S1中对训练图像进行 预处理操作， 预处 理操作包括数据标准 化和图像裁 剪。 3.根据权利要求2所述的一种基于标签分布学习的图像分割方法， 其特征在于， 所述步 骤S2的具体过程 为： 步骤S21、 给定一个体素块大小， 按照给定的体素块大小并采用滑动窗口方法对训练图 像进行标签频率统计， 获得训练图像在当前分辨 率下的标签分布； 步骤S22、 调整体素块大小， 再重复步骤S2 1的过程， 获得训练图像在各分辨率下的标签 分布。权　利　要　求　书 1/3 页 2 CN 114863104 A 24.根据权利要求3所述的一种基于标签分布学习的图像分割方法， 其特征在于， 所述标 签频率统计的具体方法为： 其中， Bn代表训练图像中的一个体素块， |Bn|代表体素块Bn中体素的个数， yijk是体素块 Bn中(i,j,k)位置的标签， c∈[0， Nc‑1]表示类别标签， Nc是总类别数量， 表示体素块Bn 中类别标签c的频率， δ( ·)代表冲激函数。 5.根据权利要求4所述的一种基于标签分布学习的图像分割方法， 其特征在于， 所述编 解码分割网络为U ‑Net或Seg ‑Net。 6.根据权利要求5所述的一种基于标签分布学习的图像分割方法， 其特征在于， 所述步 骤S6的具体过程 为： 其中， 表示在体素(i,j,k)位置的信息熵， 表示在体素(i,j,k)位置 的预测分布在类别c上的预测概 率， ln代表自然对数。 7.根据权利要求6所述的一种基于标签分布学习的图像分割方法， 其特征在于， 所述先 验感知模块的工作过程 为： 步骤S71、 将上采样之前的特 征图与边界先验相乘， 得到边界增强后的特 征图 其中， F为上采样之前的特 征图， 为边界先验； 步骤S72、 将上采样之前的特征图与经过编码操作之后的预测区域分布相乘， 得到区域 分布先验增强的特 征图FD： 其中， 为预测区域分布， Tf(·)为编码函数操作， 编码函数包括两个卷积单元， 每个卷 积单元均包括 一个3*3卷积、 一个批归一 化层和ReLU激活函数； 步骤S73、 通过融合上采样之前的特征图、 边界增强后的特征图和区域分布先验增强的 特征图得到最终的特 征表示： 其中， Fe是最终的特 征表示。 8.根据权利要求7所述的一种基于标签分布学习的图像分割方法， 其特征在于， 所述步 骤S11中采用的损失函数包括区域分布损失和稠密预测损失两个部分， 其中： 区域分布损失 为： 其中， ψr表示第r个阶段的权重， R表示所有阶段的数量， 表示第r个阶段的KL散度损 失；权　利　要　求　书 2/3 页 3 CN 114863104 A 3