(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211085858.3 (22)申请日 2022.09.06 (71)申请人 浙江大华 技术股份有限公司 地址 310053 浙江省杭州市滨江区滨安路 1187号 (72)发明人 俞元杰　付建海　吴立　颜成钢　 李亮　殷海兵　熊剑平　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 杜晶 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 图像分割模型训练、 图像 分割方法、 装置、 设 备及介质 (57)摘要 本申请公开了图像 分割模型训练、 图像 分割 方法、 装置、 设备及介质， 基于第一训练集中的第 一样本图像和其对应的第一标注信息完成对图 像分割模型中的第一分割模块进行训练， 基于训 练完成的第一分割模块， 对第二训练集中的第二 样本图像进行特征提取， 得到第二样本图像对应 的融合特征图， 然后基于第二样 本图像对应的融 合特征图对图像分割模型中的第二分割模块进 行训练。 本申请第一分割模块和第二分割模块的 参数互不干扰。 第一分割模块的部分参数由第一 分割模块和第二分割模块共享， 基于已训练的第 一分割模块可提高对第二样本图像的特征提取 效果， 可减少第二样本图像的数量， 降低了标注 成本和数据处 理量。 权利要求书3页 说明书14页 附图4页 CN 115170809 A 2022.10.11 CN 115170809 A 1.一种图像分割模型训练方法， 其特 征在于， 所述方法包括： 将第一训练集中的第一样本图像和其对应的第一标注信息输入图像分割模型中的第 一分割模块， 对所述第一分割模块进行训练； 将第二训练集中的第二样本图像和其对应的第二标注信息输入已训练的第一分割模 块， 基于所述第一分割模块确定所述第二样本图像对应的融合特 征图； 将所述融合特征图输入所述图像分割 模型中的第 二分割模块， 基于所述第 二分割模块 确定所述融合特征图的分割 结果， 根据所述分割 结果和所述第二标注信息， 对所述第二分 割模块进行训练。 2.如权利要求1所述的方法， 其特 征在于， 所述第一分割模块包括： 特征提取网络、 第一类别分支网络、 第一检测框分支网络和掩码分支网络 。 3.如权利要求2所述的方法， 其特 征在于， 所述第一分割模块的训练过程包括： 基于所述特征提取网络确定所述第 一样本图像的第 一深度特征图， 提取所述第 一深度 特征图中的第一检测框， 将所述第一检测框映射至所述第一深度特征图， 确定各个第一局 部特征图， 通过对所述各个第一局部特 征图进行 特征提取， 得到各个第一融合特 征图； 分别将所述各个第 一融合特征图输入第 一类别分支网络和第 一检测框分支网络； 基于 所述第一类别分支网络确定所述各个第一融合特征图各自对应的第一预测类别信息； 基于 所述第一检测框分支网络确定所述各个第一融合特 征图各自对应的第一检测框区域； 分别将所述第 一深度特征图和各个第 一检测框区域输入所述掩码分支网络， 基于所述 掩码分支网络确定所述各个第一检测框区域各自对应的第一预测掩码信息； 根据各个第一预测类别信息、 各个第一预测掩码信息以及所述第一标注信息， 对所述 特征提取网络、 第一类别分支网络、 第一检测框分支网络和掩码分支网络的参数进行训练。 4.如权利要求2所述的方法， 其特 征在于， 所述第二分割模块包括： 类别权重正则化网络、 第 二类别分支网络、 不确定性预测网络、 坐标偏移预测网络和第 二检测框分支网络 。 5.如权利要求 4所述的方法， 其特 征在于， 所述第二分割模块的训练过程包括： 基于所述特征提取网络确定所述第 二样本图像的第 二深度特征图， 提取所述第 二深度 特征图中的第二检测框， 将所述第二检测框映射至所述第二深度特征图， 确定各个第二局 部特征图， 通过对所述各个第二局部特 征图进行 特征提取， 得到各个第二融合特 征图； 分别将所述各个第 二融合特征图输入类别 权重正则化网络和第 一检测框分支网络； 基 于所述类别权重正则化网络确定所述各个第二融合特征图各自对应的各类别概率值， 将所 述各类别概率值输入所述第二类别分支网络， 基于所述第二类别分支网络确定所述各个第 一融合特征图各自对应的第二预测类别信息； 基于所述第一检测框 分支网络确定所述各个 第二融合特征图各自对应的第二检测框区域， 基于所述不确定性预测网络确定各个第二检 测框区域的不确定性值， 基于所述坐标偏移预测网络确定各个第二检测框区域的坐标偏移 值； 基于所述第二检测框分支网络， 根据各个第二检测框区域的坐标偏移值对不确定性值 小于设定阈值的各个第二检测框区域进行检测框调整， 得到各个第三检测框区域； 分别将所述第 二深度特征图和各个第 三检测框区域输入所述掩码分支网络， 基于所述 掩码分支网络确定所述各个第三检测框区域各自对应的第二预测掩码信息； 根据各个第二预测类别信息、 各个第二预测掩码信息以及所述第二标注信息， 对所述权　利　要　求　书 1/3 页 2 CN 115170809 A 2类别权重正则化网络、 第二类别分支网络、 不确定性预测网络、 坐标偏移预测网络和 第二检 测框分支网络的参数进行训练。 6.如权利要求5所述的方法， 其特征在于， 所述基于所述类别权重正则化网络确定所述 各个第二融合特 征图各自对应的各类别概 率值包括： 采用贝叶斯学习算法和通用变分框架， 确定所述类别权重正则化网络的各类别权重的 均值和所述各类别权 重的对角协方差矩阵； 根据所述各个第 二融合特征图、 各类别权重的均值和所述各类别权重的对角协方差矩 阵， 确定所述各个第二融合特 征图各自对应的各类别概 率值。 7.如权利要求6所述的方法， 其特征在于， 所述根据所述各个第二融合特征图、 各类别 权重的均值和所述各类别权重的对角协方差矩阵， 确定所述各个第二融合特征图各自对应 的各类别概 率值包括： 根据所述各个第二融合特征图、 各类别权重的均值、 所述各类别权重的对角协方差矩 阵以及sigmo id激活函数， 确定所述各个第二融合特 征图各自对应的各类别概 率值。 8.一种图像分割方法， 其特 征在于， 所述方法包括： 获取待处 理的图像， 将所述图像输入训练后的图像分割模型； 基于所述图像分割模型中的第一分割模块， 确定所述图像的第三预测类别信息、 第三 预测掩码信息以及所述第三预测类别 信息对应的第一 概率值； 基于所述图像分割模型中的第二分割模块， 确定所述图像的第 四预测类别信息、 第 四 预测掩码信息以及所述第四预测类别 信息对应的第二 概率值； 若所述第一概率值大于所述第 二概率值， 将所述第 三预测类别信 息和所述第 三预测掩 码信息作为分割结果； 若所述第一概率值不大于所述第 二概率值， 将所述第四预测类别信 息和所述第四预测 掩码信息作为分割结果； 其中， 所述图像分割模型通过以下方式确定： 将第一训练集中的第一样本 图像和其对 应的第一标注信息输入图像分割模型中的第一分割模块， 对所述第一分割模块进行训练； 将第二训练集中的第二样本图像和其对应的第二标注信息输入已训练的第一分割模块， 基 于所述第一分割模块确定所述第二样本图像对应的融合特征图； 将所述融合特征图输入所 述图像分割模型中的第二分割模块， 基于所述第二分割模块确定所述融合特征图的分割结 果， 根据所述分割结果和所述第二标注信息， 对所述第二分割模块进行训练。 9.一种图像分割模型训练装置， 其特 征在于， 所述装置包括： 第一训练单元， 用于将第 一训练集中的第 一样本图像和其对应的第 一标注信 息输入图 像分割模型中的第一分割模块， 对所述第一分割模块进行训练； 第二训练单元， 用于将第 二训练集中的第 二样本图像和其对应的第 二标注信 息输入已 训练的第一分割模块， 基于所述第一分割模块确定所述第二样本图像对应的融合特 征图； 第三训练单元， 用于将所述融合特征图输入所述图像分割模型中的第二分割模块， 基 于所述第二分割模块确定所述融合特征图的分割结果， 根据所述分割结果和所述第二标注 信息， 对所述第二分割模块进行训练。 10.一种图像分割装置， 其特 征在于， 所述装置包括： 获取单元， 用于取待处 理的图像， 将所述图像输入训练后的图像分割模型；权　利　要　求　书 2/3 页 3 CN 115170809 A 3