(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111623444.7 (22)申请日 2021.12.28 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 吴庆耀　苏宇堃　孙瑞洲　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 代理人 李斌 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/26(2022.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 基于上下文解耦和数据增强的弱监督语义 分割方法及装置 (57)摘要 本发明公开了一种基于上下文解耦和数据 增强的弱监督语义分割方法及装置， 方法包括： 将图像数据集输入弱监督语义分割模型中获取 语义分割掩码； 根据设定标准， 从语义分割掩码 中挑选对象实例组成掩码集合； 采用在线增强的 方式将掩码集合中的前景对象随机粘贴到图像 数据集中得到增强图像集； 将图像数据集和增强 图像集共同输入弱监督语义分割模型中得到最 终语义分割结果。 本方法考虑到弱监督语义分割 中前景和背景之间的上下文关联信息， 能够从图 像中解耦这种关联信息， 使 得网络更加集中于前 景， 不需使用额外数据， 提升分割性能； 对实际应 用中如医疗 数据分析， 自动驾驶等场景提供了较 好的解决方案 。 权利要求书2页 说明书7页 附图2页 CN 114373106 A 2022.04.19 CN 114373106 A 1.基于上 下文解耦和数据增强的弱监 督语义分割方法， 其特 征在于， 包括下述 步骤： 将图像数据集输入弱监 督语义分割模型中获取语义分割掩码； 根据设定标准， 从语义分割掩码中挑选对象实例组成掩码集 合； 采用在线增强的方式将掩码集合中的前景对象随机粘贴到图像数据集中得到增强图 像集； 将图像数据集和 增强图像集共同输入弱监 督语义分割模型中得到最终语义分割结果。 2.根据权利要求1所述基于上下文解耦和数据增强的弱监督语义分割方法， 其特征在 于， 所述图像数据集仅包括图像级标签。 3.根据权利要求1所述基于上下文解耦和数据增强的弱监督语义分割方法， 其特征在 于， 所述设定标准有2条： 1)、 语义分割掩码图像中只含有单类别对象； 2)、 语义分割掩码中， 前景对象与整张图像的像素比满足 其中∈1和∈2是 设定的阈值， m表示前 景对象的像素总数， n表示整张图像的像素总数； 从语义分割掩码中挑选对象实例时需同时满足所述设定标准。 4.根据权利要求1所述基于上下文解耦和数据增强的弱监督语义分割方法， 其特征在 于， 所述在线增强在CAM模型中进行， 具体为： 从图像数据集中取出图片和标签对(Ii， Li)， 其中Ii表示图像数据集中的第i张图片， Li 表示第i张图片对应的标签； 从掩码集合中的取出前景对象图片和标签对(Oj， Tj)， 其中Oj表示掩码集合中第j张前 景对象图片， Tj表示第j张前景对象图片对应的标签且 即第j张前景对象图片对 应的标签与图像数据集中第i张图片对应的标签不包 含同一类别的对象； 将Oj粘贴到Ii中， 得到增强图像Ii′； 在标签Li中加入标签Tj， 得到增强标签Tj′； 使用损失函数Loss(net(Ii)， Li)+Loss(net(I ′i)， L′i)优化CAM模型中的参数， 其 中net ()表示CAM模型使用的基础网络； 重复上述 步骤， 直至图像数据集中的图片均被增强， 获得增强图像集。 5.基于上下文解耦和数据增强的弱监督语义分割系统， 其特征在于， 应用于权利要求 1‑4中任一项 所述的基于上下文解耦和数据增强的弱监督语义分割方法， 包括预 处理模块、 掩码获取模块、 在线增强模块及语义分割模块； 所述预处 理模块用于将图像数据集输入弱监 督语义分割模型中获取语义分割掩码； 所述掩码获取模块用于根据设定标准， 从语义分割掩码中挑选对象实例组成掩码集 合； 所述在线增强模块用于将掩码集合中的前景对象随机粘贴到图像数据集中得到增强 图像集； 所述语义分割模块用于将图像数据集和增强图像集共同输入弱监督语义分割模型中 得到最终语义分割结果。 6.根据权利要求5所述基于上下文解耦和数据增强的弱监督语义分割系统， 其特征在 于， 所述掩码获取模块采用2条 标准来挑选对象实例， 具体为：权　利　要　求　书 1/2 页 2 CN 114373106 A 21)、 语义分割掩码图像中只含有单类别对象； 2)、 语义分割掩码中， 前景对象与整张图像的像素比满足 其中∈1和∈2是 设定的阈值， m表示前 景对象的像素总数， n表示整张图像的像素总数。 7.根据权利要求5所述基于上下文解耦和数据增强的弱监督语义分割系统， 其特征在 于， 所述在线增强模块采用CAM模型对图像数据集进行 数据增强， 具体为： 从图像数据集中取出图片和标签对(Ii， Li)， 其中Ii表示图像数据集中的第i张图片， Li 表示第i张图片对应的标签； 从掩码集合中的取出前景对象图片和标签对(Oj， Tj)， 其中Oj表示掩码集合中第j张前 景对象图片， Tj表示第j张前景对象图片对应的标签且 即第j张前景对象图片对 应的标签与图像数据集中第i张图片对应的标签不包 含同一类别的对象； 将Oj粘贴到Ii中， 得到增强图像Ii′； 在标签Li中加入标签Tj， 得到增强标签Tj′； 使用损失函数Loss(net(Ii)， Li)+Loss(net(I ′i)， L′i)优化CAM模型中的参数， 其 中net ()表示CAM模型使用的基础网络； 重复上述 步骤， 直至图像数据集中的图片均被增强， 获得增强图像集。 8.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处 理器执行的计算机程序指令， 所述计算机程序 指令被所述至少一个处理器执行， 以使所述至少一个处理器能够执行如权利要求1 ‑4 中任意一项所述的基于上 下文解耦和数据增强的弱监 督语义分割方法。 9.一种计算机可读存储介质， 存储有程序， 其特征在于， 所述程序被处理器执行时， 实 现权利要求1 ‑4任一项所述的基于上 下文解耦和数据增强的弱监 督语义分割方法。权　利　要　求　书 2/2 页 3 CN 114373106 A 3