(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211062900.X (22)申请日 2022.08.31 (71)申请人 苏州轻棹科技有限公司 地址 215100 江苏省苏州市相城区高铁新 城青龙港路66号领寓商务广场1幢21 层2101-2108室 (72)发明人 吉治宇　杨晓东　 (74)专利代理 机构 北京慧诚智道知识产权代理 事务所 (特殊普通合伙) 11539 专利代理师 戴燕 (51)Int.Cl. G06V 20/70(2022.01) G06V 20/56(2022.01) G06V 10/26(2022.01)G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种高精图像的分割处 理方法和装置 (57)摘要 本发明实施例涉及一种高精图像的分割处 理方法和装置， 所述方法包括： 获取高精图像作 为对应的第一图像； 将第一图像输入全景分割模 型的主干网络进行特征提取生成对应的第一特 征图； 将第一特征图分别输入全 景分割模型的实 例分割头网络和语义分割头网络进行处理得到 对应的第一实例分割图和第一语义分割图； 将第 一实例分割图和第一语义分割图输入全景分割 模型的分割图融合模块进行处理生成对应的第 一全景分割图； 将第一图像、 第一实例分割图、 第 一语义分割图和第一全景分割图组成对应的第 一图像分割结果输出。 通过本发明， 可 以降低计 算量、 缩短计算时长， 提高全景分割的实时性。 权利要求书3页 说明书11页 附图4页 CN 115457552 A 2022.12.09 CN 115457552 A 1.一种高精图像的分割处 理方法， 其特 征在于， 所述方法包括： 获取高精图像作为对应的第一图像； 将所述第一图像输入 全景分割模型的主干网络进行 特征提取生成对应的第一特 征图； 将所述第一特征图分别输入所述全景分割模型的实例分割头网络和语义分割头网络 进行处理得到对应的第一实例分割图和第一语义分割图； 将所述第一实例分割图和所述第一语义分割图输入所述全景分割模型的分割图融合 模块进行处 理生成对应的第一全景分割图； 将所述第一图像、 所述第一实例分割图、 所述第一语义分割图和所述第一全景分割图 组成对应的第一图像分割结果输出。 2.根据权利要求1所述的高精图像的分割处 理方法， 其特 征在于， 所述全景分割模型包括所述主干网络、 所述实例分割头网络、 所述语义分割头网络和 所述分割图融合模块； 所述主干网络的输出分别与所述 实例分割头网络和所述语义分割头 网络的输入连接， 所述分割图融合模块的输入分别与所述实例分割头网络和所述语义分割 头网络的输出 连接。 3.根据权利要求2所述的高精图像的分割处 理方法， 其特 征在于， 所述主干网络包括残差模块A1、 残差模块A2、 残差模块A3、 残差模块A4、 残差模块A5、 残差 模块A6、 残差模块A7、 残差模块A8、 聚合模块和第一融合模块； 所述残差模块A1的降采样率为 1/4； 所述残差模块A2、 所述残差模块A3、 所述残差模块A4、 所述残差模块A5的降采样率为1/ 8； 所述残差模块A6的降采样率为1/16； 所述残差模块A7的降采样率为1/32； 所述残差模块A8 的降采样率 为1/64； 所述残差模块A1的输出与所述残差模块A2的输入连接； 所述残差模块A2的输出与所述残差模块A3的输入连接， 所述残差模块A2的输出再经过 一次下采样与所述残差模块A6的输入连接； 所述残差模块A3的输出与所述残差模块A4的输入连接， 所述残差模块A3的输出再经过 一次下采样与所述残差模块A7的输入连接； 所述残差模块A4的输出与所述残差模块A5的输入连接， 所述残差模块A4的输出再经过 一次下采样与所述残差模块A8的输入连接； 所述残差模块A6的输出与所述残差模块A7的输入连接， 所述残差模块A6的输出再经过 一次上采样与所述残差模块A4的输入连接； 所述残差模块A7的输出与所述残差模块A8的输入连接， 所述残差模块A7的输出再经过 一次上采样与所述残差模块A5的输入连接； 所述残差模块A8的输出与所述聚合模块的输入连接； 所述第一融合模块的输入分别与所述残差模块A5的输出和所述聚合模块的输出连接； 所述第一融合模块的输出分别与所述实例分割头网络和所述语义分割头网络的输入连接 。 4.根据权利要求3所述的高精图像的分割处 理方法， 其特 征在于， 所述聚合模块包括卷积模块C1、 卷积模块C2、 卷积模块C3、 卷积模块C4、 卷积模块C5、 卷积 模块C6、 卷积模块C7、 卷积模块C8、 卷积模块C9、 卷积模块C10， 上采样模块S1、 上采样模块S2、 上 采样模块S3、 上采样模块S4， 级联模块和第二融合模块； 所述卷积模块C1、 所述卷积模块C2、 所述卷积模块C3、 所述卷积模块C4和所述卷积模块C5权　利　要　求　书 1/3 页 2 CN 115457552 A 2的输入都与所述主干网络的所述残差模块A8的输出连接； 所述卷积模块C1的卷积核大小为1 ×1， 所述卷积模块C1的输出分别与所述卷积模块C6、 所述级联模块和所述第二融合模块的输入连接； 所述卷积模块C2的卷积核大小为5 ×5， 所述卷积模块C2的输出与所述上采样模块S1的 输入连接； 所述上采样模块S1的输出与所述卷积模块C6的输入连接； 所述卷积模块C6的卷积 核大小为3 ×3， 所述卷积模块C6的输出分别与所述卷积模块C7和所述级联模块的输入连接； 所述卷积模块C3的卷积核大小为9 ×9， 所述卷积模块C3的输出与所述上采样模块S2的 输入连接； 所述上采样模块S2的输出与所述卷积模块C7的输入连接； 所述卷积模块C7的卷积 核大小为3 ×3， 所述卷积模块C7的输出分别与所述卷积模块C8和所述级联模块的输入连接； 所述卷积模块C4的卷积核大小为17 ×17， 所述卷积模块C4的输出与所述上采样模块S3 的输入连接； 所述上采样模块S3的输出与所述卷积模块C8的输入连接； 所述卷积模块C8的卷 积核大小为3 ×3， 所述卷积模块C8的输出分别与 所述卷积模块C9和所述级联模块的输入连 接； 所述卷积模块C5的卷积核大小为H ×W， 所述卷积模块C5的输出与所述上采样模块S4的 输入连接； 所述上采样模块S4的输出与所述卷积模块C9的输入连接； 所述卷积模块C9的卷积 核大小为3 ×3， 所述卷积模块C9的输出与所述级联模块 的输入连接； 其中， H、 W分别为预设 的高度和宽度参数； 所述级联模块的输出与所述卷积模块C10的输入连接； 所述第二融合模块的输入分别与所述卷积模块C1和所述卷积模块C10的输出连接， 所述 第二融合模块的输出与所述主干网络的所述第一融合模块的输入连接 。 5.根据权利要求1所述的高精图像的分割处 理方法， 其特 征在于， 所述第一实例分割图和所述第一语义分割图的尺寸大小一 致； 所述第一实例分割图包括多个第 一像素点； 各个所述第 一像素点包括一个第 一分类标 签和一个第一实例ID标签； 所述第一像素点为实例分割图的前景像素点时， 所述第一分类 标签和所述第一 实例ID标签均为正的有效值； 所述第一像素点为 实例分割图的背 景像素点 时， 所述第一分类标签和所述第一实例ID标签均为负的无效值； 所述第一实例ID标签为有 效值时， 默认从1开始计数； 所述第一语义分割图包括多个第 二像素点， 各个所述第 二像素点包括一个第 二分类标 签。 6.根据权利要求5所述的高精图像的分割处理方法， 其特征在于， 所述将所述第 一实例 分割图和所述第一语义分割图输入所述全景分割模型的分割图融合模块进行处理生成对 应的第一全景分割图， 具体包括： 初始化所述第 一全景分割图； 所述第 一全景分割图的尺寸大小与所述第 一实例分割图 和所述第一语义分割图的尺寸大小一致； 所述第一全景分割图包括多个第三像素点； 各个 所述第三像素点包括一个第一像素值、 一个第三分类标签和一个第二实例ID标签， 各个所 述第三像素点的所述第一像素值、 所述第三分类标签和所述第二 实例ID标签都初始化为负 的无效值； 对各个所述第三像素点进行遍历； 遍历时， 将当前遍历的所述第三像素点记为当前第 三像素点， 并将所述第一 实例分割图中像素点坐标与所述当前第三像素点对应的所述第一权　利　要　求　书 2/3 页 3 CN 115457552 A 3