(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210512773.2 (22)申请日 2022.05.11 (71)申请人 北京地平线机 器人技术研发有限公 司 地址 100094 北京市海淀区丰豪东路9号院 2号楼3层1单 元302 (72)发明人 王梦圆　朱红梅　张骞　 (74)专利代理 机构 北京思源智汇知识产权代理 有限公司 1 1657 专利代理师 李洪娟 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/77(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 多视角语义分割方法、 装置、 电子设备和存 储介质 (57)摘要 本公开实施例公开了一种多视角语义分割 方法、 装置、 电子设备和存储介质， 其中， 方法包 括： 确定至少两个第一类视角分别对应的第一图 像数据， 得到至少两个第一图像数据； 确定至少 两个第一图像数据分别对应的第二类视角下的 第一语义分割特征， 得到至少两个第一语义分割 特征； 将至少两个第一语义分割特征进行融合， 获得融合语义分割特征； 基于融合语义分割特 征， 获得融合语义分割结果。 本公开实施例可 以 实现仅利用相机、 雷达等， 通过中融合即可实现 端到端的多视角语义分割结果， 无需进行后处 理， 有效降低处理时间， 从而减小辅助延 迟， 解决 了现有技术需要传输到后处理模块进行后处理 导致延迟较大等问题。 权利要求书2页 说明书12页 附图7页 CN 114821506 A 2022.07.29 CN 114821506 A 1.一种多视角语义分割方法， 包括： 确定至少两个第一类视角分别对应的第一图像数据， 得到 至少两个第一图像数据； 确定所述至少两个第 一图像数据分别对应的第 二类视角下的第 一语义分割特征， 得到 至少两个第一语义分割特 征； 将所述至少两个第一语义分割特 征进行融合， 获得融合语义分割特 征； 基于所述融合语义分割特 征， 获得融合语义分割结果。 2.根据权利要求1所述的方法， 其中， 所述确定所述至少两个第 一图像数据分别对应的 第二类视角下的第一语义分割特 征， 得到至少两个第一语义分割特 征， 包括： 分别对所述至少两个第 一图像数据进行特征提取， 确定所述至少两个第 一图像数据分 别对应的所述第一类视角下的第二语义分割特 征， 得到至少两个第二语义分割特 征； 将所述至少两个第 二语义分割特征分别转换到所述第 二类视角对应的坐标系下， 得到 所述至少两个第一语义分割特 征。 3.根据权利要求2所述的方法， 其中， 所述分别对所述至少两个第 一图像数据进行特征 提取， 确定所述至少两个第一图像数据分别对应的所述第一类视角下的第二语义分割特 征， 得到至少两个第二语义分割特 征， 包括： 基于预先训练获得的第一语义分割 网络模型对所述至少两个第一图像数据进行特征 提取， 获得 所述至少两个第二语义分割特 征。 4.根据权利要求2所述的方法， 其中， 所述将所述至少两个第 二语义分割特征分别转换 到所述第二类视角对应的坐标系下， 得到所述至少两个第一语义分割特 征， 包括： 基于所述至少两个第一类视角分别对应的图像坐标系中的预设点坐标和预先获得的 相机参数， 确定所述至少 两个第一类视角分别对应的单应性变换矩阵， 得到至少 两个单应 性变换矩阵； 基于所述至少两个单应性变换矩阵， 分别将所述至少两个第 二语义分割特征转换到所 述第二类视角对应的坐标系下， 得到所述至少两个第一语义分割特 征。 5.根据权利要求1所述的方法， 其中， 所述基于所述融合语义分割特征， 获得融合语义 分割结果， 包括： 基于所述融合语义分割特征及预先训练获得的第 二语义分割网络模型， 获得所述融合 语义分割结果。 6.根据权利要求1 ‑5任一所述的方法， 其中， 所述将所述至少两个第 一语义分割特征进 行融合， 获得融合语义分割特 征， 包括： 将所述至少两个第 一语义分割特征中相同像素位置的特征值相加， 获得所述融合语义 分割特征。 7.根据权利要求1 ‑5任一所述的方法， 其中， 所述将所述至少两个第 一语义分割特征进 行融合， 获得融合语义分割特 征， 包括： 响应于所述至少两个第 一语义分割特征的相同像素位置的特征值中， 有小于或等于一 个非0特征值， 将该像素位置的特 征值相加， 作为该像素位置的融合特 征值； 响应于所述至少两个第一语义分割特征的相同像素位置的特征值中， 有至少两个非0 特征值， 将该像素位置的特 征值按非0特 征值数量 求均值， 作为该像素位置的融合特 征值； 基于各所述像素位置的所述融合特 征值， 获得 所述融合语义分割特 征。权　利　要　求　书 1/2 页 2 CN 114821506 A 28.一种多视角语义分割装置， 包括： 第一确定模块， 用于确定至少两个第一类视角分别对应的第一图像数据， 得到至少两 个第一图像数据； 第一处理模块， 用于确定所述至少两个第 一图像数据分别对应的第 二类视角下的第 一 语义分割特 征， 得到至少两个第一语义分割特 征； 第一融合模块， 用于将所述至少两个第一语义分割特征进行融合， 获得融合语义分割 特征； 第二处理模块， 用于基于所述融合语义分割特 征， 获得融合语义分割结果。 9.根据权利要求8所述的装置， 其中， 所述第一处 理模块， 包括： 特征提取单元， 用于分别对所述至少两个第一图像数据进行特征提取， 确定所述至少 两个第一图像数据分别对应的所述第一类视角下的第二语义分割特征， 得到至少两个第二 语义分割特 征； 视角转换单元， 用于将所述至少两个第 二语义分割特征分别转换到所述第 二类视角对 应的坐标系下， 得到所述至少两个第一语义分割特 征。 10.一种计算机可读存储介质， 所述存储介质存储有计算机程序， 所述计算机程序用于 执行上述权利要求1 ‑7任一所述的多视角语义分割方法。 11.一种电子设备， 所述电子设备包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 所述处理器， 用于从所述存储器中读取所述可执行指令， 并执行所述指令以实现上述 权利要求1 ‑7任一所述的多视角语义分割方法。权　利　要　求　书 2/2 页 3 CN 114821506 A 3