(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210447892.4 (22)申请日 2022.04.26 (71)申请人 清华大学 地址 100084 北京市海淀区双清路3 0号清 华大学清华园北京 100084-82信箱 (72)发明人 邓志东　刘文磊　费家骏　诸子钰　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 周治宇 (51)Int.Cl. G06V 20/56(2022.01) G06K 9/62(2022.01) G06V 10/22(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01)G06V 10/75(2022.01) G06V 10/80(2022.01) (54)发明名称 基于点云的多源特征融合的重定位方法及 装置 (57)摘要 本发明提供一种基于点云数据的多源特征 融合的重定位方法及装置， 其中方法包括： 获取 待处理点云数据； 对所述待处理点云数据进行语 义分割， 获得语义特征以及与所述语义特征一一 对应的语义标签； 对所述语义标签进行实例分 割， 获得实例集合； 对所述实例集合进行图卷积 特征提取， 获得图卷积特征； 基于多源特征获得 融合向量， 其中， 所述多源特征包括所述语义特 征和所述图卷积特征； 将所述融合向量与待匹配 定位向量集进行匹配， 获得重定位结果。 本发明 提供一种基于点云数据的多源特征融合的重定 位方法及装置， 利用GCN特征识别环境特征， 并与 语义特征融合， 获取更丰富的环境信息， 提高识 别鲁棒性和准确率。 权利要求书2页 说明书14页 附图5页 CN 114821500 A 2022.07.29 CN 114821500 A 1.一种基于点云的多源特 征融合的重 定位方法， 其特 征在于， 包括： 获取待处 理点云数据； 对所述待处理点云数据进行语义分割， 获得语义特征以及与 所述语义特征一一对应的 语义标签； 对所述语义标签进行实例分割， 获得实例集 合； 对所述实例集 合进行图卷积特 征提取， 获得图卷积特 征； 基于多源特征获得融合向量， 其中， 所述多源特征包括所述语义特征和所述图卷积特 征； 将所述融合向量与待匹配定位向量 集进行匹配， 获得重 定位结果。 2.根据权利要求1所述的基于点云的多源特征融合的重定位方法， 其特征在于， 所述基 于多源特 征获得融合向量之前， 还 包括： 获取与所述待处理点云数据对应的第 一图片数据集， 基于所述第 一图片数据集获得图 像特征； 所述多源特 征还包括所述图像特 征。 3.根据权利要求1所述的基于点云的多源特征融合的重定位方法， 其特征在于， 所述待 处理点云数据为彩色点云数据。 4.根据权利要求3所述的基于点云的多源特征融合的重定位方法， 其特征在于， 所述彩 色点云数据的获取步骤为： 获取原始点云数据； 获取与所述原 始点云数据对应的第二图片数据集； 对所述原 始点云数据和所述第二图片数据集进行像素融合， 获得 所述彩色点云数据。 5.根据权利要求4所述的基于点云的多源特征融合的重定位方法， 其特征在于， 所述对 所述原始点云数据和所述第二图片数据集进行像素融合， 获得 所述彩色点云数据， 包括： 对所述原始点云数据和所述第 二图片数据集进行坐标变换， 获得与 所述原始点云数据 对应的像素信息； 将所述像素信息和所述原 始点云数据进行融合， 获得彩色点云数据。 6.根据权利要求1 ‑5任一项所述的基于点云的多源特征融合的重定位方法， 其特征在 于， 所述对所述语义标签进行实例分割， 获得实例集合， 之后还包括： 基于所述实例集合获 得实例特 征； 所述多源特 征还包括所述实例特 征。 7.根据权利要求1 ‑5任一项所述的基于点云的多源特征融合的重定位方法， 其特征在 于， 所述对所述实例集 合进行图卷积特 征提取， 获得图卷积特 征， 包括： 基于所述实例集 合获得类内属性特 征； 基于所述实例集 合获得实例间结构特 征； 基于所述类内属性特 征和所述实例间结构特 征， 获得图卷积特 征。 8.根据权利要求1 ‑5任一项所述的基于点云的多源特征融合的重定位方法， 其特征在 于， 所述将所述融合向量与待匹配定位向量 集进行匹配， 获得重 定位结果， 包括： 获取所述待匹配定位向量 集中的每 个待匹配定位向量与所述融合向量的匹配度； 确定匹配度最高的待匹配定位向量对应的位置信息为重 定位结果。 9.根据权利要求8所述的基于点云的多源特征融合的重定位方法， 其特征在于， 所述获权　利　要　求　书 1/2 页 2 CN 114821500 A 2取所述待匹配定位向量 集中的每 个待匹配定位向量与所述融合向量的匹配度， 包括： 基于相似分数公式计算所述待匹配定位向量集中的每个待匹配定位向量与所述融合 向量的匹配得分， 所述匹配得分用于表示匹配度； 所述相似分数公式为： 其中， S表示匹配得分， f1表示所述融合向量， f2表示所述待匹配定位向量， W1表示第一 网络参数， W2表示第二网络参数， b为偏差向量， σ 表示Relu激活函数。 10.一种基于点云数据的多源特 征融合的重 定位装置， 其特 征在于， 包括： 获取单元， 用于获取待处 理点云数据； 语义分割单元， 用于对所述待处理点云数据进行语义分割， 获得语义特征以及与所述 语义特征一一对应的语义标签； 实例分割单 元， 用于对所述语义标签进行实例分割， 获得实例集 合； 图卷积单 元， 用于对所述实例集 合进行图卷积特 征提取， 获得图卷积特 征； 融合单元， 用于基于多源特征获得融合向量， 其中， 所述多源特征包括所述语义特征和 所述图卷积特 征； 匹配单元， 用于将所述融合向量与待匹配定位向量 集进行匹配， 获得重 定位结果。 11.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至9任一项所 述基于点云的多源特 征融合的重 定位方法。 12.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至9任一项所述基于点云的多源特征融合的重定 位方法。权　利　要　求　书 2/2 页 3 CN 114821500 A 3