(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210613239.0 (22)申请日 2022.05.31 (71)申请人 小米汽车 科技有限公司 地址 100176 北京市北京经济技 术开发区 科创十街15号院5号楼6层618室 (72)发明人 段志祥　甘鹏　欧远昶　 (74)专利代理 机构 北京法胜知识产权代理有限 公司 11922 专利代理师 戎郑华 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) (54)发明名称 对象感知方法、 装置、 车辆、 电子 设备和存储 介质 (57)摘要 本公开关于一种对象感知方法、 装置、 车辆、 电子设备和存储介质， 属于自动驾驶技术领域。 其中， 该方法包括： 采集对象的图像数据和点云 数据， 并获取所述图像数据的图像特征和所述点 云数据的点 云特征； 将所述图像特征和所述点云 特征进行特征融合， 生成融合特征； 基于所述融 合特征， 生成所述对象的感知结果。 由此， 可基于 图像特征和点云特征进行特征融合得到的融合 特征， 来生成对象的感知结果， 可综合考虑到图 像特征和点 云特征来进行对象感知， 有助于提升 对象感知的鲁棒 性和准确性。 权利要求书2页 说明书13页 附图4页 CN 115019283 A 2022.09.06 CN 115019283 A 1.一种对象感知方法， 其特 征在于， 包括： 采集对象的图像数据和点云数据， 并获取所述图像数据的图像特征和所述点云数据的 点云特征； 将所述图像特 征和所述 点云特征进行特征融合， 生成融合特 征； 基于所述融合特 征， 生成所述对象的感知结果。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述图像特征和所述点云特征进行 特征融合， 生成融合特 征， 包括： 对所述点云特征进行特征映射， 生成所述点云特征在所述图像特征所在的特征空间下 的点云映射特 征； 将所述图像特 征和所述 点云映射特 征进行特征融合， 生成所述融合特 征。 3.根据权利要求1所述的方法， 其特征在于， 所述将所述图像特征和所述点云特征进行 特征融合， 生成融合特 征， 包括： 对所述图像特征进行特征映射， 生成所述图像特征在所述点云特征所在的特征空间下 的图像映射特 征； 将所述图像映射特 征和所述 点云特征进行特征融合， 生成所述融合特 征。 4.根据权利要求2或3所述的方法， 其特征在于， 对所述点云特征和所述图像特征中的 任一种特征进 行特征映射， 生成映射特征， 其中， 所述映射特征包括点云映射特征和图像映 射特征， 包括： 获取所述任一种特 征对应的神经场网络； 将所述任一种特 征输入到所述神经场网络， 由所述神经场网络 输出所述映射特 征。 5.根据权利要求2或3所述的方法， 其特征在于， 对所述点云特征和所述图像特征中的 任一种特征进 行特征映射， 生成映射特征， 其中， 所述映射特征包括点云映射特征和图像映 射特征， 包括： 获取所述任一种特 征对应的采样点 集， 并将所述采样点 集划分为多个采样点子集； 对所述多个采样点子集中的每个采样点对应的任一种特征进行特征映射， 生成所述采 样点子集对应的局部映射特 征； 对每个所述采样点子集对应的局部映射特征进行特征聚合， 生成所述采样点集对应的 全局映射特 征。 6.根据权利要求5所述的方法， 其特征在于， 所述将所述采样点集划分为多个采样点子 集， 包括： 从所述采样点 集中的采样点中确定多个中心点； 获取以所述中心点为中心， 向外扩散形成的区域， 并基于所述区域中的每个采样点构 建所述采样点子集。 7.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述将所述图像特征和所述点云 特征进行特征融合， 生成融合特 征， 包括： 基于所述图像特征对应的第一采样点的位置和所述点云特征对应的第二采样点的位 置， 对所述第一采样点和所述第二采样点进行配对， 生成采样点对， 其中， 所述采样点对包 括第一目标采样点和第二目标采样点； 将所述第一目标采样点对应的图像特征和所述第二目标采样点对应的点云特征进行权　利　要　求　书 1/2 页 2 CN 115019283 A 2特征融合， 生成所述融合特 征。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述图像特征对应的第 一采样点 的位置和所述点云特征对应的第二采样点的位置， 对所述第一采样点和所述第二采样点进 行配对， 生成采样点对， 包括： 基于第一候选采样点的位置， 获取所述第 一候选采样点在所述第 二采样点所在的坐标 系下的第一 转换位置； 基于所述第 二采样点的位置和所述第 一转换位置， 从所述第 二采样点中筛选出第 二候 选采样点， 其中， 所述第二 候选采样点的位置与所述第一 转换位置相同； 对所述第一 候选采样点和所述第二 候选采样点进行配对， 生成所述采样点对。 9.根据权利要求7所述的方法， 其特征在于， 所述基于所述图像特征对应的第 一采样点 的位置和所述点云特征对应的第二采样点的位置， 对所述第一采样点和所述第二采样点进 行配对， 生成采样点对， 包括： 基于第二候选采样点的位置， 获取所述第 二候选采样点在所述第 一采样点所在的坐标 系下的第二 转换位置； 基于所述第 一采样点的位置和所述第 二转换位置， 从所述第 一采样点中筛选出第 一候 选采样点， 其中， 所述第一 候选采样点的位置与所述第二 转换位置相同； 对所述第一 候选采样点和所述第二 候选采样点进行配对， 生成所述采样点对。 10.一种对象感知装置， 其特 征在于， 包括： 采集模块， 被配置为执行采集对象的图像数据和点云数据， 并获取所述图像数据的图 像特征和所述 点云数据的点云特 征； 融合模块， 被配置为执行将所述图像特征和所述点云特征进行特征融合， 生成融合特 征； 感知模块， 被 配置为执 行基于所述融合特 征， 生成所述对象的感知结果。 11.一种车辆， 其特 征在于， 包括： 如权利要求10所述的对象感知装置 。 12.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储所述处 理器的可 执行指令的存 储器； 其中， 所述处理器被配置为执行所述指令， 以实现如权利要求1 ‑9任一项所述的对象感 知方法。 13.一种计算机可读存储介质， 其特征在于， 当所述计算机可读存储介质中的指令由电 子设备的处理器执行时， 使得电子设备能够执行如权利要求1 ‑9任一项所述的对 象感知方 法。权　利　要　求　书 2/2 页 3 CN 115019283 A 3