(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202180001054.8 (22)申请日 2021.03.31 (65)同一申请的已公布的文献号 申请公布号 CN 113260430 A (43)申请公布日 2021.08.13 (85)PCT国际申请进入国家阶段日 2021.05.11 (86)PCT国际申请的申请数据 PCT/CN2021/084488 2021.0 3.31 (73)专利权人 华为技术有限公司 地址 518129 广东省深圳市龙岗区坂田华 为总部办公楼 (72)发明人 彭惠东　张宇腾　于海　(74)专利代理 机构 广州三环专利商标代理有限 公司 44202 专利代理师 熊永强　李稷芳 (51)Int.Cl. A63F 13/52(2014.01) A63F 13/55(2014.01) A63F 13/803(2014.01) G06T 19/00(2011.01) G06T 15/00(2011.01) G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 111/18(2020.01) (56)对比文件 CN 207180987 U,2018.04.0 3 审查员 李敏 (54)发明名称 一种场景处 理方法、 装置、 系统及相关 设备 (57)摘要 本申请实施例公开了一种场景处理方法、 装 置、 系统及相关设备， 该方法包括： 获取第一车外 场景； 其中， 所述第一车外场景为二维的场景图 像或者三维的场景模型； 获取与所述第一车外场 景对应的第一AR图像； 融合所述第一车外场景和 所述第一AR图像， 以获得第二场景； 其中， 所述第 一车外场景为所述第二场景中的现实信息， 所述 第一AR图像为所述第二场景中的虚拟信息； 使能 显示屏显示所述第二场景。 采用本申请实施例可 以更加高效、 便捷地融合现实信息与虚拟信息， 从而得到直观的AR效果。 权利要求书4页 说明书31页 附图17页 CN 113260430 B 2022.07.22 CN 113260430 B 1.一种场景处 理方法， 其特 征在于， 包括： 获取第一车外场景； 其中， 所述第一车外场景为仿真场景； 获取与所述第一车外场景对应的第一增强现实AR图像； 融合所述第一车外场景和所述第一AR图像， 以在抬头显示器HUD虚像面中获得第二场 景； 其中， 所述HUD虚像面为所述第一车外场景中对应的一个区域； 所述第一车外场景为所 述第二场景中的现实信息， 所述第一AR图像为所述第二场景中的虚拟信息； 使能显示屏显示所述第二场景。 2.根据权利要求1所述的方法， 其特征在于， 所述获取与 所述第一车外场景对应的第 一 AR图像， 包括： 根据所述第一车外场景与预设模型， 获取与所述第一车外场景对应的所述第一AR图 像； 其中， 所述第一AR图像包括 一个或多个AR图标。 3.根据权利要求2所述的方法， 其特征在于， 所述预设模型为神经网络模型， 所述神经 网络模型是根据由多个场景、 多个AR图标以及所述多个场景和所述多个AR图标的不同匹配 度训练得到的。 4.根据权利要求2所述的方法， 其特征在于， 所述融合所述第 一车外场景和所述第 一AR 图像， 以在抬头 显示器HUD虚像面中获得第二场景， 包括： 基于预设的HUD参数集 合， 在所述第一车外场景中确定对应的所述HUD虚像面； 将所述第一AR图像渲染至所述HUD虚像面中， 以获得 所述第二场景。 5.根据权利要求4所述的方法， 其特征在于， 所述HUD参数集合包括挡风玻璃曲率、 眼盒 位置、 人眼观测位置、 HUD安装位置和HUD虚像面尺寸中的至少一种参数。 6.根据权利要求2 ‑5任意一项所述的方法， 其特征在于， 所述第一车外场景包括一个或 多个场景元素； 所述一个或多个场景元素包括 天气、 道路、 行人、 车辆、 植物和交通信号中的 一个或多个； 所述一个或多个AR图标包括左转、 右 转和直行导航标识中的一个或多个； 所述 方法还包括： 基于所述第二场景中的所述一个或多个场景元素以及所述一个或多个AR图标之间的 位置关系和/或逻辑关系， 对所述预设模型进行相应的修 正。 7.根据权利要求1所述的方法， 其特 征在于， 所述获取第一车外场景， 包括： 获取第一传感器采集的数据； 所述第一传感器为车载传感器； 所述第一传感器采集的 数据为在目标车辆行驶过程中针对所述 目标车辆的周围环境采集的数据， 包括图像数据、 点云数据、 温度数据和湿度数据中的至少一种； 所述第一传感器包括摄像头、 激光雷达、 毫 米波雷达、 温度传感器和湿度传感器中的至少一种； 基于所述第一传感器采集的数据， 构建所述第一车外场景， 所述第一车外场景为实景 仿真场景。 8.根据权利要求1所述的方法， 其特 征在于， 所述获取第一车外场景， 包括： 获取第二传感器采集的数据； 所述第 二传感器为通过预设的仿真模拟系统构建的传感 器； 所述第二传感器采集的数据为通过所述预设的仿 真模拟系统设置的数据， 包括 天气、 道 路、 行人、 车辆、 植物和交通信号中的至少一种数据； 基于所述第二传感器采集的数据， 构建所述第一车外场景， 所述第一车外场景为虚拟 仿真场景。权　利　要　求　书 1/4 页 2 CN 113260430 B 29.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 对所述第一AR图像进行第一预处理， 获取与所述第一车外场景对应的第二AR图像； 所 述第一预处理包括畸变处理和抖动处理中的至少一种； 所述畸变处理包括径向畸变、 切向 畸变、 虚像距增大和虚像距减小中的至少一种； 所述抖动处理包括叠加预设的旋转位移量 和/或抖动量； 融合所述第一车外场景和所述第二AR图像， 以获得第三场景； 使能所述显示屏显示所述第三场景。 10.根据权利要求9所述的方法， 其特 征在于， 所述方法还 包括： 对所述第二AR图像进行第二预处理， 获取与所述第一车外场景对应的第三AR图像； 所 述第二预处 理包括去畸变处 理和防抖动处 理中的至少一种； 融合所述第一车外场景和所述第三AR图像， 以获得第四场景； 使能所述显示屏显示所述第四场景。 11.根据权利要求10所述的方法， 其特 征在于， 所述方法还 包括： 基于所述第三场景和所述第 四场景， 获取所述去畸变处理和/或所述防抖动处理的处 理效果， 以优化相应的去畸变功能和/或防抖动功能。 12.一种场景处 理装置， 其特 征在于， 包括： 第一获取 单元， 用于获取第一车外场景； 其中， 所述第一车外场景为仿真场景； 第二获取 单元， 用于获取与所述第一车外场景对应的第一AR图像； 融合单元， 用于融合所述第一车外场景和所述第一AR图像， 以在抬头显示器HUD虚像面 中获得第二场景； 其中， 所述HUD虚像面为所述第一车外场景中对应的一个区域； 所述第一 车外场景为所述第二场景中的现实信息， 所述第一AR图像为所述第二场景中的虚拟信息； 第一显示单 元， 用于使能显示屏显示所述第二场景。 13.根据权利要求12所述的装置， 其特 征在于， 所述第二获取 单元， 具体用于： 根据所述第一车外场景与预设模型， 获取与所述第一车外场景对应的所述第一AR图 像； 其中， 所述第一AR图像包括 一个或多个AR图标。 14.根据权利要求13所述的装置， 其特征在于， 所述预设模型为神经网络模型， 所述神 经网络模型是根据由多个场景、 多个AR图标以及所述多个场景和所述多个AR图标的不同匹 配度训练得到的。 15.根据权利要求13所述的装置， 其特 征在于， 所述融合单 元， 具体用于： 基于预设的抬头显示器HUD参数集合， 在所述第一车外场景中确定对应的所述HUD虚像 面； 将所述第一AR图像渲染至所述HUD虚像面中， 以获得 所述第二场景。 16.根据权利要求15所述的装置， 其特征在于， 所述HUD参数集合包括挡风玻璃曲率、 眼 盒位置、 人眼观测位置、 HUD安装位置和HUD虚像面尺寸中的至少一种参数。 17.根据权利要求13 ‑16任意一项所述的装置， 其特征在于， 所述第一车外场景包括一 个或多个场景元素； 所述一个或多个场景元素包括 天气、 道路、 行人、 车辆、 植物和交通信号 中的一个或多个； 所述一个或多个AR图标包括左转、 右 转和直行导航标识中的一个或多个； 所述装置还 包括： 修正单元， 用于基于所述第 二场景中的所述一个或多个场景元素以及所述一个或多个权　利　要　求　书 2/4 页 3 CN 113260430 B 3