(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111535288.9 (22)申请日 2021.12.15 (71)申请人 中汽创智科技有限公司 地址 211100 江苏省南京市江宁区秣陵街 道胜利路8 8号 (72)发明人 方超　季栋辉　于波　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 代理人 苗芬芬 (51)Int.Cl. G06V 20/59(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) G06T 3/40(2006.01) G06V 10/77(2022.01)G06V 10/82(2022.01) (54)发明名称 图像处理方法、 装置及 介质 (57)摘要 本申请公开了图像处理方法、 装置及介质， 涉及图像处理技术领域， 该方法包括： 获取不同 视角下的多个原始车舱图像； 将所述多个原始车 舱图像进行拼接， 得到车舱全景图像； 基于计算 机视觉感知， 确定所述多个原始车舱图像中的目 标对象； 确定所述目标对象对应的目标虚拟形 象， 并得到包含所述目标虚拟形象的目标图层； 将所述车舱全 景图像和所述目标图层进行叠加， 得到包含所述目标虚拟形象 的目标全 景图像。 本 申请利用计算视觉技术感知车舱图像中的目标 对象， 并通过使用目标虚拟形象表征检测到的目 标对象， 使得合成后的目标全景图像能有效提升 对车舱的感知效果。 权利要求书2页 说明书11页 附图3页 CN 114332830 A 2022.04.12 CN 114332830 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 获取不同视角下的多个原 始车舱图像； 将所述多个原 始车舱图像进行拼接， 得到车舱全景图像； 基于计算机 视觉感知， 确定所述多个原 始车舱图像中的目标对象； 确定所述目标对象对应的目标虚拟形象， 并得到包 含所述目标虚拟形象的目标图层； 将所述车舱全景图像和所述目标图层进行叠加， 得到包含所述目标虚拟形 象的目标全 景图像。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述多个原始车舱图像进行拼接， 得到车舱全景图像， 包括： 对所述多个原始车舱图像分别进行特征点检测， 得到各所述原始车舱图像的特征点以 及所述特 征点的描述信息； 根据所述特征点的描述信息， 对各所述原始车舱图像的特征点进行匹配， 得到特征点 对； 基于所述特 征点对确定各 所述原始车舱图像之间的关联关系； 根据各所述原始车舱图像之间的关联关系， 将所述多个原始车舱图像进行拼接和融 合， 得到所述车舱全景图像。 3.根据权利要求1所述的方法， 其特征在于， 所述基于计算机视觉感知， 确定所述多个 原始车舱图像中的目标对象， 包括： 将所述多个原始车舱图像分别输入至训练后的计算机视觉感知模型， 进行视觉感知处 理， 得到感知结果， 所述感知结果指示所述多个原始车舱图像中的目标对 象以及所述 目标 对象的属性信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述属性信息包括目标对象类别， 所述确 定所述目标对象对应的目标虚拟形象， 并得到包 含所述目标虚拟形象的目标图层， 包括： 基于预设映射关系， 确定与所述目标对象类别对应的目标图层类型； 所述预设映射关 系表征对象类别与图层类型的对应关系； 根据所述目标对象类别和所述目标图层类型， 确定所述目标对象对应的目标虚拟形 象； 根据所述目标图层类型与 所述目标虚拟形象， 生成包含所述目标虚拟形象的所述目标 图层。 5.根据权利要求3所述的方法， 其特征在于， 所述属性信 息还包括所述目标对象在相机 坐标系下的第一 坐标信息， 所述得到包 含所述目标虚拟形象的目标图层， 还 包括： 确定所述相机坐标系与预 先标定的车舱 坐标系之间的坐标转换关系； 根据所述第 一坐标信 息和所述坐标转换关系， 得到所述目标对象在所述车舱坐标系下 的第二坐标信息； 根据所述第二 坐标信息， 确定所述目标虚拟形象在所述目标图层的显示区域信息 。 6.根据权利要求1所述的方法， 其特征在于， 所述将所述车舱全景图像和所述目标图层 进行叠加， 得到包 含所述目标虚拟形象的目标全景图像， 包括： 在预先设定的车舱坐标系下， 将相同尺度的所述车舱全景图像和所述目标图层进行数 字图像合成， 得到所述车舱坐标系下的所述目标全 景图像， 并在所述目标全景图像中， 以所权　利　要　求　书 1/2 页 2 CN 114332830 A 2述目标虚拟形象表征 所述目标对象。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 将所述目标全景图像发送至用户终端， 以使在所述用户终端上根据用户视角 相应地展 示所述目标全景图像； 并在所述目标全景图像中以预设展示样式展示所述目标虚拟形象。 8.根据权利要求3所述的方法， 其特征在于， 所述属性信 息还包括所述目标对象在车舱 内的状态信息， 所述方法还 包括： 根据所述状态信息， 生成所述目标虚拟形象对应的交 互信息； 在展示所述目标虚拟形象时显示对应的所述交互信 息， 所述交互信 息包括状态提示信 息或操作指示信息 。 9.一种图像处 理装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取不同视角下的多个原 始车舱图像； 拼接模块， 用于将所述多个原 始车舱图像进行拼接， 得到车舱全景图像； 感知模块， 用于基于计算机 视觉感知， 确定所述多个原 始车舱图像中的目标对象； 虚拟化模块， 用于确定所述目标对象对应的目标虚拟形象， 并得到包含所述目标虚拟 形象的目标图层； 叠加模块， 用于将所述车舱全景图像和所述目标图层进行叠加， 得到包含所述目标虚 拟形象的目标全景图像。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有至少一 条指令或至少一段程序， 所述至少一条指 令或所述至少一段程序由处理器加载并执行以实 现如权利要求1至8中任一项所述的一种图像处 理方法。权　利　要　求　书 2/2 页 3 CN 114332830 A 3