(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211022420.0 (22)申请日 2022.08.24 (71)申请人 北京京东乾石科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼19层 A1905室 (72)发明人 张博宇　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 樊晓 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/10(2022.01) G06V 10/56(2022.01) G06V 10/80(2022.01) (54)发明名称 图像生成方法及装置、 模型训练方法及装 置、 电子设备 (57)摘要 本公开提供了一种图像生 成方法及装置、 模 型训练方法及装置、 电子设备， 可 以应用于智能 驾驶技术领域。 该图像生成方法包括： 获取与 自 动驾驶车辆所在路口关联的路口环境测试深度 图； 根据路口的交通信号灯位置信息和预设交通 信号灯状态， 生成交通信号灯测试草图； 将路口 环境测试深度图和交通信号灯测试草图进行图 像融合生 成交通信号灯测试图像， 以便根据交通 信号灯测试图像进行驾驶模拟， 其中交通信号灯 测试图像能够表征路口环境和预设交通信号灯 状态。 权利要求书3页 说明书15页 附图6页 CN 115410177 A 2022.11.29 CN 115410177 A 1.一种图像生成方法， 包括： 获取与自动驾驶车辆所在路口关联的路口环境测试深度图； 根据所述路口的交通信号灯位置信 息和预设交通信号灯状态， 生成交通信号灯测试草 图， 其中， 所述交通信号灯测试草图中的交通信号灯区域与所述路口环境测试深度图中的 交通信号灯区域的位置相对应， 所述交通信号灯测试草图中的交通信号灯区域显示为所述 预设交通信号灯状态； 将所述路口环境测试深度图和所述交通信号灯测试草图进行图像融合生成交通信号 灯测试图像， 以便根据所述交通信号灯测试图像进行驾驶模拟， 其中所述交通信号灯测试 图像能够表征路口环境和所述预设交通信号灯状态。 2.根据权利要求1所述的方法， 其中， 所述将所述路口环境测试深度图和所述交通信号 灯测试草图进行图像融合 生成交通信号灯测试图像包括： 将所述路口环境测试深度图和所述交通信号灯测试草图在通道维度进行拼接， 以生成 测试拼接图像； 将所述测试拼接图像输入图像生成模型， 以便通过所述图像生成模型输出所述交通信 号灯测试图像。 3.根据权利要求1所述的方法， 其中， 获取 所述路口环境测试深度图包括： 获取路口环境 点云测试 数据； 根据所述路口环境 点云测试 数据生成所述路口环境测试深度图。 4.根据权利要求3所述的方法， 其中， 所述路口环境点云测试数据包括雷达坐标系下的 环境点云三 维坐标值， 所述根据所述路口环境点云测试数据生成所述路口环境测试深度图 包括： 根据所述雷达坐标系下的环境点云三维坐标值， 确定像素坐标系下的环境点云二维坐 标值、 以及环境 点云深度值； 根据所述环境点云二维坐标值和所述环境点云深度值， 生成所述路口环境测试深度 图。 5.根据权利要求4所述的方法， 其中， 所述根据所述雷达坐标系下的环境点云三维坐标 值， 确定像素坐标系下的环境 点云二维坐标值、 以及环境 点云深度值包括： 将所述雷达坐标系下的环境点云三维坐标值， 转换为相机坐标系下的环境点云三维坐 标值； 将所述相机坐标系下的环境点云三维坐标值投影到相机平面上， 得到所述像素坐标系 下的环境 点云二维坐标值； 根据相机坐标系下的环境 点云三维坐标值， 确定所述环境 点云深度值。 6.根据权利要求4所述的方法， 其中， 根据 所述环境点云二维坐标值和所述环境点云深 度值， 生成所述路口环境测试深度图包括： 根据所述环境 点云二维坐标值， 将环境 点云以像素点的形式标注在第一空白图片中； 根据所述环境点云深度值， 对所述第 一空白图片中的不同坐标位置处的像素点标记显 示为不同颜色， 以生成所述路口环境测试深度图。 7.根据权利要求1所述的方法， 其中， 所述交通信号灯位置信 息包括预定地图坐标系下 的交通信号灯三 维坐标值， 所述根据所述路口的交通信号灯位置信息和预设交通信号灯状权　利　要　求　书 1/3 页 2 CN 115410177 A 2态， 生成交通信号灯测试草图包括： 将所述预定地图坐标系下的交通信号灯三维坐标值， 转换为像素坐标系下的交通信号 灯二维坐标值； 在第二空白图片中的目标位置绘制交通信号灯轮廓， 其中所述目标位置的坐标值与 所 述像素坐标系下的交通信号灯二维坐标值相同； 根据所述预设交通信号灯状态， 将所述交通信号灯轮廓 填充为与所述预设交通信号灯 状态关联的颜色， 以生成所述交通信号灯测试草图。 8.一种模型训练方法， 包括： 获取与自动驾驶车辆所在路口关联的路口环境样本深度图； 根据所述路口的交通信号灯位置信 息和训练交通信号灯状态， 生成交通信号灯样本草 图， 其中， 所述交通信号灯样本草图中的交通信号灯区域与所述路口环境样本深度图中的 交通信号灯区域的位置相对应， 所述交通信号灯样本草图中的交通信号灯区域显示为所述 训练交通信号灯状态； 将所述路口环境样本深度图和所述交通信号灯样本草图在通道维度进行拼接， 以生成 样本拼接图像； 将所述样本拼接图像输入待训练图像生成模型， 以便通过所述待训练图像生成模型输 出交通信号灯训练图像； 计算所述交通信号灯训练图像和所述路口拍摄图像的像素差值； 将所述交通信号灯训练图像和所述路口拍摄图像输入判别模型， 以通过所述判别模型 输出所述交通信号灯样 本图像与所述路口拍摄图像相同的概率值， 当所述像素差值和所述 概率值满足预设终止条件时， 得到经训练得到的图像生成模型。 9.一种图像生成装置， 包括： 第一获取模块， 用于获取与自动驾驶车辆所在路口关联的路口环境测试深度图； 第一生成模块， 用于根据所述路口的交通信号灯位置信息和预设交通信号灯状态， 生 成交通信号灯测试草图， 其中， 所述交通信号灯测试草图中的交通信号灯区域与所述路口 环境测试深度图中的交通信号灯区域的位置相对应， 所述交通信号灯测试草图中的交通信 号灯区域显示 为所述预设交通信号灯状态； 融合模块， 用于将所述路口环境测试深度图和所述交通信号灯测试草图进行图像 融合 生成交通信号灯测试图像， 以便根据所述交通信号灯测试图像进行驾驶模拟， 其中所述交 通信号灯测试图像能够表征路口环境和所述预设交通信号灯状态。 10.一种模型训练装置， 包括： 第二获取模块， 用于获取与自动驾驶车辆所在路口关联的路口环境样本深度图； 第二生成模块， 用于根据所述路口的交通信号灯位置信息和训练交通信号灯状态， 生 成交通信号灯样本草图， 其中， 所述交通信号灯样本草图中的交通信号灯区域与所述路口 环境样本深度图中的交通信号灯区域的位置相对应， 所述交通信号灯样本草图中的交通信 号灯区域显示 为所述训练 交通信号灯状态； 拼接模块， 用于将所述路口环境样本深度图和所述交通信号灯样本草图在通道维度进 行拼接， 以生成样本拼接图像； 第一输入输出模块， 用于将所述样本拼接 图像输入待训练图像生成模型， 以便通过所权　利　要　求　书 2/3 页 3 CN 115410177 A 3