(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677340.4 (22)申请日 2021.12.31 (71)申请人 广州小鹏汽车 科技有限公司 地址 510640 广东省广州市天河区岑村松 岗大街8号 (72)发明人 戎思佳　 (74)专利代理 机构 北京中知君达知识产权代理 有限公司 1 1769 代理人 黄启法 (51)Int.Cl. G06T 3/40(2006.01) H04N 5/262(2006.01) H04N 5/265(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 视频图像拼接方法、 装置及设备 (57)摘要 本申请涉及一种视频图像拼接方法、 装置及 设备。 该视频图像拼接方法包括： 根据车载雷达 测距数据和第一预设模型 获得感兴趣区域ROI与 原始视频图像帧的画面比例； 根据所述画面比例 和第二预设模型获得所述ROI在所述原始视频图 像帧上的显示位置信息； 根据所述画面比例以及 所述显示位置信息， 从所述原始视频图像帧裁剪 得到目标 ROI； 将各个裁剪 得到的所述目标 ROI拼 接成目标视频图像。 本申请提供的方案， 能够提 升视频图像的拼接效果。 权利要求书2页 说明书11页 附图6页 CN 114331848 A 2022.04.12 CN 114331848 A 1.一种视频图像拼接方法， 其特 征在于， 包括： 根据车载雷达测距数据和第 一预设模型获得感兴趣区域ROI与原始视频图像帧的画面 比例； 根据所述画面比例和第二预设模型获得所述ROI在所述原始视频图像帧上的显示位置 信息； 根据所述画面比例以及所述显示 位置信息， 从所述原 始视频图像帧裁 剪得到目标ROI； 将各个裁 剪得到的所述目标ROI 拼接成目标视频图像。 2.根据权利要求1所述的方法， 其特 征在于： 所述根据车载雷达测距数据和第 一预设模型获得感兴趣区域ROI与原始视频图像帧的 画面比例， 包括： 将车载雷达测距数据输入预先训练的浅层神经网络模型， 输出感兴趣区域 ROI与原始视频图像帧的画面比例； 所述根据所述画面比例和第 二预设模型获得所述ROI在所述原始视频图像帧上的显示 位置信息， 包括： 将所述画面比例输入拟合模型， 输出所述ROI在所述原始视频图像帧上的 显示位置信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述浅层神经网络模型采用以下方式训练 得到： 采用训练集对所述浅层神经网络模型进行训练， 得到所述预先训练的浅层神经网络模 型， 其中所述训练集包括标注画面比例和训练用雷达测距数据， 所述标注画面比例为标注 训练用ROI与训练用视频图像帧的画面比例。 4.根据权利要求3所述的方法， 其特 征在于， 所述训练集按以下 方式获得： 从采集的雷达测距数据中选取设定数量数据作为训练用雷达测距数据； 根据画面连续原则， 从所述训练用视频图像帧中标注出与上一帧训练用视频图像帧画 面连续的ROI， 得到标注训练用ROI； 根据所述标注训练用ROI与训练用视频图像帧进行对比， 得到所述标注 画面比例； 将所述训练用雷达测距数据与所述标注 画面比例保存作为训练集。 5.根据权利要求2所述的方法， 其特 征在于， 所述拟合模型采用以下 方式得到： 将所述标注训练用ROI在所述训练用视频图像帧上的标注显示位置和所述标注画面比 例进行拟合处 理， 得到所述拟合模型。 6.根据权利要求5所述的方法， 其特征在于， 所述将所述标注训练用ROI在所述训练用 视频图像 帧上的标注显示位置和所述标注画面比例进行拟合处理， 得到所述拟合模型， 包 括： 将各个所述标注画面比例作为已知量输入以目标显示位置为未知量的目标拟合方程， 迭代求解所述目标显示 位置， 其中所述目标拟合方程包括多 项式拟合系数； 当所述目标显示位置与所述标注训练用ROI在所述训练用视频图像帧上的标注显示位 置之间的偏差小于预设阈值时， 确定对应的多项式拟合系 数取值为 目标拟合系数取值， 以 所述目标拟合系数 取值确定的目标拟合方程作为拟合模型。 7.一种视频图像拼接装置， 其特 征在于， 包括： 第一输出模块， 用于根据车载雷达测距数据和第一预设模型获得感兴趣区域ROI与原 始视频图像帧的画面比例；权　利　要　求　书 1/2 页 2 CN 114331848 A 2第二输出模块， 用于根据所述画面比例和第二预设模型获得所述ROI在所述原始视频 图像帧上的显示 位置信息； 目标区域模块， 用于根据所述第 一输出模块得到的画面比例以及所述第 二输出模块得 到的显示 位置信息， 从所述原 始视频图像帧裁 剪得到目标ROI； 拼接模块， 用于将目标区域模块中各个裁 剪得到的所述目标ROI 拼接成目标视频图像。 8.根据权利要求7 所述的装置， 其特 征在于： 所述第一输出模块将车载雷达测距数据输入预先训练的浅层神经网络模型， 输出感兴 趣区域ROI与原 始视频图像帧的画面比例； 所述第二输出模块将所述画面比例输入拟合模型， 输出所述ROI在所述原始视频图像 帧上的显示 位置信息 。 9.根据权利要求8所述的装置， 其特 征在于， 所述装置还 包括： 模型训练模块， 用于采用训练集对所述浅层神经网络模型进行训练， 得到所述预先训 练的浅层神经网络模型， 其中所述训练集包括标注画面比例和训练用雷达测距数据， 所述 标注画面比例为标注训练用ROI与训练用视频图像帧的画面比例。 10.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 其上存储有可执行代码， 当所述可执行代码被所述处理器执行时， 使所述处理 器执行如权利要求1至 6中任意一项所述的方法。 11.一种计算机可读存储介质， 其上存储有可执行代码， 当所述可执行代码被电子设备 的处理器执行时， 使所述处 理器执行如权利要求1至 6中任意一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114331848 A 3