(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111653599.5 (22)申请日 2021.12.3 0 (71)申请人 北京城市网邻 信息技术有限公司 地址 100015 北京市朝阳区酒仙桥北路甲 10号院101号楼1-7层内1层10 3室 (72)发明人 不公告发明人 　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 刘戈　张爱 (51)Int.Cl. G06T 19/00(2011.01) G06T 19/20(2011.01) G06T 3/40(2006.01) G06T 5/00(2006.01) (54)发明名称 全景图像处理与生成方法、 装置、 电子设备 及存储介质 (57)摘要 本申请实施例提供一种全景图像处理与生 成方法、 装置、 电子设备及存储介质。 在本申请实 施例中， 结合实例分割模型， 模拟全景图像自动 拼接时产生的伪影 现象， 借助于该全 景图像生成 方案生成包含伪影区域的全景图像， 并以包含伪 影区域的全景图像和不包含伪影区域的全景图 像作为训练样本， 预先训练出用于伪影处理的伪 影处理模型； 这样， 在全 景图像拼接过程中， 首先 拼接得到包括伪影区域的全景图像， 之后将包括 伪影区域的全 景图像输入至伪影处理模型中， 定 位出该全景图像中的伪影区域并对该伪影区域 进行修正， 最终得到不包含伪影区域的全景图 像， 实现了对拼接图像中出现的伪影区域的自动 修复， 提高了图像的拼接质量。 权利要求书3页 说明书15页 附图3页 CN 114529695 A 2022.05.24 CN 114529695 A 1.一种全景图像处 理方法， 其特 征在于， 包括： 获取针对同一目标对象进行全景拍摄得到的多 张图像， 确定所述多 张图像中相邻的至 少一组图像对； 针对任一组图像对， 根据所述图像对中两张图像中的特征点， 生成所述图像对中两张 图像进行拼接时所需的目标配准矩阵； 根据各组图像对中两张图像之间的目标配准矩阵， 将各组图像对中两张图像进行拼 接， 得到包括伪影区域的第一全景图像； 将所述第一全景图像输入伪影处理模型中， 定位所述第 一全景图像中的伪 影区域并对 所述伪影区域进行修 正， 以得到不包 含伪影区域的第二全景图像。 2.根据权利要求1所述的方法， 其特征在于， 在将所述第 一全景图像输入伪 影处理模型 中之前， 还 包括： 获取不包含伪影区域的第 一样本全景图像， 并基于实例分割模型获取所述第 一样本全 景图像中存在的目标实例区域； 在指定的像素偏移范围内对所述目标实例区域进行像素偏移， 得到偏移后的实例区 域； 对所述偏移后的实例区域与所述第一样本全景图中对应的目标实例区域进行加权叠 加， 得到包 含伪影区域的第二样本全景图像； 根据所述第 一样本全景图像和所述第 二样本全景图像进行模型训练， 以得到能够定位 全景图像中的伪影区域并对其进行修复的伪影处 理模型。 3.根据权利要求2所述的方法， 其特征在于， 基于实例分割 模型获取所述第 一样本全景 图像中存在的目标实例区域， 包括： 基于实例分割 模型预测所述第 一样本全景图像中存在的至少一个实例区域； 从所述至 少一个实例区域中选择目标实例区域， 并从所述第一样本全景图中截取所述目标实例区 域。 4.根据权利要求3所述的方法， 其特征在于， 从所述至少一个实例区域中选择目标实例 区域， 包括： 根据所述至少一个实例区域的面积， 选择面积最大的N个实例区域作为所述目标实例 区域， N是正整数。 5.根据权利要求2所述的方法， 其特征在于， 对所述偏移后的实例区域与所述第 一样本 全景图中对应的目标实例区域进行加权叠加， 得到包含伪影区域的第二样本全景图像， 包 括： 确定所述偏移后的实例区域中各叠加像素点的权重和所述第一样本全景图中对应的 目标实例区域中各叠加像素点的权重， 其中， 所述偏移后的实例区域中各叠加像素点的权 重自所述偏移后的实例区域的边缘向中心逐渐增大， 所述第一样本全景图中对应的目标实 例区域中各叠加像素点的权重自所述偏移后的实例区域的边缘向中心的逐渐减小； 所述叠 加像素点是指所述偏移后的实例区域中和所述第一样本全景图中对应的目标实例区域中 在像素位置上重合且需要 进行叠加的像素点； 根据所述偏移后的实例区域中各叠加像素点的权重和所述第一样本全景图中对应的 目标实例区域中各叠加像素点的权重， 将所述偏移后的实例区域叠加到所述第一样本全景权　利　要　求　书 1/3 页 2 CN 114529695 A 2图中对应的目标实例区域之上， 得到包 含伪影区域的第二样本全景图像。 6.根据权利要求5所述的方法， 其特征在于， 确定所述偏移后的实例区域中各叠加像素 点的权重和所述第一样本全景图中对应的目标实例区域中各叠加像素点的权 重， 包括： 以所述偏移后的实例区域中各叠加像素点的权重自所述偏移后的实例区域的边缘向 中心逐渐增大， 所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重自所述 偏移后的实例区域的边缘向中心逐渐减小为依据， 采用高斯分布函数， 确定所述偏移后的 实例区域中各叠加像素点的权重和所述第一样本全景图中对应的目标实例区域中各叠加 像素点的权 重。 7.根据权利要求2 ‑6任一项所述的方法， 其特征在于， 在所述目标实例区域为多个的情 况下， 所述偏移后的实例区域为多个， 则对所述偏移后的实例区域与所述第一样本全景图 中对应的目标实例区域进行加权 叠加， 得到包 含伪影区域的第二样本全景图像， 包括： 将所述多个偏移后的实例区域中的每个实例区域单独与所述第一样本全景图中对应 的目标实例区域进行加权 叠加， 得到包 含伪影区域的第二样本全景图像； 和/或 将所述多个偏移后的实例区域中任意两个或两个以上的实例区域同时与所述第一样 本全景图中对应的目标实例区域进行加权 叠加， 得到包 含伪影区域的第二样本全景图像。 8.根据权利要求1 ‑6任一项所述的方法， 其特 征在于， 还 包括： 获取在得到所述第一全景图像或所述第二全景图像过程中产生的至少一种中间态数 据； 根据所述至少一种中间态数据， 获取所述第 一全景图像或所述第 二全景图像的拼接质 量。 9.根据权利要求8所述的方法， 其特征在于， 根据所述至少一种中间态数据， 获取所述 第一全景图像或所述第二全景图像的拼接质量， 包括： 将所述至少一种中间态数据输入质量评估模型中， 确定所述至少一种中间态数据对应 的权重分数， 并根据所述至少一种中间态数据的权重分数， 生成所述第一全景图像或所述 第二全景图像的拼接质量。 10.根据权利要求8所述的方法， 其特征在于， 根据 所述图像对中两张图像中的特征点， 生成所述图像对中两张图像进行拼接时所需的目标配准矩阵， 包括： 对所述图像对中两张图像中的特征点进行匹配， 得到所述图像对中两张图像之间存在 的多个初始配准矩阵； 采用随机采样一 致性算法， 从所述多个初始配准矩阵中选择至少一个候选配准矩阵； 计算所述至少一个候选配准矩阵对应的重投影误差， 并基于所述重投影误差从所述至 少一个候选配准矩阵中选择 出目标配准矩阵。 11.根据权利要求10所述的方法， 其特征在于， 所述中间态数据包括： 所述至少一组图 像对的数量、 所述至少一个候选配准矩阵的数量、 所述 目标配准矩阵的重投影误差以及图 像连通数中的至少一种； 所述图像连通数是指所述至少一组图像对中成功 拼接的图像对数 量。 12.根据权利要求1 ‑6任一项所述的方法， 其特征在于， 确定所述多张图像中相邻的至 少一组图像对， 包括：权　利　要　求　书 2/3 页 3 CN 114529695 A 3