(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111607069.7 (22)申请日 2021.12.27 (65)同一申请的已公布的文献号 申请公布号 CN 113989166 A (43)申请公布日 2022.01.28 (73)专利权人 贝壳技术有限公司 地址 300457 天津市滨 海新区经济技 术开 发区南港工业区综合服务区办公楼C 座一层112室05单元 (72)发明人 胡洋　饶童　周杰　李伟　 (74)专利代理 机构 北京思源智汇知识产权代理 有限公司 1 1657 代理人 毛丽琴 (51)Int.Cl. G06T 5/00(2006.01)(56)对比文件 CN 113112412 A,2021.07.13 CN 111161173 A,2020.0 5.15 CN 110197466 A,2019.09.0 3 CN 111161173 A,2020.0 5.15 CN 109443359 A,2019.0 3.08 WO 201513 6138 A1,2015.09.17 肖昆鹏.基 于特定角度鱼眼 图像校正的设计 与实现. 《中国优秀博硕士学位 论文全文数据库 (硕士)信息科技 辑》 .2018,(第4期), 审查员 杨欢 (54)发明名称 全景图的垂直矫正方法和装置、 电子 设备和 存储介质 (57)摘要 本公开实施例公开了一种全景图的垂直矫 正方法和装置、 电子设备和存储介质， 其中， 方法 包括： 获取待处理全景图； 对待处理全景图进行 直线段提取， 得到直线段集合； 直线段集合中每 条直线段与待处理全景图的当前垂直方向的夹 角小于预设角度； 分别将直线段集合中的每条直 线段映射到待处理全景图所在的单位球上， 以得 到目标点集合； 基于目标点集合和单位球的球 心， 确定赤道平面； 基于赤道平面和当前垂直方 向的单位向量， 确定垂直矫正矩阵； 利用垂直矫 正矩阵对待处理全景图进行垂直矫正得到目标 全景图。 本公开实施例提供的全 景图的垂直矫正 方法实现过程简单高效， 有助于提升全景图的垂 直矫正效率。 权利要求书3页 说明书15页 附图5页 CN 113989166 B 2022.03.15 CN 113989166 B 1.一种全景图的垂直 矫正方法， 其特 征在于， 包括： 获取待处 理全景图； 对所述待处理全景图进行直线段提取， 得到所述待处理全景图的直线段集合， 所述直 线段集合包括提取到的至少两个直线段； 所述直线段与所述待处理全景图的当前垂 直方向 的夹角小于预设角度； 分别获取所述直线段集合中的每条直线段在单位球上的投影点与所述单位球的球心 形成的平面的法向量， 并获取所述法向量归一化在所述单位球的球面上 的目标点， 得到目 标点集合， 所述目标点集合包括至少 两个目标点； 所述单位球为所述待处理全景图所在的 单位球； 基于所述目标点 集合和所述单位球的球心， 确定所述单位球的赤道 平面； 基于所述赤道 平面和所述当前垂直方向的单位向量， 确定垂直 矫正矩阵； 利用所述垂直 矫正矩阵对所述待处 理全景图进行垂直 矫正， 得到目标全景图。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述待处理全景图进行直线段提 取， 得到所述待处 理全景图的直线段集 合， 包括： 对所述待处 理全景图进行针孔投影， 获得多个 针孔图像； 分别针对所述多个针孔图像中的每个针孔图像进行直线段提取， 获得所述针孔图像的 直线段子集 合； 基于所述针孔图像的直线段子集 合， 得到所述待处 理全景图的直线段集 合。 3.根据权利要求1所述的方法， 其特征在于， 所述分别获取所述直线段集合中的每条直 线段在单位球上的投影点与所述单位球的球心形成的平面的法向量， 并获取所述法向量归 一化在所述单位球的球面上的目标点， 得到目标点 集合， 包括： 将所述每条直线段的两个端点投影到所述单位球， 获得所述每条直线段的第 一投影点 和第二投影点； 确定所述每条直线段的第一投影点， 第二投影点， 以及所述单位球的球心形成的平面 的法向量； 将所述平面的法向量进行归一化， 得到归一化后的法向量， 并将所述单位球的球面上 与所述归一 化后的法向量对应的点作为所述每条直线段的目标点； 基于所述每条直线段的目标点， 得到所述目标点 集合。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标点集合和所述单位球的 球心， 确定所述单位球的赤道 平面， 包括： 按照预设方式， 多次从所述目标点集合中选取两个目标点， 其中任意两次选取的两个 目标点中至少有一个目标点 不同； 分别针对每次选取的两个目标点： 基于所述两个目标点和所述单位球的球心构建一个 参考平面； 获取所述目标点集合中除所述两个目标点外的其他目标点到所述参考平面的距 离； 确定所述 其他目标点到所述 参考平面的距离小于第一预设阈值的其 他目标点的数量； 确定多次选取的两个目标点对应的多个参考平面中， 所述其他目标点的数量最大的参 考平面为所述赤道 平面。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标点集合和所述单位球的 球心， 确定所述单位球的赤道 平面， 包括：权　利　要　求　书 1/3 页 2 CN 113989166 B 2按照预设方式， 从所述目标点 集合中选取两个目标点； 基于所述两个目标点和所述单位球的球心构建一个参考平面； 获取所述目标点集合中 除所述两个目标点外的其他目标点到所述参考平 面的距离； 确定所述其他目标点到所述参 考平面的距离小于第一预设阈值的其 他目标点的数量； 确定所述 其他目标点的数量是否大于第二预设阈值； 若所述其他目标点的数量大于所述第二预设阈值， 确定所述参考平面为所述赤道平 面； 若所述其他目标点的数量不大于所述第二预设阈值， 执行所述按照预设方式， 从所述 目标点集合中选取两个目标点的操作， 以选取两个新的目标点， 其中， 所述两个新的目标点 与所述两个目标点中至少有一个目标点不同； 以所述两个新的目标点作为所述两个目标 点， 执行所述基于所述两个目标点和所述单位球的球心构建一个参 考平面的操作。 6.根据权利要求4或5所述的方法， 其特征在于， 所述获取所述目标点集合中除所述两 个目标点外的其 他目标点到所述 参考平面的距离之前， 包括： 确定所述 参考平面的法向量与所述待处 理全景图的当前垂直方向的单位向量的夹角； 确定所述夹角是否小于第三预设阈值； 若所述夹角小于所述第 三预设阈值， 执行所述获取所述目标点集合中除所述两个目标 点外的其 他目标点到所述 参考平面的距离的操作。 7.根据权利要求1所述的方法， 其特征在于， 所述基于所述赤道平面和所述当前垂直方 向的单位向量， 确定垂直 矫正矩阵， 包括： 确定所述赤道 平面的法向量； 将所述赤道平面的法向量和所述当前垂直方向的单位向量进行叉乘运算， 得到目标向 量； 将所述赤道平面的法向量和所述当前垂直方向的单位向量间点乘运算， 得到目标夹 角； 利用预设公式， 基于所述目标向量和所述目标夹角确定所述垂直 矫正矩阵。 8.一种全景图的垂直 矫正装置， 其特 征在于， 包括： 第一获取模块， 用于获取待处 理全景图； 提取模块， 用于对所述待处理全景图进行直线段提取， 得到所述待处理全景图的直线 段集合， 所述直线段集合包括提取到的至少 两个直线段； 所述直线段与所述待处理全景图 的当前垂直方向的夹角小于预设角度； 第二获取模块， 用于分别获取所述直线段集合中的每条直线段在单位球上的投影点与 所述单位球的球心形成的平面的法向量， 并获取所述法向量归一化在所述单位球的球面上 的目标点， 得到目标点集合， 所述目标点集合包括至少两个目标点； 所述单位球为所述待处 理全景图所在的单位球； 第一确定模块， 用于基于所述目标点集合和所述单位球的球心， 确定所述单位球的赤 道平面； 第二确定模块， 用于基于所述赤道平面和所述当前垂直方向的单位向量， 确定垂直矫 正矩阵； 得到模块， 用于利用所述垂直矫正矩阵对所述待处理全景图进行垂直矫正， 得到目标权　利　要　求　书 2/3 页 3 CN 113989166 B 3