(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210260577.0 (22)申请日 2022.03.17 (65)同一申请的已公布的文献号 申请公布号 CN 114332383 A (43)申请公布日 2022.04.12 (73)专利权人 青岛市勘察测绘研究院 地址 266000 山东省青岛市 市北区山 东路 189号 (72)发明人 张志华　丁鹏辉　孙为晨　胡振彪　 牟雪松　王海银　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 孟令彩 (51)Int.Cl. G06T 17/00(2006.01)G06T 17/05(2011.01) H04N 5/232(2006.01) (56)对比文件 CN 110223380 B,2021.04.23 CN 110223380 B,2021.04.23 CN 112927299 A,2021.0 6.08 CN 113345084 A,2021.09.0 3 审查员 常津铭 (54)发明名称 一种基于全景视频的场景三维建模方法及 装置 (57)摘要 本发明涉及到智慧城市三维实景建模 领域， 具体涉及到一种基于全景视频的场景三维建模 方法及装置， 所述方法包括： 获取场景的空中全 景视频和地面全景视频， 以及相机的内定向参 数； 利用所述空中全景视频、 地面全景视频及相 机的内定向参数构建空中三维模型和地面三维 模型； 对所述空中三维模型和地面三维模型进行 融合处理得到所述场景的三维模 型。 本发明公开 的基于全景视频的场景三维建模 方法， 能够完整 建立场景的三维模型。 权利要求书3页 说明书5页 附图3页 CN 114332383 B 2022.06.28 CN 114332383 B 1.一种基于全景视频的场景三维建模方法， 其特 征在于， 包括： 基于全景相机获取场景的空中全景视频和地面全景视频， 以及所述全景相机的内定向 参数； 利用所述空中全景视频、 地面全景视频及全景相机的内定向参数构建空中三维模型和 地面三维模型； 对所述空中三维模型和地 面三维模型进行融合处 理得到所述场景的三维模型； 获取全景相机的内定向参数， 包括： 获取全景相机的内部参数及畸变系数； 获取全景相机的内部参数及畸变系数， 包括： 确定全景相机标定点， 根据全景相机标定点得到全景相机的共线条件方程， 利用最小 二乘法平差对所述共线条件方程进行求 解， 得到全景相机的内部参数； 构建全景相机成像模型， 利用所述全景相机成像模型得到所述全景相机标定点的全景 相机影像， 利用KB模型对所述全景相机影 像进行畸变处 理， 得到全景相机的畸变系数； 利用所述空中全景视频、 地面全景视频及全景相机的内定向参数构建空中三维模型和 地面三维模型， 包括： 对所述空中全景视频及地面全景视频按照预设抽帧规则进行抽帧处理， 得到抽帧后的 空中全景 数据和抽帧后的地 面全景数据； 利用所述抽帧后的空中全景数据、 抽帧后的地面全景数据及全景相机的内定向参数构 建空中三维模型和地 面三维模型； 利用所述抽帧后的空中全景数据、 抽帧后的地面全景数据及全景相机的内定向参数构 建空中三维模型和地 面三维模型， 包括： 将所述抽帧后的空中全景数据及所述全景相机的内定向参数输入第一预设三维模型 成像系统， 得到空中三维模型； 将所述抽帧后的地面全景数据及所述全景相机的内定向参数输入第二预设三维模型 成像系统， 得到地 面三维模型； 其中， 第一预设三维模型成像系 统和第二预设三维模型成像系统均为ORB ‑SLAM3系统 和实景三维建模软件Co ntextCapture。 2.根据权利要求1所述的基于全景视频的场景三维建模方法， 其特征在于， 对所述空中 三维模型和地 面三维模型进行融合处 理得到所述场景的三维模型， 包括： 将所述空中三维模型和地面三维模型放置于同一坐标系下， 得到位于同一坐标系下的 三维模型； 根据所述位于同一坐标系下的三维模型确定所述空中三维模型与所述地面三维模型 间的重叠区域； 对所述重 叠区域进行平 滑融合处 理， 得到所述场景的三维模型。 3.根据权利要求2所述的基于全景视频的场景三维建模方法， 其特征在于， 将所述空中 三维模型和地 面三维模型放置 于同一坐标系下， 包括： 利用四点法得到将所述地面三维模型转换至所述空中三维模型的坐标系下的初始转 换矩阵； 利用迭代最近点法得到将所述地面三维模型转换至所述空中三维模型的坐标系下的权　利　要　求　书 1/3 页 2 CN 114332383 B 2二次转换矩阵； 利用所述初始转换矩阵和所述二次转换矩阵将所述地面三维模型转换至所述空中三 维模型的坐标系下。 4.根据权利要求2所述的基于全景视频的场景三维建模方法， 其特征在于， 根据 所述位 于同一坐标系下的三 维模型确定所述空中三 维模型与所述地面三 维模型间的重叠区域， 包 括： 利用带约束 的Delaunay三角剖分算法对所述位于 同一坐标系下的三维模型进行三角 构网， 确定所述空中三维模型与所述地面三维模型间相交的三角顶点， 对所述三角顶点进 行简化融合， 得到 重叠区域。 5.根据权利要求1所述的基于全景视频的场景三维建模方法， 其特征在于， 获取场景的 空中全景视频， 包括： 获取场景 预设高度范围内的全景视频。 6.一种基于全景视频的场景三维建模装置， 其特征在于， 包括数据获取模块、 数据处理 模块及模型融合模块； 所述数据获取模块， 用于基于全景相机获取场景的空中全景视频和地面全景视频， 以 及全景相机的内定向参数； 所述数据处理模块， 用于利用所述空中全景视频、 地面全景视频及全景相机的内定向 参数构建空中三维模型和地 面三维模型； 所述模型融合模块， 用于对所述空中三维模型和地面三维模型进行融合处理得到所述 场景的三维模型； 获取全景相机的内定向参数， 包括： 获取全景相机的内部参数及畸变系数； 获取全景相机的内部参数及畸变系数， 包括： 确定全景相机标定点， 根据全景相机标定点得到全景相机的共线条件方程， 利用最小 二乘法平差对所述共线条件方程进行求 解， 得到全景相机的内部参数； 构建全景相机成像模型， 利用所述全景相机成像模型得到所述全景相机标定点的全景 相机影像， 利用KB模型对所述全景相机影 像进行畸变处 理， 得到全景相机的畸变系数； 利用所述空中全景视频、 地面全景视频及全景相机的内定向参数构建空中三维模型和 地面三维模型， 包括： 对所述空中全景视频及地面全景视频按照预设抽帧规则进行抽帧处理， 得到抽帧后的 空中全景 数据和抽帧后的地 面全景数据； 利用所述抽帧后的空中全景数据、 抽帧后的地面全景数据及全景相机的内定向参数构 建空中三维模型和地 面三维模型； 利用所述抽帧后的空中全景数据、 抽帧后的地面全景数据及全景相机的内定向参数构 建空中三维模型和地 面三维模型， 包括： 将所述抽帧后的空中全景数据及所述全景相机的内定向参数输入第一预设三维模型 成像系统， 得到空中三维模型； 将所述抽帧后的地面全景数据及所述全景相机的内定向参数输入第二预设三维模型 成像系统， 得到地 面三维模型；权　利　要　求　书 2/3 页 3 CN 114332383 B 3