(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210499659.0 (22)申请日 2022.05.09 (71)申请人 北京大学 地址 100871 北京市海淀区颐和园路5号 申请人 北京龙软科技股份有限公司 (72)发明人 毛善君　樊迎博　李犇　陈华州　 李鑫超　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苏培华 (51)Int.Cl. H04N 13/156(2018.01) H04N 7/18(2006.01) H04N 5/232(2006.01) G06T 5/50(2006.01)G06T 19/00(2011.01) G06V 20/40(2022.01) (54)发明名称 基于全景视频技术的真实地理空间场景实 时构建方法 (57)摘要 本发明提出一种基于全景视频技术的真实 地理空间场景 实时构建方法， 包括在场景内安装 配有姿态传感器、 棱镜、 麦克风和远程连接接口 的若干720 °全景摄像机以及5G等高性能传输和 计算处理设备。 利用测量机器人和姿态传感器对 摄像机进行精确地理坐标和姿态标定； 摄像机的 安装可选 择固定或架线式， 固定式将同一时刻若 干相邻视频进行正射校正和拼接； 架线式将摄像 机安装到引导装置上并可局部独立快速运动摄 影， 并对相邻摄像机视频实时拼接； 将满足延迟 时间的视频、 地理坐标和环境音融合， 形成场景 视频流， 使操作人员体验到 “身临其境 ”的感觉， 可对设备远程实时操控。 为高危场景空间内， 如 矿井工作面、 危化工厂、 核电站等的少人或无人 生产提供技 术保障。 权利要求书4页 说明书14页 附图4页 CN 115065816 A 2022.09.16 CN 115065816 A 1.一种基于全景视频技术的真实地理空间场景实时构建方法， 其特征在于， 所述真实 地理空间场景实时构建方法包括： 高性能计算设备接收来自于多台全景摄像机采集的图像数据， 并组合成图像数据序 列， 所述多台全景摄像机受控于远程控制指令， 所述多台全景摄像机采用固定式或架线式 安装于真实地理 空间场景内， 并在所述真实地理 空间场景内设置标记点； 所述高性 能计算设备接收场景内每 台全景摄像机的三维地理坐标， 所述三维地理坐标 由测量机器人利用安装于每台全景摄 像机上的棱镜获取后发送； 所述高性 能计算设备接收来自于姿态传感器的外方位参数， 所述每台全景摄像机上均 安装有姿态传感器， 所述姿态传感器用于实时标定自身 所在全景摄像机的方位角、 俯仰角、 横滚角， 提供摄 影测量时的外方位 参数， 便于后续全景图像的正 射几何校正、 拼接和优化； 所述高性 能计算设备接收场景环境音， 所述场景环境音由安装于真实地理空间场景中 的多个音频采集设备获取并发送； 所述高性能计算设备根据不同的安装方式、 所述图像数据序列、 所述标记点、 所述外方 位参数和所述三 维地理坐标， 对所述图像数据序列进 行拼接缝合以及正射几何校正或者畸 变校正， 得到正射图像或者全景图像序列， 其中， 不同的安装方式采用不同的拼接优化方 法， 所述正射图像为基于固定式安装方式得到的图像序列进 行拼接缝合和正射几何校正后 得到， 所述全景图像序列为基于架线式安装方式得到的图像序列进行拼接缝合和畸变校正 后得到； 所述高性能设备将合成的正射图像或全景图像序列与所述场景环境音和所述三维地 理坐标进行增强现实优化， 得到位于地理坐标框架中的具有增强现实、 空间音频以及地理 坐标的真实地理 空间场景视频流； 所述高性 能计算设备将所述真实地理空间场景视频流发送至输出控制设备中， 以使得 所述输出控制设备实时显示所述真实地理空间场景， 并使得操作人员通过所述输出控制设 备发送所述远程控制指令， 远程实时控制全部或者部分全景摄 像机进行摄 像或运动。 2.根据权利要求1所述的真实地理空间场景构建方法， 其特征在于， 所述标记点包括： 多个第一标记点和多个第二标记点； 所述多台全景摄像机采用固定式或架线式安装于 真实 地理空间场景内， 并在所述真实地理 空间场景内设置标记点， 包括： 若所述多台全景摄像机采用固定 式安装于所述真实地理空间场景内， 则所述多台全景 摄像机在所述真实地理空间场景内固定均匀安装， 其安装间隔距离根据其采集的图像精度 自行设定， 在确保每台全景摄像机的摄影覆盖区域满足实际场景 的应用需求的同时， 保证 相邻图像重合度大于某一阈值， 并在所述多台全景摄像机的重叠视场中分别设置多个第一 标记点； 若所述多台全景摄像机采用架线式安装于所述真实地理空间场景内， 则所述多台全景 摄像机分别安装于引导装置上， 所述引导装置分成若干局部线段， 所述每个局部线段上安 装有至少一台全景摄像机， 所述每个局部线段均可独立带动其上安装的全景摄像机运动， 并根据所述多台全景摄像机的移动速度与实时性需求， 在所述真实地理空间场景内设置多 个第二标记点； 所述每个局部线段的两端均设有防撞环， 以防止所述每个局部线段上安装的至少一台 全景摄像机在运动时脱轨， 且每台全景摄像机的摄影速度与其运动速度匹配， 以使得所述权　利　要　求　书 1/4 页 2 CN 115065816 A 2图像数据序列内的重叠度足以完成大范围的拼接， 以及保障真实地理空间场景重建时图像 拼接和融合的实时性。 3.根据权利要求2所述的真实地理空间场景构建方法， 其特征在于， 所述高性 能计算设 备接收来自于多台全景摄 像机采集的图像数据， 并组合成图像数据 序列， 包括： 根据所述多台全景摄 像机采用安装方式的不同， 其采集所述图像数据的方式不同； 若所述多台全景摄像机采用所述固定式安装， 则根据目标范围的需求， 所述高性能计 算设备转 发所述远程控制指令， 控制所述多台全景摄像机各自采集所述目标范围的实时全 景图像， 并组合成实时全景图像数据 序列； 若所述多台全景摄像机采用所述架线式安装， 则根据所述目标范围的需求， 所述高性 能计算设备转发所述远程控制指令， 利用所述引导装置控制所述多台全景摄像机的运动方 式， 所述运动方式包括： 每 个全景摄 像机独立 运动， 或者若干全景摄 像机同步 运动； 若控制所述每个全景摄像机同步运动， 则所述高性 能计算设备接收来自于所述每个全 景摄像机各自采集的所述目标范围和非目标范围的动态图像数据， 并组合成动态图像数据 序列； 若控制所述若干全景摄像机独立运动， 则所述高性 能计算设备接收来自于所述若干全 景摄像机各自采集的所述目标范围的动态图像数据， 以及接收来自于其它未运动全景摄像 机各自采集的所述非目标 范围的静态图像数据， 并组合成动态图像数据 序列。 4.根据权利要求1所述的真实地理空间场景构建方法， 其特征在于， 所述测量机器人获 取所述棱镜的三 维地理坐标后， 利用所述棱镜与自身 所在全景摄像机的镜头中心的相对偏 移量， 确定每台全景摄像机的三维地理坐标； 所述测 量机器人是一种用于 自动定位 目标棱 镜的精密仪器， 其核心部件包括陀螺寻北仪和智能全站仪， 其中陀螺寻北仪寻北完成测量 机器人的定向， 智能全站仪在完成定向的基础上， 通过自动识别和跟踪棱镜， 同时测量自身 与目标棱镜之间的水平角、 垂直角和三维距离， 实时输出目标棱镜的三维地理坐标； 其中， 所述三维地理坐标包括： 每台全景摄像机运动时的实时三维地理坐标， 和每 台全 景摄像机静止时的固定三维地理坐标， 所述三维地理坐标作为摄影测量所需的外方位参 数， 用于后续的图像正 射几何校正、 拼接缝合以及增强现实优化。 5.根据权利要求1所述的真实地理空间场景构建方法， 其特征在于， 所述高性 能计算设 备接收来自于姿态传感器的外方位参数， 所述每台全景摄像机上均安装有姿态传感器， 所 述姿态传感器是一种高性能三 维运动姿态测量系统， 其包含三轴陀螺仪、 三轴加速度计、 三 轴电子罗盘等辅助运动传感器， 所述姿态传感器用于实时标定自身所在全 景摄像机的方位 角、 俯仰角、 横滚角， 提供摄影测量时的外方位参数， 便于后续全景图像的正射几何校正、 拼 接和优化。 6.根据权利要求1所述的真实地理空间场景构建方法， 其特征在于， 所述多个音频采集 设备分散安装于所述真实地理空间场景中， 且具有唯一标号， 以使得所述多个音频采集设 备全覆盖采集所述真实地理 空间场景的场景环境音； 所述多个音频采集设备发送自身采集的场景环境音时， 携带自身的唯一标号， 以使得 后续所述操作人员通过 所述输出控制设备听到声 音并感知声 音的发出位置 。 7.根据权利要求3所述的真实地理空间场景构建方法， 其特征在于， 所述高性 能计算设 备根据不同的安装方式、 所述图像数据序列、 所述标记点、 所述外方位参数和所述三 维地理权　利　要　求　书 2/4 页 3 CN 115065816 A 3