(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111611548.6 (22)申请日 2021.12.27 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 宋维涛　张擎天　王涌天　刘越　 (74)专利代理 机构 北京理工大 学专利中心 11120 代理人 李微微 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/80(2017.01) G06T 5/00(2006.01) (54)发明名称 一种空气和水下两用360 °全景图像拼接方 法 (57)摘要 本发明提供了一种空气和水下两用360 °全 景图像拼接方法， 同时考虑了全 景镜头置于空气 和水下环 境中时， 全景图像坐标系与两个相机图 像传感器像素坐标系之间的对应关系， 根据对应 关系， 对两幅图像进行拼接， 可 以在多样化环境 中生成正确的360 °全景图像， 拓展了全景镜头的 使用场景； 通过将像高hi(θ)从简单的线性关系 修正为多项式形式， 可克服鱼眼镜头的畸变问 题， 使得拼接图像更加精确。 权利要求书2页 说明书6页 附图4页 CN 114298906 A 2022.04.08 CN 114298906 A 1.一种空气和水 下两用360°全景图像拼接方法， 其特 征在于， 包括： 第一步， 利用相机在的内部参数建立两个相机坐标系(xci,yci,zci)T与像素坐标系(xpi, ypi)T之间的对应关系： 其中i＝1,2分别表示相机1和相机2； pxi， pyi表示传感器像素在x和y方向的尺寸； (x0i, y0i)T表示传感器中心像素的像素坐标； hi( θ )表示各视场角 θ下对应的像高， 其为关于θ 的多 项式： hi( θ )＝f1θ +f2θ2+... (3) 根据全景镜头在空气中或水中的光学参数设计值， 得到多对( θ,hi( θ ))的对应值， 通过 多项式拟合方法， 得到多 项式系数f1， f2，…； 第二步， 基于两个相机的内部参数的初始值， 利用角点法 以及最小二乘法计算相机的 外部参数， 从而建立两个相机坐标系(xci,yci,zci)T与世界坐标系(XW,YW,ZW)T之间的对应关 系； 第三步， 建立球坐标系形式的3 60°全景坐标系； 第四步， 建立两个相机坐标系与3 60°全景坐标系之间的对应关系； 第五步， 根据第一步中相机的内参建立两个相机坐标系(xci,yci,zci)T与像素坐标系 (xpi,ypi)T之间的对 应关系， 建立两个相机图像传感器像素坐 标系与360 °全景坐标系之间的 对应关系； 第六步， 根据两个相机图像传感器像素坐标系与360 °全景坐标系之间的对应关系， 对 两幅大于180 °的图像进行拼接， 得到 360°全景图像。 2.如权利要求1所述的一种空气和水下两用360 °全景图像拼接方法， 其特征在于， 所述 第二步的对应关系为： 其中Ri， Ti为相机的外部参数， Ri为相机坐标系相对于世界坐标系的旋转矩阵， Ti为相机 坐标系相对于世界坐标系的平 移矩阵。 3.如权利要求2所述的一种空气和水下两用360 °全景图像拼接方法， 其特征在于， 所述 第四步中两个相机坐标系与3 60°全景坐标系之间的对应关系为：权　利　要　求　书 1/2 页 2 CN 114298906 A 24.如权利要求3所述的一种空气和水下两用360 °全景图像拼接方法， 其特征在于， 所述 第六步中， 拼接得到的全景图像各像素 灰度表示 为： 其中， 表示360°全景坐标系下图像像素灰度， I1(xp1,yp1)表示相机1图像像素 灰度， I2(xp2,yp2)表示为相机2图像灰度； 2Δ表示360 °全景图像中相机1图像与相机2图像视 场重叠部分。 5.如权利 要求1、 2、 3或4所述的一种空气和水下两用360 °全景图像拼接方法， 其特征在 于， 当两个相机在空气中时， 两者 为相对放置、 错 位放置或者 通过折返折 射棱镜组合。 6.如权利 要求1、 2、 3或4所述的一种空气和水下两用360 °全景图像拼接方法， 其特征在 于， 当两个相机在水中时， 两者 为相对放置或者 错位放置。权　利　要　求　书 2/2 页 3 CN 114298906 A 3