(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111634998.7 (22)申请日 2021.12.27 (71)申请人 杭州环峻科技有限公司 地址 310000 浙江省杭州市余杭区余杭街 道文一西路1818-2号5 -906室 (72)发明人 黄昊宇　王之丰　冯逸鹤　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 专利代理师 王日精 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/62(2017.01) G06T 7/33(2017.01) G06T 5/00(2006.01) G06T 5/40(2006.01) (54)发明名称 一种基于全景图像的相机位姿估计方法及 系统 (57)摘要 本发明属于视觉SLAM处理技术领域， 涉及一 种基于全景图像的相机位姿估计方法及系统， 其 相机位姿估计方法， 包括以下步骤： S1、 采集全景 图像， 并对全景图像进行图像预处理； S2、 对图像 预处理之后的全 景图像进行畸变校正， 得到校正 图像； S3、 采用ORB特征提取算 法对校正图像进行 特征点提取并进行描述子计算； S4、 对相邻两帧 图像进行特征点匹配， 并基于匹配后的特征点分 别在两个像平面上成像位置的半径以及半径之 差对重投影误差附加权重以构建损失函数， 通过 使损失函数最小化以对相机位姿进行估计。 本发 明对损失函数的构建， 考虑每个匹配特征点对的 权重不同， 对原始重投影误差附加权重构建损失 函数， 能够有效提升相机位姿 估计的精度。 权利要求书3页 说明书12页 附图4页 CN 114549634 A 2022.05.27 CN 114549634 A 1.一种基于全景图像的相机位姿估计方法， 其特 征在于， 包括以下步骤： S1、 采集全景图像， 并对 全景图像进行图像预处 理； S2、 对图像预处 理之后的全景图像进行畸变校正， 得到校正图像； S3、 采用ORB特 征提取算法对校正图像进行 特征点提取并进行描述子计算； S4、 对相邻两帧图像进行特征点匹配， 并基于匹配后的特征点分别在两个像平面上成 像位置的半径以及半径之差对重投影误差附加权重以构建损失函数， 通过使损失函数最小 化以对相机位姿 进行估计。 2.根据权利要求1所述的一种基于全景图像的相机位姿估计方法， 其特征在于， 所述步 骤S1中， 图像预处 理为直方图均衡化。 3.根据权利要求1所述的一种基于全景图像的相机位姿估计方法， 其特征在于， 所述步 骤S2中， 畸变校正的过程包括： 设P是坐标为(x， y， z)T的三维空间点， U是P在像平面上的投影， 坐标为(u， v)T， (x， y)T与 (u， v)T成正比， 符合如下关系： 其中， fb( ρ )＝α0+α2·ρ2+…+αN·ρN； α0、 α2、…、 αN为多项式系数； 利用反向投影函数π‑1(u)， 图像坐标到对应的物点 三维坐标的映射关系为： P＝ π‑1(U)＝ λ‑1·g(u) 相应地， 投影函数为： U＝ π(P)＝fp( θ )·h(P) 其中， fp( θ )＝β0+β2·θ2+…+βN·θN 得到标定系数fb( ρ )和fp( θ )中的一个， 即可得到投影函数或反投影函数， 以实现全景图 像的畸变校正。 4.根据权利要求1所述的一种基于全景图像的相机位姿估计方法， 其特征在于， 所述步 骤S3中， 特 征点提取的过程包括： 设校正图像的边缘像素点的搜索半径为2， 实际半径为R， 两者乘积为2R； 相应地， 对于 校正图像中其他像素点， 则其搜索半径为 其中， r′为像素点的实际半径； 实际半径定义 为像素点至图像中心点的距离； 由于全景环带相机中央存在实际半径为r0的盲区， 因此最小实际半径对应的搜索半径权　利　要　求　书 1/3 页 2 CN 114549634 A 2为 向下取整对应最大搜索半径为 则用于比较的像素点个数为 4· (rmax+1)； 相应地， 对于其 他搜索半径均进行向下 取整； 若搜索半径之内用于比较的像素点个数少于4 ·(rmax+1)， 则利用线性插值插入目标像 素点， 使得搜索半径之内用于比较的像素点个数为 4·(rmax+1)个； 分别将各像素点作 为中心点以与 其周围的4 ·(rmax+1)个用于比较的像素点进行比较； 若连续3·(rmax+1)个用于比较的像素点与中心 点的像素差的绝对值均大于设定阈值， 则相 应的中心点 提取为特 征点。 5.根据权利要求4所述的一种基于全景图像的相机位姿估计方法， 其特征在于， 所述步 骤S3中， 特 征点提取之后， 还 采用灰度质心法对特 征点添加尺度和旋转的描述。 6.根据权利要求4所述的一种基于全景图像的相机位姿估计方法， 其特征在于， 所述步 骤S3中， 线性插值插 入的目标像素点的像素值 为其左、 右两像素点的像素值的均值。 7.根据权利要求4或5所述的一种基于全景图像的相机位姿估计方法， 其特征在于， 所 述步骤S3中， 特 征点的描述子计算， 包括： 设特征点的实际半径为r， 以特征点为中心， 在搜索半径为2的圆周上分别选取上、 下、 左、 右、 左 上、 右上、 左 下、 右下八个角点， 从每个角点开始， 以 为步长， 根据角点位 置以及步长沿角点至图像中心点的射线方向取八个像素点进行像素值比较， 以进行BRIEF 描述子计算； 以此类推， 依次在搜索半径为3、 4、 5时， 执行上述BRIEF描述子计算过程， 则特征点对应 256组二进制串， 作为特 征点的描述子 。 8.根据权利要求7所述的一种基于全景图像的相机位姿估计方法， 其特征在于， 所述步 骤S4中， 特 征点匹配包括： 对相邻两帧图像逐个特征点进行描述子的汉明距离计算， 选择汉明距离小于目标阈值 的特征点作为匹配特 征点。 9.根据权利要求8所述的一种基于全景图像的相机位姿估计方法， 其特征在于， 所述步 骤S4中， 损失函数的构建， 包括： 以灰度差值得到的原始重投影误差为 其中， 和 为匹配的第i个 特征点对分别在相邻两帧图像中的亮度值， f( ·)表示对亮度差的函数运算， n为匹配的特 征点对的数量； 设匹配的第i个特 征点对在相邻两帧图像的实际半径分别为 和 则权重因子为： 相应地， 对原 始重投影误差附加权 重得到损失函数为： 权　利　要　求　书 2/3 页 3 CN 114549634 A 3