(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111674426.1 (22)申请日 2021.12.2 9 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 王越　焦艳梅　熊蓉　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 代理人 邱启旺 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06K 9/62(2022.01) G06V 10/74(2022.01) (54)发明名称 基于平面运动 的机器人视觉特征匹配和定 位方法及装置 (57)摘要 本发明公开了一种基于平面运动 的机器人 视觉特征匹配和定位方法及装置， 利用轮式移动 机器人的平面运动特性来提高特征匹配和位姿 估计的鲁棒性， 从而提高视觉定位的端到端系统 性能。 对于特征匹配， 本发明分析了图像外观的 局部属性， 结合平面运动特性提出了一种增强策 略来抑制由视角变化引起的变化。 与基于学习的 特征提取相结合， 所提出的技术可以增加相当数 量的特征匹配， 并获得符合仿射不变性的特征匹 配集合。 对于位姿估计， 本发明提出了一个基于 两点的最小模 型， 利用有深度的地图特征点或无 深度的特征点， 从而充分利用稠密特征匹配。 嵌 入该模型， RANSAC 可以从离群值比例较高的特征 匹配集合中识别更多的离群值， 从而实现更高鲁 棒性的视觉定位。 权利要求书2页 说明书7页 附图1页 CN 114429487 A 2022.05.03 CN 114429487 A 1.一种基于平面运动特性的机器人视觉特征匹配和定位方法， 其特征在于， 包括以下 步骤： (1)获取当前室内场景的先验地图， 该地图通过采集机器人面向室内墙壁的图像集合 构成， 且包含图像上检测到的二维点特 征， 部分二维点特 征有对应的三维点特 征。 (2)利用机器人的平面运动特性， 对机器人当前相机图像进行仿射增强变换， 将增强后 的图像进行二维点特征 的检测， 并与所述先验三维地图中保存的二维点特征进行匹配， 得 到符合仿射不变特性的点特征集合， 其中包括二维到二维点特征， 也包括二维到三维点特 征。 (3)根据步骤(2)匹配到的点特征集合， 结合平面运动特性， 将机器人位姿求解问题降 维并选用一对二维到二维点特 征加一对二维到三维点特 征进行求 解。 2.如权利要求1所述基于平面运动特性的机器人视觉特征匹配和定位方法， 其特征在 于， 步骤(1)中： 采集地图图像时只需采集 正对墙壁的图像， 因此地图容 量小。 所述先验地图包含二维点特征， 其中部分二维点特征有对应的三维点特征， 因为地图 构建的过程中不会保证所有二维点特 征都能重建出对应的三维点特 征。 3.如权利要求1所述基于平面运动特性的机器人视觉特征匹配和定位方法， 其特征在 于， 步骤(2)中， 所述机器人的平面运动特性是指在平面运动的前提下， 机器人的运动自由 度会受一定限制， 具体如下： 基于相机的成像平面是垂直于地面的， 那么地图图像r相对于当前图像q的相对位姿中 的未知量 可以表示为： 沿着坐 标轴x和坐 标轴z方向的平移tx、 tz， 以及绕着坐 标轴y的旋转量 θ 。 那么， 相机坐标系r相对于相机坐标系q的变换矩阵可以表示 为： 因此， 平面运动下的变换矩阵的自由度 是减少的， 其中旋转矩阵只有一个自由度， 平移 矩阵有两个。 4.如权利要求3所述基于平面运动特性的机器人视觉特征匹配和定位方法， 其特征在 于， 步骤(2)中， 所述对机器人当前相机图像进行仿射增强变换， 具体为： 根据相机仿射模型和机器人平面运动特性， 进行特征匹配， 获得图像之间符合仿射不 变性的点特 征集合。 其中： 平面运动下， 正 面视图和斜 面视图之间的仿射模型中， 仿射矩阵A可表示 为： 其中， τ＝1/cosγ＝1/cosθ， τ＞1。 γ为纬度角， τ为绝对倾斜角； γ表示相机和物体平 面之间沿光轴的距离 。 两个相机获得的斜视图之间的仿射模型中， 仿射矩阵A12可表示为： 其中， τ1、 τ2为相机1、 2对应的绝对倾斜角， λ1、 λ2表示相机1、 2和 物体平面之间沿光轴的权　利　要　求　书 1/2 页 2 CN 114429487 A 2距离。 5.如权利要求3所述基于平面运动特性的机器人视觉特征匹配和定位方法， 其特征在 于， 步骤(3)中， 结合平面运动特性， 将 机器人位姿求解问题降维， 并选用一对二 维到二维点 特征， 加一对二维到三维点特 征， 进行求 解； 具体如下： (3.1)根据一对二维到三维点特征匹配对未知机器人位姿进行约束。 给定当前图像q中 检测到的特征点的二维坐标为 其对应图像r中的三维点 为P1＝[x1,y1,z1]T。 结合机器人的平面 运动特性， 根据投影模型 可得： 其中， R1是旋转矩阵R的第1行， R2是旋转矩阵R的第2行， R3是旋转矩阵R的第3行， 并且K 是相机的内参。 根据上式(1)可推导得两个约束为： (3.2)根据一对二维到二维点特征匹配对未知机器人位姿进行约束。 给定图像q中检测 到的另一个特 征点的二维坐标p2和图像r中检测到的对应特 征点p3， 那么根据对极约束 有： p2T[|t|]×Rp3＝0    (4) 其中， [·]×表示反对称矩阵。 联立上式(4)以及上述通过二维到三维点特征得到的两 个约束(2) ‑(3)， 便可以求得机器人的位姿中的未知量。 6.一种基于平面运动特性的机器人视觉特征匹配和定位装置， 其特征在于， 用于实现 权利要求1～5中任一项所述基于平面 运动特性的机器人视 觉特征匹配和定位方法， 包括： 获取模块， 用于获取当前室内场景的先验地图， 所述先验地图是事先构建的； 匹配模块， 用于根据当前图像 中测量到的二维点特征， 与所述先验地图的二维点特征， 进行匹配， 得到多对二维到二维的点特 征和二维到三维的点特 征匹配对； 计算模块， 用于根据匹配模块获得的点特征匹配， 对将待求位姿进行降维和求解， 求得 精确的估计结果。权　利　要　求　书 2/2 页 3 CN 114429487 A 3