(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210950338.8 (22)申请日 2022.08.09 (71)申请人 七腾机器人有限公司 地址 401123 重庆市渝北区卉竹路2号7幢 21-1号 (72)发明人 朱冬　陈人和　李秋华　方向明　 宋雯　 (74)专利代理 机构 重庆西南 华渝专利代理有限 公司 50270 专利代理师 陈丽梅 (51)Int.Cl. B25J 19/02(2006.01) B25J 9/16(2006.01) G06T 7/11(2017.01) G06T 7/60(2017.01) (54)发明名称 一种基于深度视觉的楼梯测量方法、 系统及 四足机器人 (57)摘要 本发明属于机器人技术领域， 提供了一种基 于深度视觉的楼梯测量方法、 系统及四足机器 人， 其中一种基于深度视觉的楼梯测量方法包 括： 采集楼梯的RGB图像和深度图像； 对RGB图像 中楼梯的垂直面和/或水平面进行分割， 选取一 个垂直面和/或一个水平面建立外接矩形框； 在 垂直面的外接矩形框的上下边界线上选取相对 两点作为第一点对， 和/或， 在水平面的外接矩形 框的上下边界线上选取相对两点作为第二点对； 基于RGB图像和深度图像获取第一点对和/或第 二点对的欧式距离， 所述第一点对的欧式距离为 楼梯垂直面的高度， 第二点对的欧式距离为楼梯 水平面的宽度。 本发明解决了 现有技术中楼梯的 宽高测量过程存在干 扰、 精度低的问题。 权利要求书2页 说明书6页 附图5页 CN 115256470 A 2022.11.01 CN 115256470 A 1.一种基于深度视 觉的楼梯测量方法， 其特 征在于， 包括： 采集楼梯的RGB图像和深度图像； 对RGB图像中楼梯的垂直面和/或水平面进行分割， 选取一个垂直面和/或一个水平面 建立外接矩形框； 在垂直面的外接矩形框的上下边界线上选取相对两点作为第 一点对， 和/或， 在水平面 的外接矩形框的上 下边界线上选取相对两点作为第二 点对； 基于RGB图像和 深度图像获取第一点对和/或第 二点对的欧式距离， 所述第一点对的欧 式距离为楼梯垂直 面的高度， 第二 点对的欧式距离为楼梯水平面的宽度。 2.如权利要求1所述的一种基于深度视觉的楼梯测量方法， 其特征在于， 当第 一点对或 第二点对的深度值非0时， 基于RGB图像和深度图像获取第一 点对或第二 点对的欧式距离； 当第一点对的深度值为0时， 获取第 一点对连线上两个深度值非0的第 一参考点之间的 欧式距离， 基于第一 参考点对的欧式距离获取第一 点对的欧式距离； 或者， 当第二点对的深度值为0时， 获取第二点对连线上两个深度值非0的第二参考点 之间的欧式距离， 基于第二 参考点对的欧式距离获取第二 点对的欧式距离 。 3.如权利要求2所述的一种基于深度视觉的楼梯测量方法， 其特征在于， 基于第 一参考 点对的欧式距离获取第一点对的欧式距离的步骤具体为： 基于RGB图像获取第一参考点对 的平面坐标距离与第一点对的平面坐标距离之比， 将该比值定义为第一缩放比例， 基于第 一参考点对的欧氏距离和所述第一缩放比例获取第一 点对的欧式距离； 基于第二参考点对的欧式距离获取第二点对的欧式距离的步骤具体为： 基于RGB图像 获取第二参考点对的平面坐标距离与第二点对的平面坐标距离之比， 将该比值定义为第二 缩放比例， 基于第二 参考点对的欧氏距离和所述第二缩放比例获取第二 点对的欧式距离 。 4.如权利要求2或3所述的一种基于深度视觉的楼梯测量方法， 其特征在于， 第一参考 点对的获取步骤包括： 遍历第一点对连线 上的所有点， 选取第一点对连线 上深度值 非0的第 一点和最后一 点为第一参考点对； 第二参考点对的获取步骤包括： 遍历第二点对连线上的所有点， 选取第二点对连线上 深度值非0的第一 点和最后一 点为第二参考点对。 5.如权利要求1、 2或3所述的一种基于深度视觉的楼梯测量方法， 其特征在于， 第一点 对和/或第二 点对为外 接矩形框的上 下边界的中点。 6.如权利要求1、 2或3所述的一种基于深度视觉的楼梯测量方法， 其特征在于， 选取一 个水平面建立外接矩形框的具体步骤为： 选取离摄像头最近的完整的水平面建立外接矩形 框。 7.如权利 要求1、 2或3所述的一种基于深度视觉的楼梯测量方法， 其特征在于， 对RGB图 像中楼梯的垂 直面和/或水平面进 行分割的步骤 具体为： 利用图像 分割模型对RGB图像中的 垂直面和/或水平面进行分割， 图像分割模型由初始分割模型 经样本训练集训练而成。 8.如权利要求7所述的一种基于深度视觉的楼梯测量方法， 其特征在于： 样本训练集中 的样本数量 不低于500。 9.一种基于深度视觉的楼梯测量系统， 其特征在于， 使用了权利要求1 ‑8之一所述的一 种基于深度视 觉的楼梯测量方法， 该系统包括采集模块、 分割模块、 选取模块和计算模块： 采集模块用于获取楼梯的RGB图像与深度图像；权　利　要　求　书 1/2 页 2 CN 115256470 A 2分割模块用于对RGB图像中的垂直 面和/或水平面进行分割； 选取模块用于选取一个垂直面和/或一个水平面建立外接矩形框， 在垂直面和/或水平 面的外接矩形框的上 下边界线选取第一 点对和/或第二 点对； 计算模块用于根据RGB图像和深度图像获取第一 点对和/或第二 点对的欧式距离 。 10.一种四足机器人， 其特征在于， 包括了深度相机和控制器， 深度相机的镜头对准四 足机器人的正前方， 深度相机与控制器连接， 控制器接收到深度相机输出的RGB图像和深度 图像后按照权利要求1 ‑8之一所述的一种基于深度视觉的楼梯测量方法对楼梯参数进行测 量。权　利　要　求　书 2/2 页 3 CN 115256470 A 3