(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111593508.3 (22)申请日 2021.12.24 (71)申请人 湖南视比特机 器人有限公司 地址 410000 湖南省长 沙市高新 开发区岳 麓西大道58 8号芯城科技园2栋15 05室 (72)发明人 卿黎明　李婷　 (74)专利代理 机构 长沙德恒三权知识产权代理 事务所(普通 合伙) 43229 代理人 徐仰贵 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 5/00(2006.01) (54)发明名称 抓取装置的定位方法和系统 (57)摘要 本发明涉及一种抓取装置的定位方法和系 统， 一方面在实时图像的引导下， 利用匹配模型 与检测模型的位差关系， 纠正实时图像中匹配模 型相对于模板图像中检测模型的偏 差， 能够确保 抓取装置适应工作环境改变， 准确无误的抓取待 抓取工件， 有效解决抓取失败、 漏抓、 错抓等问 题； 另一方面， 根据抓取装置抓取检测模型的位 置、 和匹配模型与检测模型的位差关系， 定位抓 取装置抓取待抓取工件的位置， 准确计算出抓取 点的位姿、 角度， 精确抓取待 抓取工件， 无需将图 像中的位置在此转换至抓取装置坐标系下， 关系 转换简单快捷， 且精确度高， 对提高工件的生产 安装效率和精度具有重大意 义。 权利要求书2页 说明书8页 附图5页 CN 113989278 A 2022.01.28 CN 113989278 A 1.一种抓取装置的定位方法， 其特 征在于， 包括： S1： 采集待抓取工件的模板图像； S2： 采集待抓取工件的实时图像； S3： 在所述模板图像 中提取检测模型， 检测所述实时图像 中， 与所述检测模型相匹配的 匹配模型； S4： 根据所述抓取装置抓取所述检测模型的位置、 和所述匹配模型与所述检测模型的 位差关系， 定位所述 抓取装置抓取 所述待抓取工件的位置 。 2.根据权利要求1所述的定位方法， 其特征在于， 步骤S4中， 采用公式 （1） ， 定位所述抓 取装置抓取 所述待抓取工件的位置； （1） 其中， R1表示所述抓取装置抓取所述检测模型的位置， T表示所述匹配模型与所述检测 模型的位差转换矩阵， R2表示所述 抓取装置抓取 所述待抓取工件的位置 。 3.根据权利要求2所述的定位方法， 其特征在于， 采用公式 （2） ， 确定所述匹配模型与所 述检测模型的位差转换矩阵； （2） 其中， Rp1表示采集所述模板图像的采集点， E1表示采集所述模板图像的相机外参， 用于 将点云中模板图像的位姿转换为抓取装置坐标系下的位姿， M1表示采集所述模板图像的转 换矩阵； Rp2表示采集所述实时图像的采集点， E2表示采集所述 实时图像的相机外参， 用于将 点云中实时图像的位姿转换为抓取装置坐标系下的位姿， M2表示采集所述实时图像的转换 矩阵。 4.根据权利要求1 ‑3任意一项所述的定位方法， 其特 征在于， 步骤S3， 包括： S31： 提取 所述模板图像和所述实时图像的边 缘特征； S32： 在所述模板图像的边缘特征中， 选定至少一个边缘特征所在区域的局部图像为所 述检测模型； S33： 在所述实时图像的边缘特征中， 选定与所述检测模型相匹配的边缘特征所在区域 的局部图像为所述匹配模型。 5.根据权利要求 4所述的定位方法， 其特 征在于， 步骤S31， 包括： S311： 对所述模板图像和所述实时图像， 分别进行平滑降噪预处理， 得到预处理后的模 板图像和预处 理后的实时图像； S312： 构造边缘检测算子， 分别对预处理后的模板图像和预处理后的实时图像进行边 缘检测， 确定模板图像的边 缘区块和实时图像的边 缘区块； S313： 通过阈值二值化处理， 分别连接模板图像的边缘区块和实时图像的边缘区块， 得 到模板图像的边 缘特征和实时图像的边 缘特征。 6.一种抓取装置的定位系统， 其特 征在于， 包括： 图像采集模块， 用于采集待抓取工件的模板图像， 和待抓取工件的实时图像； 图像识别模块， 与所述图像采集模块连接， 用于在所述模板图像中提取检测模型， 检测权　利　要　求　书 1/2 页 2 CN 113989278 A 2所述实时图像中， 与所述检测模型相匹配的匹配模型； 定位模块， 与所述图像识别模块连接， 用于根据所述抓取装置抓取所述检测模型的位 置、 和所述匹配模型与所述检测模型 的位差关系， 定位所述抓取装置抓取所述待抓取工件 的位置。 7.根据权利要求6所述的定位系统， 其特征在于， 所述定位模块， 采用公式 （1） ， 定位所 述抓取装置抓取 所述待抓取工件的位置； （1） 其中， R1表示所述抓取装置抓取所述检测模型的位置， T表示所述匹配模型与所述检测 模型的位差转换矩阵， R2表示所述 抓取装置抓取 所述待抓取工件的位置 。 8.根据权利要求7所述的定位系统， 其特征在于， 采用公式 （2） ， 确定所述匹配模型与所 述检测模型的位差转换矩阵； （2） 其中， Rp1表示采集所述模板图像的采集点， E1表示采集所述模板图像的相机外参， 用于 将点云中模板图像的位姿转换为抓取装置坐标系下的位姿， M1表示采集所述模板图像的转 换矩阵； Rp2表示采集所述实时图像的采集点， E2表示采集所述 实时图像的相机外参， 用于将 点云中实时图像的位姿转换为抓取装置坐标系下的位姿， M2表示采集所述实时图像的转换 矩阵。 9.根据权利要求6 ‑8任意一项所述的定位系统， 其特 征在于， 所述图像识别模块， 包括： 边缘特征提取单元， 用于提取 所述模板图像和所述实时图像的边 缘特征； 检测模型确定单元， 与所述边缘特征提取单元连接， 用于在所述模板 图像的边缘特征 中， 选定至少一个边 缘特征所在区域的局部图像为所述检测模型； 匹配模型确定单元， 与所述边缘特征提取单元和所述检测模型确定单元连接， 用于在 所述实时图像的边缘特征中， 选定与所述检测模型相匹配的边缘特征所在区域的局部图像 为所述匹配模型。 10.根据权利要求9所述的定位系统， 其特 征在于， 所述 边缘特征提取单元， 包括： 预处理小单元， 对所述模板图像和所述实时图像， 分别进行平滑降噪预处理， 得到预处 理后的模板图像和预处 理后的实时图像； 边缘检测小单元， 与所述预处理小单元连接， 用于构造边缘检测算子， 并分别对预处理 后的模板图像和预 处理后的实时图像进行边缘检测， 确定模板图像的边缘区块和实时图像 的边缘区块； 边缘连接小单元， 与所述边缘检测单元连接， 用于通过阈值二值化处理， 分别连接模板 图像的边缘区块和实时图像的边缘区块， 得到模板图像的边缘特征和实时图像的边缘特 征。权　利　要　求　书 2/2 页 3 CN 113989278 A 3