(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210885754.4 (22)申请日 2022.07.26 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 王党校　李东升　翟雨农　罗虎　 李英龙　张玉茹　 (74)专利代理 机构 北京荟英捷创知识产权代理 事务所(普通 合伙) 11726 专利代理师 王献茹 (51)Int.Cl. B25J 9/16(2006.01) B25J 13/00(2006.01) (54)发明名称 面向人机协作钻铆的虚实融合工艺引导方 法及系统 (57)摘要 本发明提供了一种面向人机协作钻铆的虚 实融合工艺引导方法及系统， 该方法采用虚实融 合显示的方式对 人机协作钻铆进行引导， 包括增 强现实信息显示、 力度显示、 机器人控制等功能 的融合， 通过增强现实信息显示可以免去工人查 阅、 记忆各类信息的时间精力， 通过力度显示有 利于准确的力度控制， 通过增强现实设备控制机 器人可以减少工人移动等操作， 从而提高了工作 效率。 权利要求书1页 说明书6页 附图3页 CN 115416015 A 2022.12.02 CN 115416015 A 1.一种面向人机协作钻铆的虚实融合工艺引导方法， 其特征在于， 应用于增强现实设 备， 所述增强现实设备通过 上位机与机器人、 力传感铆枪分别连接， 所述方法包括： 显示待钻铆部件的配准图像， 以基于所述配准图像进行虚实配准； 在确定目标孔 位后， 显示所述目标孔 位的钻铆信息； 所述钻铆信息包括虚拟孔 位位置； 获取所述机器人的状态信 息， 以及根据所述状态信 息确定是否满足所述目标孔位的钻 铆条件； 若满足所述目标孔位的钻铆条件， 则获取以及显示所述力传感铆枪的压力信息； 所述 压力信息为所述力传感铆枪与所述目标孔 位所在位置之间的抵 接压力； 若所述压力 信息满足所述目标孔 位的钻铆条件， 则控制所述机器人启动钻铆作业。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取以及存储所述目标孔位的钻铆各个过程中所述力传感铆枪的压力信 息； 所述钻铆 各个过程包括以下至少一项： 钻铆预 备阶段、 钻铆过程阶段、 钻铆完成阶段。 3.根据权利要求1所述的方法， 其特征在于， 所述钻铆信息还包括工艺信息； 所述工艺 信息包括以下至少一项： 孔径、 铆接方法、 铆钉 类型、 力度。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 显示跟随视野移动的虚拟操作面板， 所述虚拟操作面板包括以下至少一项功能开关： 显示工艺信息开关、 配准跟踪开关、 机器人控制功能按 钮、 选择下一个孔 位功能按 钮。 5.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 接收用户输入的孔 位选择指令， 以及根据所述 孔位选择指令确定所述目标孔 位。 6.根据权利要求1所述的方法， 其特征在于， 在所述获取所述机器人的状态信息之前， 所述方法还 包括： 控制所述机器人移动至所述目标孔 位， 以及执 行所述目标孔 位对应的钻铆准备动作。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在预先对所述待钻铆部件建模的情况 下， 根据模型目标的方式进行配准跟踪； 在预先在所述待钻铆部件上布置定位标识的情况下， 根据图像目标的方式进行配准跟 踪。 8.根据权利要求1所述的方法， 其特征在于， 所述状态信息包括以下至少一项： 压脚状 态、 刀具进给状态、 钻铆单 元送钉状态。 9.一种面向人机协作钻铆的虚实融合工艺引导系统， 其特征在于， 用于执行权利要求 1‑8任一项所述的面向人机协作钻铆的虚实融合工艺引导方法。权　利　要　求　书 1/1 页 2 CN 115416015 A 2面向人机协作钻 铆的虚实 融合工艺引导方 法及系统 技术领域 [0001]本发明涉及虚拟现实技术领域， 具体而言， 涉及一种面向人机协作钻铆的虚实融 合工艺引导方法及系统。 背景技术 [0002]在飞机壁板钻铆的工业场景中， 机器人具有精度 高、 稳定、 效率高、 能在危险场景 工作的特点， 而工人具有更强的感知能力、 经验丰富、 随机应变的特点。 钻铆机器人体型庞 大， 不适合工作于狭小空间， 因此很多时候需要工人手动进行钻铆。 而人工手动钻铆过程 中， 需要兼顾多种信息且与机器人相配合， 工作效率较低。 发明内容 [0003]为解决上述问题， 本发明实施例提供了一种面向人机协作 钻铆的虚实融合工艺引 导方法， 应用于增强现实设备， 所述增强现实设备通过上位机与机器人、 力 传感铆枪分别连 接， 所述方法包括： 显示待钻铆部件的配准图像， 以基于所述配准图像进行虚实配准； 在确 定目标孔位后， 显示所述目标孔位的钻铆信息； 所述钻铆信息包括虚拟孔位位置； 获取所述 机器人的状态信息， 以及根据所述状态信息确定是否满足所述 目标孔位的钻铆条件； 若满 足所述目标孔位的钻铆 条件， 则获取以及显示所述力传感铆枪的压力信息； 所述压力信息 为所述力 传感铆枪与所述目标孔位所在位置之 间的抵接压力； 若 所述压力信息满足所述目 标孔位的钻铆条件， 则控制所述机器人启动钻铆作业。 [0004]可选地， 所述方法还包括： 获取以及存储所述目标孔位的钻铆各个过程中所述力 传感铆枪的压力信息； 所述钻铆各个过程包括以下至少一项： 钻铆预备阶段、 钻铆过程阶 段、 钻铆完成阶段。 [0005]可选地， 所述钻铆信息还包括工艺信息； 所述工艺信息包括以下至少一项： 孔径、 铆接方法、 铆钉 类型、 力度。 [0006]可选地， 所述方法还包括： 显示跟随视野移动的虚拟操作面板， 所述虚拟操作面板 包括以下至少一项功能开关： 显示工艺信息开关、 配准跟踪开关、 机器人控制功能按钮、 选 择下一个孔 位功能按 钮。 [0007]可选地， 所述方法还包括： 接收用户输入的孔位选择指令， 以及根据所述孔位选择 指令确定所述目标孔 位。 [0008]可选地， 在所述获取所述机器人的状态信息之前， 所述方法还包括： 控制所述机器 人移动至所述目标孔 位， 以及执 行所述目标孔 位对应的钻铆准备动作。 [0009]可选地， 所述方法还包括： 在预先对所述待钻铆部件建模的情况下， 根据 模型目标 的方式进行配准跟踪； 在预先在所述待钻铆部件上布置定位标识的情况下， 根据图像目标 的方式进行配准跟踪。 [0010]可选地， 所述状态信息包括以下至少一项： 压脚状态、 刀具进给状态、 钻铆单元送 钉状态。说　明　书 1/6 页 3 CN 115416015 A 3