(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210858999.8 (22)申请日 2022.07.20 (71)申请人 西安电子科技大 学广州研究院 地址 510000 广东省广州市黄埔区中新知 识城海丝中心B5、 B6、 B7栋 (72)发明人 杨清海　苏宇　乔飞宇　武艳　 (74)专利代理 机构 广东省中源正拓专利代理事 务所(普通 合伙) 44748 专利代理师 覃汉赳 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种基于数字孪生技术的AR辅助机器人远 程操作系统 (57)摘要 本发明公开了一种基于数字孪生技术的AR 辅助机器人远程操作系统， 包括AR虚拟模块、 实 体模块和服务器终端； AR虚拟模块， 用于运行AR 辅助机器人远程虚拟模型， 辅助机器人远程操 作； 实体模块， 包括机器人端和客户端， 用于机器 人端与客户端的信息交互； 服务器终端， 用于向 机器人端和客户端发送操作指令， 同时获取机器 人端和客户端的实时数据； 将所述实时数据输入 至AR辅助机器人远程虚拟模型进行运算， 接收AR 辅助机器人远程虚拟模型运算所得的仿真结果， 通过可视化的界面实现了与工业机器人的交互， 灵活的与其他制造机器人协同合作， 弥补传统机 器人只能按照编辑好的程序操作的短板， 且操作 方式较为友好， 能够大 大减少操作员的工作量。 权利要求书1页 说明书5页 附图2页 CN 115256383 A 2022.11.01 CN 115256383 A 1.一种基于数字孪生技术的AR辅助机器人远程操作系统， 其特征在于， 包括AR虚拟模 块、 实体模块和服 务器终端； AR虚拟模块， 用于运行AR辅助机器人远程虚拟模型， 辅助机器人远程操作； 实体模块， 包括机器人端和客户端， 用于 机器人端与客户端的信息交 互； 服务器终端， 用于向机器人端和客户端发送操作指令， 同时获取机器人端和客户端的 实时数据； 将所述实时数据输入至AR辅助机器人远程虚拟模型进行运算， 接收AR辅助机器人远程 虚拟模型运 算所得的仿真结果。 2.根据权利要求1所述的一种基于数字孪生技术的AR辅助机器人远程操作系统,其特 征在于， AR辅助机器人远程虚拟模型通过以下步骤实现： 构建多机器人多客户端通信机制， 确保AR设备和机器人、 机器人和机器人之间信息交 互； 通过游戏引擎构建机器人物 理模型并移植到AR眼镜上， 通过在AR设备上的虚拟场景控 制对应的数字孪生机器人， 输入的相应命令信息通过强化学习算法得到对应的输出结果再 返回给物理机器人。 3.根据权利要求2所述的一种基于数字孪生技术的AR辅助机器人远程操作系统,其特 征在于， 游戏引擎采用Un ity游戏引擎。 4.根据权利要求2所述的一种基于数字孪生技术的AR辅助机器人远程操作系统,其特 征在于， 在虚拟场景中没有被控制的机器人则以其原有的姿态呈现在AR设备中。 5.根据权利要求2所述的一种基于数字孪生技术的AR辅助机器人远程操作系统,其特 征在于， AR辅助机器人远程虚拟模型中采用强化学习算法对 数字孪生机器人上的输入进 行 计算， 通过将任务环境的状态与其自身的运动参数相关联， 实施初始化机器人控制策略； 再通过返回奖励和与环境的连续试错交互， 通过强化学习算法改进相应的控制策略， 实现物理机器人和数字 孪生机器人的姿态双向映射。权　利　要　求　书 1/1 页 2 CN 115256383 A 2一种基于数字孪生技术的AR辅助机 器人远程操作系统 技术领域 [0001]本发明涉及数字机器人技术领域， 具体涉及一种基于数字孪生技术的AR辅助机器 人远程操作系统。 背景技术 [0002]在当今竞争日益激烈的市场中， 制造模式正在向大规模个性化和 市场化转变， 这 相应地导致了对制 造系统的高度灵活和自动化要求。 为了实现制 造业的大规模个性化， 各 种工业机器人和操作人员都被加入到了制 造过程当中。 然而， 大多数现有机器人系统以常 规方式执行预编程任务， 没有多少智能， 更不用说以协作方式很好地处理个性化任务了。 此 时需要一个介于全自动制造和全手动制造之间的协同制造系统， 能够在数字空间中达到与 自动化机器人或其 他操作员协同合作的目的。 [0003]现有专利申请号202110456817.X公开了一种工业机器人的数字孪生实训方法及 系统， 通过构建相应的数字孪生模型实现物理模型 的等价仿真， 并获取实训台和工业机器 人的实时数据， 将所述实时数据输入至实训虚拟模型进行运算； 接 收所述实训虚拟模型运 算所得的仿真结果， 最后在虚拟空间中能够完成数字培训平台与实体工业机器人协调一 致。 [0004]现有技术的不足在于缺乏操作员的人为干预， 没有达到人与机器人的交互效果， 交互性和灵活性较差 。 发明内容 [0005]本发明的目的在于提供一种基于数字孪生技术的AR辅助机器人远程操作系统， 通 过可视化的界面 实现了与工业机器人的交互(包括远程控制和协同合作)， 灵活的与其他制 造机器人协同合作， 弥补传统机器人只能按照编辑好的程序操作的短板， 且操作方式较为 友好， 能够大 大减少操作员的工作量。 [0006]本发明的目的可以通过以下技 术方案实现： [0007]一种基于数字孪生技术的AR辅助机器人远程操作系统， 包括AR虚拟模块、 实体模 块和服务器终端； [0008]AR虚拟模块， 用于运行AR辅助机器人远程虚拟模型， 辅助机器人远程操作； [0009]实体模块， 包括机器人端和客户端， 用于 机器人端与客户端的信息交 互； [0010]服务器终端， 用于向机器人端和客户端发送操作指令， 同时获取机器人端和客户 端的实时数据； [0011]将所述实时数输入至AR辅助机器人远程虚拟模型进行运算， 接收AR辅助机器人远 程虚拟模型运 算所得的仿真结果。 [0012]作为本发明进一 步的方案： AR辅助机器人远程虚拟模型通过以下步骤实现： [0013]构建多机器人多客户端通信机制， 确 保AR设备和机器人、 机器人和机器人之间信 息交互；说　明　书 1/5 页 3 CN 115256383 A 3