(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111627523.5 (22)申请日 2021.12.28 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 张腾飞　张桂刚　王健　 (74)专利代理 机构 北京市恒有知识产权代理事 务所(普通 合伙) 11576 代理人 郭文浩　尹文会 (51)Int.Cl. G06F 30/27(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/02(2006.01)G06V 10/80(2022.01) (54)发明名称 基于数据驱动 的工业装备数字孪生构建维 护方法及系统 (57)摘要 本发明属于工业装备数字孪生领域， 具体涉 及了一种基于数据驱动的工业装备数字孪生构 建维护方法及系统， 旨在解决数字孪生体的构建 维护过程无法兼顾适用范围和效率的问题。 本发 明包括： 通过数据驱动的深度学习网络学习工业 装备标注数据来构建数字孪生体， 并进行多模态 融合； 通过联邦学习以不同企业的数据进行多模 态融合模型训练； 通过 终身学习持续学习新的样 本空间分布， 在线更新多模态融合模型； 通过模 型进行工业装 备健康管理。 本发 明能够克服现实 工业场景中机理建模困难、 数据共享困难、 长期 运维过程中新的故障种类不断出现的复杂设备 健康管理场景， 数字孪生体逼真、 鲁棒、 健壮、 可 信。 权利要求书2页 说明书7页 附图1页 CN 114297927 A 2022.04.08 CN 114297927 A 1.一种基于数据驱动的工业装备 数字孪生构建维护方法， 其特 征在于， 该 方法包括： 步骤S10， 针对工业装备中不同类别的数据， 中心服务器选择相应的神经网络进行数据 的数字孪生体构建； 步骤S20， 通过全连接深度学习网络进行各类别数据对应的数字孪生体的多模态融合， 获得数字孪生体的多模态 协同融合决策模型； 步骤S30， 将数字孪生体构建中的故障类型作为中心服务器维护的典型故障类型表， 各 工业装备从中心服 务器获取最 新典型故障类型表和最 新多模态 协同融合决策模型； 步骤S40， 各工业装备通过装备自身的运行监测数据进行模型训练， 并将训练后的多模 态协同融合决策模型的梯度加密后上传给中心服 务器； 步骤S50， 中心服务器根据接收的模型梯度进行多模态协同融合决策模型的参数更新， 获得最新多模态 协同融合决策模型； 步骤S60， 中心服务器将参数更新后的最新多模态协同融合决策模型下发给对应的工 业装备。 2.根据权利要求1所述的基于数据驱动的工业装备数字孪生构建维护方法， 其特征在 于， 步骤S10包括： 若数据为通过图像传感器采集的可见光图像、 红外图像或其它传感器信号转换成的图 像信息， 则通过 卷积神经网络进行 数据的数字 孪生体构建； 若数据为振动信号、 声音信号或其它时序数据， 则通过循环神经网络进行数据的数字 孪生体构建； 若数据为运维知识手册或其他知识规则内容， 则通过图神经网络进行数据的数字孪生 体构建。 3.根据权利要求1或2所述的基于数据驱动的工业装备数字孪生构建维护方法， 其特征 在于， 步骤S40中进行模型训练之前， 还设置有新故障识别和模型训练步骤， 其方法为： 步骤S40a， 若为新故障数据， 则结合专家先验知识进行新故障命名， 通过新故障数据进 行模型训练， 并基于命名的新故障进行典型故障类型表更新， 将更新后的典型故障类型表 和训练后的多模态 协同融合决策模型的梯度加密后上传给中心服 务器。 4.根据权利要求3所述的基于数据驱动的工业装备数字孪生构建维护方法， 其特征在 于， 步骤S40a 中通过新故障数据进行模型训练， 其方法为： 针对新故障数据对应的故障分类任务， 增加一个随机初始化的全连接深度学习网络参 数； 通过旧的多模态协同融合决策模型在新的故障任务上进行预测， 并通过多任务蒸馏损 失函数计算模型 预测结果与真实结果之间的损失值； 基于所述损失值， 通过微调的方法在新的故障任务上训练旧的多模态协同融合决策模 型， 获得训练后的多模态 协同融合决策模型。 5.根据权利要求4所述的基于数据驱动的工业装备数字孪生构建维护方法， 其特征在 于， 所述多任务蒸馏损失函数为在多模态协同融合决策模型 的损失函数 的基础上， 融入蒸 馏损失函数获得的损失函数。 6.根据权利要求1所述的基于数据驱动的工业装备数字孪生构建维护方法， 其特征在 于， 步骤S40中通过装备自身的运行监测数据进行模型训练之前， 还设置有数据预处理步权　利　要　求　书 1/2 页 2 CN 114297927 A 2骤， 其方法为： 对收集的各工业装备的运行监测数据， 对数据进行清洗和标注的数据预处 理。 7.一种基于数据驱动的工业装备数字孪生构建维护系统， 其特征在于， 该系统包括以 下模块： 数字孪生体构建模块， 配置为针对工业装备中不同类别的数据， 中心服务器选择相应 的神经网络进行 数据的数字 孪生体构建； 多模态融合模块， 配置为通过全连接深度 学习网络进行各类别数据对应的数字孪生体 的多模态融合， 获得 数字孪生体的多模态 协同融合决策模型； 故障类型表和模型获取模块， 配置为将数字孪生体构建中的故障类型作为中心服务器 维护的典型故障类型表， 各工业装备从 中心服务器获取最新 典型故障类型表和最新多模态 协同融合决策模型； 本地模型训练模块， 配置为各工业装备通过装备自身的运行监测数据进行模型训练， 并将训练后的多模态 协同融合决策模型的梯度加密后上传给中心服 务器； 参数聚合模块， 配置为中心服务器根据接收的模型梯度进行多模态协同融合决策模型 的参数更新， 获得最 新多模态 协同融合决策模型； 模型下发模块， 配置为中心服务器将参数更新后的最新多模态协同融合决策模型下发 给对应的工业装备。 8.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及 与至少一个所述处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述处理器执行的指令， 所述指令用于被所述处理器执行以实 现权利要求1 ‑6任一项所述的基于数据驱动的工业装备 数字孪生构建维护方法。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于被所述计算机执行以实现权利要求1 ‑6任一项所述的基于数据驱 动的工业装备 数字孪生构建维护方法。权　利　要　求　书 2/2 页 3 CN 114297927 A 3