(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111397160.0 (22)申请日 2021.11.23 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 北京邮电大 学 申请人 国网浙江省电力有限公司电力科 学 研究院 (72)发明人 郭少勇　陈浩　黄建平　颜拥　 陈洁蔚　黄徐川　韩嘉佳　孙歆　 姚影　杨国铭　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 代理人 王宇杨 (51)Int.Cl. G06K 9/62(2022.01)G06N 20/00(2019.01) (54)发明名称 面向大规模产业链隐私计算的联邦学习模 型训练方法 (57)摘要 本发明提供一种面向大规模产业链隐私计 算的联邦学习模型训练方法。 所述方法包括： 由 联邦学习中心服务器节点 以非独立同分布为目 标划分产业链 业务训练数据集， 并分发至多个联 邦学习工 人节点； 联邦学习工人节 点基于目标利 润函数迭代训练本地模型； 聚合服务器节点在聚 合每个联邦学习工人节点发送的更新后的本地 模型权重后， 根据各个本地模型权重分布和整体 本地模型权重分布， 计算每个联邦学习工人节点 对应的地动距离， 并剔除超 过预设距离阈值的联 邦学习工 人节点； 由剩余的联邦学习工人节点继 续进行模型训练。 本发明在联邦学习模型训练过 程中将分布差异过大的数据分布剔除， 减少异质 性数据带来的精度损失， 提高了传统算法在产业 链中的应用可靠性。 权利要求书3页 说明书15页 附图4页 CN 114169412 A 2022.03.11 CN 114169412 A 1.一种面向大规模产业链隐私计算的联邦学习模型训练方法， 其特 征在于， 包括： 步骤101， 获取产业链业务训练数据集， 由联邦学习中心服务器节点以非独立同分布 non‑iid为目标划分所述产业链 业务训练数据集， 得到多个产业链 业务训练子数据集， 并将 所述多个产业链业 务训练子数据集分发至多个联邦学习工人节点； 步骤102， 所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务 训练子数据集作为输入， 基于目标利润函数迭代训练本地模型， 更新所述本地模 型权重， 并 将更新后的所述本地模型权 重发送至聚合 服务器节点； 步骤103， 所述聚合服务器节点在聚合每个联邦学习工人节点发送 的更新后的本地模 型权重后， 根据每个联邦学习工人节点的本地模型权重 分布和全部联邦学习工人节点的整 体本地模型权重分布， 计算每个联邦学习工人节点对应的地动距离EMD， 并剔除超过预设 EMD阈值的联邦学习工人节点； 步骤104， 由剩余的联邦学习工人节点重 复步骤101至步骤103， 直至所述联邦学习模型 收敛或达 到预设迭代次数。 2.根据权利要求1所述的面向大规模产业链隐私计算的联邦学习模型训练方法， 其特 征在于， 由联邦学习中心服务器节点以非独立同分布non ‑iid为目标划分所述产业链业务 训练数据集， 得到多个产业链业 务训练子数据集， 包括： 将所述产业链业务训练数据集按数字标签进行排序， 将排序后的所述产业链业务训练 数据集分成包 含预设数量产业链业 务训练数据的产业链业 务训练子数据集。 3.根据权利要求1所述的面向大规模产业链隐私计算的联邦学习模型训练方法， 其特 征在于， 所述目标利 润函数 为： 其中， gn为联邦学习工人节点的奖励因子 Rn和联邦学习工人节点类型的集成表达式， 包 含一系列联邦学习中心 服务器对于联邦学习工人节点计算资源提供率、 数据提供率的奖励 包， qn为联邦学习工人节点的数据量贡献， Tmax为联邦学习中心服务器节点对本次联邦学习 任务的最大容忍时间， 为本地模型更新后参数传输时间， μ为相关系数， 与本地模型模 型迭代次数有关， cn为训练本地模型所需执行的CPU周期数， fn为CPU周期频率， θn为联邦学 习工人节点资质， K为联邦学习工人节点类型， ρ 为联邦学习中心服务器节点对联邦学习工 人节点的单位奖励成本， 为联邦学习工人节点在联邦学习模型迭代中的传输能耗， τ 表示中心服 务器和联邦学习工人的计算迭代能耗 参数。 4.根据权利要求1所述的面向大规模产业链隐私计算的联邦学习模型训练方法， 其特 征在于， 根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体 本地模型权 重分布， 计算每 个联邦学习工人节点对应的地动距离 EMD， 包括： 根据下面公式计算每个联邦学习工人节点的本地模型权重分布与全部联邦学习工人 节点的整体本地模型权 重分布之间的E MD， 所述公式为：权　利　要　求　书 1/3 页 2 CN 114169412 A 2其中， p(y＝i)为全部 联邦学习工人节点的整体本地模型权重分布， pk(y＝i)为第k个联 邦学习工人节点的本地模型权 重分布。 5.一种面向大规模产业链隐私计算的联邦学习模型训练装置， 其特 征在于， 包括： 第一处理模块， 用于获取产业链业务训练数据集， 由联邦学习中心服务器节点以非独 立同分布non ‑iid为目标划分所述产业链业务训练数据集， 得到多个产业链业务训练子数 据集， 并将所述多个产业链业 务训练子数据集分发至多个联邦学习工人节点； 第二处理模块， 用于所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产 业链业务训练子数据集作为输入， 基于目标利润函数迭代训练本地模型， 更新所述本地模 型权重， 并将更新后的所述本地模型权 重发送至聚合 服务器节点； 第三处理模块， 用于所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后 的本地模型权重后， 根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人 节点的整体本地模型权重 分布， 计算每个联邦学习工人节 点对应的地动距离EMD， 并剔除超 过预设EMD阈值的联邦学习工人节点； 第四处理模块， 用于由剩余的联邦学习工人节点重复执行第 一处理模块至第 三处理模 块， 直至所述联邦学习模型收敛或达 到预设迭代次数。 6.根据权利要求5所述的面向大规模产业链隐私计算的联邦学习模型训练装置， 其特 征在于， 所述第一处 理模块， 具体用于： 将所述产业链业务训练数据集按数字标签进行排序， 将排序后的所述产业链业务训练 数据集分成包 含预设数量产业链业 务训练数据的产业链业 务训练子数据集。 7.根据权利要求5所述的面向大规模产业链隐私计算的联邦学习模型训练装置， 其特 征在于， 所述第三处 理模块， 具体用于： 根据下面公式计算每个联邦学习工人节点的本地模型权重分布与全部联邦学习工人 节点的整体本地模型权 重分布之间的E MD， 所述公式为： 其中， p(y＝i)为全部 联邦学习工人节点的整体本地模型权重分布， pk(y＝i)为第k个联 邦学习工人节点的本地模型权 重分布。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至4任一项所 述面向大规模产业链隐私计算的联邦学习模型训练方法的步骤。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处理器执行时实现如权利要求1至4任一项所述面向大规模产业链隐私计算的联邦 学习模型训练方法的步骤。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至4任一项所述面向大规模产业链隐私计算的联邦学习模型训练方权　利　要　求　书 2/3 页 3 CN 114169412 A 3