(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211088268.6 (22)申请日 2022.09.07 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 陈爱国　罗光春　孙国林　戴瑞婷　 隆雨佟　刘德映　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 甘茂 (51)Int.Cl. G06N 20/00(2019.01) G06F 9/50(2006.01) (54)发明名称 一种面向异质性场景下的分布式机器学习 方法 (57)摘要 本发明属于信息技术领域， 具体提供一种面 向异质性场景下的分布式机器学习方法， 旨在解 决现有联邦学习效率提升方法， 受限于分布式场 景中广泛存在的非独立同分布数据， 以及存在的 计算负担大、 依赖经验等问题。 本发明通过在训 练过程中动态更新相关的矩阵， 实现对参与方节 点的动态选择， 并有效地将分布式环 境中存在的 非独立同分布数据纳入到了节 点的选择考虑中， 同时也考虑到了节点的训练效果和历史训练信 息， 使得模 型更快地学习未知的知识或者学习效 果不好的知识， 从而有效提升联邦学习在实际应 用场景下的模型训练效率。 权利要求书2页 说明书6页 附图3页 CN 115481749 A 2022.12.16 CN 115481749 A 1.一种面向异质性场景 下的分布式机器学习方法， 包括如下步骤， 步骤S1、 在分布式机器学习场景下， 针对具有系统异质性和数据异质性的各个分布式 计算节点， 中心初始化全局模型、 概 率矩阵、 累积模型强度矩阵以及计数矩阵； 步骤S2、 中心基于概率矩阵随机选择预设选择固定比例C的节点作为参与方节点参与 训练； 步骤S3、 提取参与 方节点的节点关键信息， 节点关键信 息包括： 数据非独立同分布程度 指标与训练损失； 步骤S4、 根据节点关键信息， 各个节点计算累积模型强度值， 并更新累积模型强度矩 阵； 步骤S5、 根据步骤S2中节点选择信息， 更新计数矩阵； 步骤S6、 根据节点关键信息与计数矩阵， 更新 概率矩阵。 2.按权利要求1所述面向异质性场景下的分布式机器学习方法， 其特征在于， 步骤S1 中， 概率矩阵表示为Q＝{q1,q2,...,qn}， qi为节点i被选择参与联合模型训练的概率， i＝1, 2,...,n， n为节点数； 初始化 为： 矩阵内每 个值均相等； 累积模型强度矩阵表示为H＝{h(1),h(2),...,h(n)}， h(i)为表征节点i的数据异质性程度 和训练效果的指标； 初始化 为： 矩阵内每 个值均为0； 计数矩阵表示为cnt＝{c1,c2,...,cn}， ci表示节点i连续被选择的次数， 初 始化为： 矩阵 内每个值均为0 。 3.按权利要求1所述面向异质性场景下的分布式机器学习方法， 其特征在于， 步骤S3 中， 节点i的数据非独立同分布程度指标 emdi表示为： 其中， P表示全局数据分布， pi表示节点i本地训练数据的分布， ∏(P,pi)表示P和pi联合 分布的集 合， γ为属于 ∏(P,pi)的一个联合分布， x与y表示联合分布γ中的样本； 将节点i训练过程中的损失进行记录， 表示 为训练损失l ossi。 4.按权利要求1所述面向异质性场景下的分布式机器学习方法， 其特征在于， 步骤S4 中， 具体为： 步骤401、 对于参与方节点 i， 节点计算当前模型强度值mi为： 其中， emdi表示节点i的数据非独立同分布程度指标， lossi表示节点i在本轮训练的训 练损失值； 步骤402、 计算累积模型强度值 为： 其中， 表示节点i本轮训练后累积模型强度值， 表示节点i上一轮训练后累积模型 强度值， ρ 为衰减系数； 每个参与方节点计算累积模型强度值后上传到中心， 中心更新累积模型强度矩阵。 5.按权利要求1所述面向异质性场景下的分布式机器学习方法， 其特征在于， 每一轮训权　利　要　求　书 1/2 页 2 CN 115481749 A 2练中， 计数矩阵中被连续选择 的参与方节点的对应计数值加1， 其余节点的对应计数值减1 (直至0)； 若节点的计算 值大于预设阈值， 则判定为劣质节点， 否者， 为优质节点。 6.按权利要求1所述面向异质性场景下的分布式机器学习方法， 其特征在于， 步骤S6 中， 具体为： 步骤S601、 根据步骤S2中节点选择信息， 更新各个节点的概 率值； 对于参与方节点 i， 概率值更新为： 其中， 表示节点i在本轮训练后的概率值， 表示节点i在上一轮训练后的概率值， ε 为预设非负值； 对于其余节点j， 概 率值更新为： 步骤S602、 根据计数矩阵， 将劣质节点在概 率矩阵中对应概 率值进行置零； 步骤S603、 对概率矩阵进行归一 化处理。权　利　要　求　书 2/2 页 3 CN 115481749 A 3