(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111506144.0 (22)申请日 2021.12.10 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 王晓　陈薏竹　田永林　王飞跃　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 任少瑞 (51)Int.Cl. G06N 20/00(2019.01) G06F 16/22(2019.01) G06F 16/2455(2019.01) (54)发明名称 基于联邦学习场景的训练参与方的选择方 法及装置 (57)摘要 本发明提供的一种基于联邦学习场景的训 练参与方的选择方法及装置， 基于数据类别和数 据量对数据集进行划分， 得到联邦学习场景下每 个客户端数据； 基于客户端数据对全局模型进行 训练， 若当前训练轮次小于预设的最大训练轮 次， 基于线性拟合方法对每个客户端数据进行计 算， 在客户端中确定当前训练轮次的候选参与方 列表； 获取当前训练轮次的训练参与方的预设数 目； 预设数目小于客户端的总数； 根据预设数目 在当前训练轮次的候选参与方列表中确定当前 训练轮次的训练参与方。 该方法可以有效降低模 型训练过程的通信开销， 通过充分利用客户端的 信息， 选择更优的训练参与方参与本轮次的训 练， 使模型的训练可以达 到更好的效果。 权利要求书2页 说明书9页 附图4页 CN 114492829 A 2022.05.13 CN 114492829 A 1.一种基于联邦学习场景的训练参与方的选择 方法， 其特 征在于， 包括： 基于数据类别和数据量对数据集进行划分， 得到所述联邦学习场景下每个客户端数 据； 基于所述客户 端数据对全局模型进行训练， 若当前训练轮次小于预设的最大训练轮 次， 基于线性拟合方法对所述每个客户端数据进行计算， 在所述客户端中确定当前训练轮 次的候选参与方列表； 获取当前训练轮次的训练参与方的预设数目； 所述预设数目小于所述 客户端的总数； 根据所述预设数目在所述当前训练轮次的候选参与方列表中确定当前训练轮次的训 练参与方。 2.根据权利要求1所述的基于联邦学习场景的训练参与 方的选择方法， 其特征在于， 所 述基于线性拟合方法对所述每个客户端数据进 行计算， 在所述客户端中确定当前训练轮次 的候选参与方列表， 包括： 基于对所述每个客户端数据进行计算， 得到距离当前训练轮次最近的预设训练轮次中 的每一训练轮次的全局模型与客户端的本地模型的历史表示相似性列表； 基于所述线性拟合方法对所述历史表示相似性列表中的数据进行计算， 得到所述当前 训练轮次的候选参与方列表。 3.根据权利要求2所述的基于联邦学习场景的训练参与 方的选择方法， 其特征在于， 所 述基于对所述每个客户端 数据进行计算， 得到距离 当前训练轮次最近的预设训练轮次中的 每一训练轮次的全局模型与客户端的本地模型的历史表示相似性列表， 包括： 根据所述每个客户端数据， 分别计算距离当前训练轮次最近的预设训练轮次中的每一 训练轮次的全局模型的第一激活矩阵和对应的所述 客户端的本地模型的第二激活矩阵； 根据所述第 一激活矩阵计算所述第 一激活矩阵的标准正交基， 根据所述第 二激活矩阵 计算所述第二激活矩阵的标准 正交基； 根据所述第 一激活矩阵的标准正交基和对应的所述第 二激活矩阵的标准正交基， 计算 所述第一激活矩阵与所述第二激活矩阵的表示相似性分数， 所述表示相似性分数的集合构 成所述距离当前训练轮次最近的预设训练轮次中的每一训练轮次的全局模型与客户端的 本地模型的历史表示相似性列表。 4.根据权利要求2所述的基于联邦学习场景的训练参与 方的选择方法， 其特征在于， 所 述基于所述线性拟合方法对所述历史表示相似性列 表中的数据进 行计算， 得到所述当前训 练轮次的候选参与方列表， 包括： 基于所述线性拟合方法对所述历史表示相似性列表中的数据进行计算， 得到当前训练 轮次的每 个客户端数据的历史趋势； 将所述历史趋势中呈增长历史趋势的客户端数据对应的客户端的集合作为所述当前 训练轮次的候选参与方列表。 5.根据权利要求2至3任一项所述的基于联邦学习场景的训练参与 方的选择方法， 其特 征在于， 所述确定所述当前训练轮次的训练参与方之后， 还 包括： 根据所述当前训练轮次的训练参与方的数据训练对应的本地模型并上传至服 务器； 根据上传的本地模型对所述距离当前训练轮次最近的预设训练轮次中的每一训练轮 次的全局模型与客户端的本地模型的历史表示相似性列 表进行更新， 得到距离下一训练轮权　利　要　求　书 1/2 页 2 CN 114492829 A 2次最近的预设训练轮次中的每一训练轮次的全局模型与客户端的本地模型的历史表示相 似性列表。 6.一种基于联邦学习场景的训练参与方的选择装置， 其特 征在于， 包括： 划分模块， 用于基于数据类别和数据量对数据集进行划分， 得到所述联邦学习场景下 每个客户端数据； 计算模块， 用于基于所述客户端数据对全局模型进行训练， 若当前训练轮次小于预设 的最大训练轮次， 基于线性拟合方法对所述每个客户端数据进行计算， 在所述客户端中确 定当前训练轮次的候选参与方列表； 获取模块， 用于获取当前训练轮次的训练参与方的预设数目； 所述预设数目小于所述 客户端的总数； 确定模块， 用于根据 所述预设数目在所述当前训练轮次的候选参与 方列表中确定所述 当前训练轮次的训练参与方。 7.根据权利要求6所述的基于联邦学习场景的训练参与 方的选择装置， 其特征在于， 所 述计算模块， 包括： 第一计算单元， 用于基于对所述每个客户端数据进行计算， 得到距离当前训练轮次最 近的预设训练轮次中的每一训练轮次的全局模型与客户端的本地模型的历史表示相似性 列表； 第二计算单元， 用于基于所述线性拟合方法对所述历史表示相似性列表中的数据进行 计算， 得到所述当前训练轮次的候选参与方列表。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1～5任一项所 述的基于联邦学习场景的训练参与方的选择 方法的步骤。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处理器执行时实现如权利要求1～5任一项所述的基于联邦学习场景 的训练参与方 的选择方法的步骤。 10.一种计算机程序产品， 其上存储有可执行指令， 其特征在于， 该指令被处理器执行 时使处理器实现如权利要求1～5任一项所述的基于联邦学习场景 的训练参与方的选择方 法的步骤。权　利　要　求　书 2/2 页 3 CN 114492829 A 3