(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111410414.8 (22)申请日 2021.11.23 (71)申请人 湖南三湘银行股份有限公司 地址 410023 湖南省长 沙市岳麓区滨江路 53号湖南湘江新区滨江金融中心楷林 国际D座 (72)发明人 王建新　王殊　刘渊　张德文　 聂璇　 (74)专利代理 机构 北京中誉至诚知识产权代理 事务所(普通 合伙) 11858 代理人 张平力 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/08(2006.01) G06Q 20/40(2012.01) (54)发明名称 一种基于客户端知识蒸馏的联邦学习实现 方法 (57)摘要 本发明公开一种基于客户端知识蒸馏的联 邦学习实现方法。 该方法包括： 服务端在新一个 通信轮次开始时， 为每个客户端发送模型参数集 合， 模型参数集合根据所有客户端在上一个通信 轮次提交给服务端的模型参数构成； 每一个客户 端接收到服务端发送的模型参数集合后， 开始当 前通信轮次的本地模型参数训练， 本地模型参数 训练时， 将来自其他客户端的特征信息迁移到本 地模型当中； 客户端完成当前通信轮次的训练 时， 向服务端发送本地模型的参数； 所有客户端 发送回新的模 型参数后， 服务端根据新的模型参 数生成新的集合， 用于下一个通信轮次的训练； 在不降低模型的性能的前提下 降低了联邦学习 建模所需的通讯轮次的数量， 提高了利用多机构 数据联合建模的效率。 权利要求书1页 说明书5页 附图4页 CN 113947214 A 2022.01.18 CN 113947214 A 1.一种基于客户端知识蒸馏的联邦学习实现方法， 其特 征在于， 包括： 服务端在新一个通信轮次开始时， 为每个客户端发送模型参数集合， 其中， 所述模型参 数集合是根据所有客户端在上一个通信轮次提交给服 务端的模型参数构成的； 当每一个客户端接收到服务端发送的模型参数集合后， 开始当前通信轮次的本地模型 参数训练， 所述的本地模型是保存在客户端本地的模型； 进 行本地模 型参数训练时， 将来自 其他客户端的特 征信息迁移到本地模型当中； 当客户端完成当前通信轮次的训练时， 向服 务端发送本地模型的参数； 在等待所有客户端发送回新的模型参数之后， 服务端根据 所述新的模型参数生成新的 集合， 用于下一个通信轮次的训练。 2.如权利要求1所述的方法， 其特征在于， 服务端在新一个通信轮次开始时， 为每个客 户端发送模型参数集 合包括： 在新的通信轮次t开始前， 服务端根据公式 向每个客户端k发送由上一 个通信轮次(t ‑1)的其他客户端向服务端发送的模型参 数所构成的 其中， θk为客户端k 在(t‑1)通信轮次发送给服务端的模型， Θt‑1为由上一个通信轮次(t ‑1)之后， 所有的客户 端向服务端发送的模型参数 所构成的集 合。 3.如权利要求2所述的方法， 其特征在于， 当每一个客户端接收到服务端发送的模型参 数集合后， 开始当前通信轮次的本地模型参数训练包括： 在通信轮次t的任意的客户端k， 在 收到服务端发送 的模型参数集合后， 将定义来自其 他的客户端的特 征信息Ek(Xi,t)如下： 其中， N为所有的客户端的数量， Xi为客户端拥有的数据样本， f(Xi； θk)为本地模型输出 的预测分布。 4.如权利要求1所述的方法， 其特征在于， 进行本地模型参数训练时， 将来自其他客户 端的特征信息迁移到本地模型当中包括： 在通信轮次t的任意的客户端k， 将定义的来自其他的客户端的特征信息Ek(Xi,t)迁移 到本地模型参数θk中， 得到使用KL散度 度量预测的分布和平均分布的相似度： 其中， σ 为激活函数， DKL为KL散度。 5.如权利要求4所述的方法， 其特征在于， 当客户端完成当前通信轮次的训练时， 向服 务端发送本地模型的参数包括： 在通信轮次t的任意的客户端k， 将向服 务端发送更新后的参数θk。 6.如权利要求5所述的方法， 其特征在于， 在等待所有客户端发送回新的模型参数之 后， 服务端根据所述 新的模型参数生成新的集 合， 用于下一个通信轮次的训练包括： 服务端将客户端发送的参数集合{θ1, θ2,…, θN}分别替换Θt‑1中的参数， 并开始下一个 通信轮次的训练， 其中， θi代表客户端i向服 务端发送的参数。权　利　要　求　书 1/1 页 2 CN 113947214 A 2一种基于客户端知识 蒸馏的联邦学习实现方 法 技术领域 [0001]本发明涉及联邦学习技术领域， 尤其涉及 一种基于客户端知识蒸馏的联邦学习实 现方法。 背景技术 [0002]随着大数据技术的进一步发展， 重视数据隐私和安全已经成为了世界性的热点问 题。 在2018， 国际知名社交媒体 “脸书”因在未经用户允许的情况下允许某数据分析公司收 集大量的数据来进行用户群体分析而被当地有关部门处罚， 致使 “脸书”公司的股票大跌， 并引发了大规模的抗议活动。 2018年5月， 欧盟通过了 《一般数据保护条例(General  Data  Protection  Regulation,GDPR)》 以取回公民以及住民对于个人资料的控制， 以及为了国际 商务而简化在欧盟内的统一规范。 我国的有关部门也即将出台 《个人信息保护法》 、 《数据安 全法》 等有关法律来保证公民拥有对于个人信息的控制 权。 这些法律法规的出台将用户对 于数据安全、 隐私的要求提高的到了新的层次， 从而导致收集和利用用户的隐私数据变得 更加困难。 [0003]除了收集用户的个人数据变得 困难之外， 由于各行各业之间存在着竞争和隐私保 护等问题， 将分布在各个机构的独立数据中心 化为一个完整的数据集并以此整合的数据集 建立、 训练模型将 变得不再现实， 由于无法集中地利用广泛分布地数据， 这些孤立分布的数 据被称为数据孤岛。 面对一个个数据孤岛， 如何在安全合法地使用广泛分布的数据进行联 合建模成为人工智能系统落 地过程中的关键一环。 [0004]为了解决这种数据孤岛问题， 许多的研究机构提出了各种间接地访问数据孤岛 的 方法。 由McMahan等人提出的联邦学习方法尝试解决在隐私保护下， 利用去中心 化的数据进 行联合建模。 谷歌提出的跨设备的联邦学习方法则利用了全世界范围内用户保存在移动设 备上的输入法， 在保护用户隐私的前提下学习得到单词预测模型而Sheller等人将多个机 构的医疗数据视为多个数据孤岛， 利用联邦学习 方法得到联合建模后的语义分割模型。 这 些方法的核心步骤如下： 首先客户端登录到服务器， 接着服务器选择在当前 的通信轮次可 以运行训练的客户端子集， 紧接着服务端为每个被选择的客户端发送当前通信轮次最新的 全局模型参数， 然后每个被选中的客户端并行地利用自己本地的隐私数据训练得到新的模 型参数并将其送回服务端， 最后服务端对被选中的客户端发回的模型参数进 行加权平均并 更新全局的模型参数。 图1显示经典联邦学习方法的工作流 程示意图。 [0005]这种联邦学习的方式为跨数据孤岛进行联合建模提供可能性， 但是经典的联邦学 习方法在面对多机构的数据集的情况下需要进行多个通信轮次才能达到预期的性能， 同 时， 更多的通信轮次意味着服务端和客户端之间需要交换更多的数据， 造成了更大 的通信 负担。 因此如何在不牺牲全局模型性能的前提下， 提高模型 的收敛速度和降低通信轮次的 数量是联邦学习方法的目标之一。说　明　书 1/5 页 3 CN 113947214 A 3