(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210956833.X (22)申请日 2022.08.10 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 陈晋音　刘涛　李荣昌　李明俊　 宣琦　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 基于对比学习的联邦学习个性 化方法 (57)摘要 本发明公开了一种基于对比学习的联邦学 习个性化方法， 通过权衡在 整个数据集上训练的 全局模型， 与在本地子集上训练的本地模型， 来 实现个性化。 通过当前本地模型学习到的表征与 全局模型学习到的表征的一致性损失， 来修正本 地更新， 进而实现联邦学习的个性化。 将同时计 算全局模型的表征、 本地数据训练得到模型的表 征， 以及当前模型训练的本地模型的表征， 然后 通过个性化参数， 规范这三个表征之间的距离， 即在模型层面实现对比学习， 以此来修正全局模 型适应不同客户端上的任务。 本发 明能够适应客 户端不同的任务， 达到联邦学习个性化定制的要 求。 权利要求书3页 说明书7页 附图2页 CN 115115066 A 2022.09.27 CN 115115066 A 1.一种基于对比学习的联邦学习个性 化方法， 其特 征在于， 包括以下步骤： (1)本地训练出独立模型： (1.1)本地客户端根据其持有 的数据训练出独立模型， 该独立模型仅包含单个客户端 的数据信息， 适应该客户端的任务； (1.2)搭建对比学习网络， 使用对比学习网络从独立模型中提取 出表征； (2)客户端参与联邦学习训练： (2.1)客户端开始正常的联邦学习训练， 根据服务器发布的全局模型以及本地数据得 到本地更新； (2.2)训练完成后， 每 个客户端将本地更新的本地模型， 上传给服 务器； (2.3)服务器聚合得到新的全局模型并进行全局广播， 客户端接收到新的全局模型后 从中提取 出全局表征； (3)客户端 进行个性 化修正训练： (3.1)在客户端接收到最新的全局模型之后， 客户端开启个性化修正训练， 在训练 阶段 分别得到三个表征： 独立模型表征， 全局模型表征以及正在被更新的本地模型表征； (3.2)通过步骤(3.1)得到的三个表征， 计算得到模型一致性损失， 与训练损失一起更 新本地模型； (3.3)重复步骤(3.1)～(3.2)， 进行迭代修 正训练， 最终得到具有个性 化的本地模型。 2.如权利要求1所述基于对比学习的联邦学习个性化方法， 其特征在于， 步骤(1.1)包 括： 共有N个客户端， 表示为P1,...,PN， 客户端Pi拥有本地数据集Di， 对于本地单独的训练来 说， 独立模型的训练目标如下： 其中， 为Pi的经验损失； 表示客户端Pi的独立模型权 重； x表示Di中的一个训练数据， y表 示x对应的标签； li表示客户端Pi本地的损失函数； E表示 期望。 3.如权利要求1所述基于对比学习的联邦学习个性化方法， 其特征在于， 步骤(1.2)包 括： 独立模型权值为 用 表示独立模型输出层之前的网络； 将训练完成 的独立 模型权重放入对比学习网络中， 便得到独立模型的表征 4.如权利要求1所述基于对比学习的联邦学习个性化方法， 其特征在于， 步骤(2.1)包 括： 对于本地客户端来说， 联邦学习本地模型的训练目标如下： 权　利　要　求　书 1/3 页 2 CN 115115066 A 2其中， 为Pi的第t轮的本地经验损失Li,t； wi表示客户端Pi的本 地模型权重； x表示Di中的一个训练数据， y表示x对 应的标签； li,t表示客户端Pi第t轮本地的 损失函数； E表示期望 。 5.如权利要求1所述基于对比学习的联邦学习个性化方法， 其特征在于， 步骤(2.3)包 括： 服务器接收到客户端的模型更新， 采用FedAvg聚合算法形成新的全局模型； FedAvg计 算客户端的局部模型更新的平均值作为全局模型更新， 其中每个客户端根据其训练示例的 数量进行加权； 使用D＝∪i∈[N]Di表示所有联邦训练的数据集， 第t轮全局模型的训练目标表 示为： 其中， Li,t表示Pi定义第t轮的经验损失； Lg,t表示第t轮的全局模型的损失； wg为全局模 型的权重； ||表示求模； 在聚合完成得到 新的全局模型 后， 服务器将全局模型 进行广播， 发送至各个客户 端； 客户端根据最 新的全局模型计算得到全局模型的表征 6.如权利要求1所述基于对比学习的联邦学习个性化方法， 其特征在于， 步骤(3.1)包 括： 个性化修正训练的损失由两部分组成， 第一部分是由损失函数 计算， 第二部分为模 型对比损失函 数计算， 模型对比损失函 数定义为 对于每一个输入x以及本 地模型 从 独立模型中提取出表征 从全局模型中提取出表征 以及 从正在训练的本地模型提取 出的表征 则模型对比损耗 函数定义 为： 7.如权利要求1所述基于对比学习的联邦学习个性 化方法， 其特 征在于， 步骤(3.1)中： 服务器根据是否收到客户端的个性化申请， 决定对应客户端是否进行个性化修正训 练， 当服务器接收到客户端的个性化申请后， 判断该客户端需要进 行个性化修正训练， 之后 客户端开启个性化修正训练； 倘若未收到客户端的个性化申请则跳转到步骤(2.1)进行下 一轮联邦学习训练。 8.如权利要求1所述基于对比学习的联邦学习个性化方法， 其特征在于， 步骤(3.2)包 括： 更新的本地模型的目标 是： 权　利　要　求　书 2/3 页 3 CN 115115066 A 3