(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111657350.1 (22)申请日 2021.12.3 0 (71)申请人 华东师范大学 地址 200241 上海市闵行区东川路5 00号 (72)发明人 张磊　高圆圆　姚鑫　 (74)专利代理 机构 上海蓝迪专利商标事务所 (普通合伙) 31215 代理人 徐筱梅　张翔 (51)Int.Cl. H04L 9/40(2022.01) H04L 9/32(2006.01) H04L 67/104(2022.01) G06F 21/60(2013.01) G06F 21/64(2013.01) G06F 21/62(2013.01)G06N 20/00(2019.01) (54)发明名称 一种对等网络中基于可验证聚合和差分隐 私的异步联邦学习方法 (57)摘要 本发明公开了一种对等网络中基于可验证 聚合和差分隐私的异步联邦学习方法。 该联邦学 习方法主要包括五个阶段： 系统初始化阶段、 注 册阶段、 本地模型训练阶段、 模型分发阶段、 模型 聚合阶段。 本发 明针对异步联邦学习中的数据隐 私保护和模 型性能问题， 提出了一种基于本地数 据集测试和余弦值检测的可验证的联邦学习方 案。 在进行本地模型更新前， 通过模型验证方案 筛选出有效的模 型更新， 舍弃在验证测试中表现 较差的模型更新， 以提高聚合模型的性能。 同时， 在方案中设计了一种结合本地差分隐私方法的 隐私保护方法以保证用户数据的安全。 本发明在 异步联邦学习场景下， 达到了高可靠性、 高安全 性、 高性能的设计目标， 具有较强的实际运用价 值。 权利要求书3页 说明书6页 附图1页 CN 114363043 A 2022.04.15 CN 114363043 A 1.一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法， 其特征在于， 所 述方法包括如下步骤： 1)系统初始化阶段： a)客户端数据库初始化： 在对等网络环境下参与异步联邦学习的第i个客户端用ui表 示， 每一个客户端ui分别维护自己的本地数据集Di＝{(x1,y1),...,(xn,yn)}， 其中xi为该客 户端数据集中第i个数据的特征值， yi为第i个数据的标签值； 在系统初始化阶段， 由客户端 ui对自己的本地 数据集Di进行划分， 其中训练集用于模型训练， 验 证集用于在模型验 证阶段 对接收到的模型 更新进行筛 选； b)通信参数初始化： 模型更新通过建立可信信道进行传输； CA为可信第三方机构， 参与 可信信道的搭建； 可信第三方CA在 初始化阶段生成建立信道必要的系统参数； 2)注册阶段： 可信第三方CA首先生成一组公私密钥对， 其中CA生成的公钥表示为mpk， 私钥表示为 msk， 该组公私密钥对以(msk,mpk)进行表 示， 并指定签名方案∑， CA将使用签名方案∑为在 联邦学习系统中的各个客户颁 发签名证书以提供客户端的身份认证； 签名方案∑和CA公私 密钥对中的公钥mpk 都由CA进 行公开； 系统中的每一个客户端都会生成自己的公私密钥对， 其中， 客户端ui生成的公钥用 表示， 私钥用 表示， 该组公私密钥对用 表 示， 该公私密钥对与签名方案∑对应； 客户端ui将它的公钥 发送给可信第三方CA， 由CA 为每一个客户端生成用其私钥msk签名的成员证书， 使得系统中客户端的身份都能够得到 认证； 3)本地模型训练阶段： 客户端根据初始化阶段分割的训练集进行本地模型训练； 首次训练时， 生成初始化模 型用 表示， 将 作为训练的初始模型， 对于进行第t轮模型训练 的用户训练模型为 设置最大训练轮次为T,当前训练轮次以t表示， 客户端ui进行t轮训练得到的模型表示为 设置第t轮训练中的隐私预算参数为εt， 隐私预算εt用于实现本地差分隐私时控制添 加的噪声干扰量， 采用高斯机制 添加噪声， 噪声分布服从均值为0， 标准差为 的高斯 分布N(0, σ2)； 为了抵抗来自半诚实的客户端 或恶意客户端的推理攻击， 引入本地差分隐私 方法来保护隐私数据不受好奇或恶意客户端的影响， 方法如下： 客户端通过添加噪声进行 扰乱， 在保证模型精度的同时对 数据隐私进 行有效保护， 对于进 行第t轮模型训练的客户端 ui， 其本地模型为 在将这个本地模型发送给其他客户端之前， 客户端ui根据设置的隐 私预算εt控制添加的噪声量， 通过计算 添加噪声得到用于分发的模型 实现本地差分隐私； 4)模型分发阶段： 当客户端完成本地模型训练后， 进入模型分发与验证阶段； 在异步联邦学习中， 允许每 个客户端 进行的训练轮次不 一致， 也允许接受到来自周围客户端的模型个数不 一致；权　利　要　求　书 1/3 页 2 CN 114363043 A 2模型分发阶段中： 客户端ui将选择周围通信条件 好的m个客户端， 并向选 择的m个客户端 发送本地训练得到的模型； 由可信安全信道保证传输数据的安全， 模型数据在传输过程中 无法被外 部敌手获取； 5)模型聚合阶段： 在对等网络中， 客户端各自对模型进行更新与聚合， 不设置中心聚合服务器， 客户端ui 在第t轮模型训练时接收到的来自客户端uj的模型更新为 来自其他客户端的模型更 新的准确性由各客户端自行验证， 通过验证的模型 更新将用于模型聚合 生成新的模型； 客户端ui在验证阶段首先根据自身精度要求指定一个精度参数β(0<β ≤1)， β 的基准值 为0.5， β 值越 大， 精度要求越高； 然后先进 行数据集质量验证， 再进行模 型更新质量验证， 具 体如下： a)训练数据集质量验证： 根据收到的来自其他客户端的模型更新与本地模型的相似性 评估其他客户端的数据集质量， 以验证其他客户端的数据集是否遭遇投毒攻击； 计算模型 更新与本地模型的余弦值来计算相似度： 首先计算客户端ui的本地模型 与接收到 的客 户端uj的模型更新 之间的内积 μ(ui,uj)， 即: 然后通过 下式计算本地模型 和更新模型 的余弦值cos(ui,uj)： 各客户端将根据验证结果独立选择是否采用接收到的模型更新； 如果本地模型和更新 模型的余弦值cos(ui,uj)小于参数β， 则训练该更新模型的数据集质量较低， 可能受到投毒 攻击； b)模型更新质量验证： 当模型更新通过数据集质量验证后， 进行临时聚合， 然后利用测 试集数据对临时聚合模型 的精度进行测试， 如果临时聚合模型的精度低于本地模型， 客户 端将放弃这种低质量的模型更新， 继续使用本地模型进行训练； 为了防止服务器获取原始 的模型更新来推断客户端的 隐私信息， 采用一种异 步聚合方法， 对于由k个客户端组成的集 合U＝{u1,u2,...,uk}其中每一个客户端ui都保有自己的数据集Di， Di是整个联邦学习的整 体用户数据集{∪Di}的一个子 集； 在异步 联邦学习中， 客户端ui的目标就是去通 过模型训练 获得最优模 型M， 模型M是由特征值x作为自变量， 模 型参数w作为自变量系数的函数h(w,x)， 即M＝h(w,x)； Lj(w)是模型参数为w的模型对 于第j个样本的损失函 数， Fi(w)是模型参数为w 的模型对于客户端 ui数据集Di的平均损失函数， 则模型训练的优化目标为： 异步联邦学习中每个客户端的训练目标就是使自身的损失函数最小化， 各客户端在本权　利　要　求　书 2/3 页 3 CN 114363043 A 3