(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210924160.X (22)申请日 2022.08.03 (65)同一申请的已公布的文献号 申请公布号 CN 114997420 A (43)申请公布日 2022.09.02 (73)专利权人 广州中平智能科技有限公司 地址 510000 广东省广州市南沙区丰泽 东 路106号X1301-I013661 (72)发明人 郑飞州　 (74)专利代理 机构 广州容大知识产权代理事务 所(普通合伙) 44326 专利代理师 刘新年 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) H04L 67/10(2022.01) (56)对比文件 CN 114169010 A,202 2.03.11 审查员 邢丽超 (54)发明名称 基于分割学习和差分隐私融合的联邦学习 系统和方法 (57)摘要 本公开涉及人工智能领域， 具体涉及一种基 于分割学习和差分隐私融合的联邦学习系统和 方法， 所述系统包括： 主 参与方 （master） ， 用于构 建整体模型结构； 参数服务器 （server） ， 用于分 发全局模型结构至其他参与方 （client） ， 并将其 他参与方上传的全局模型参数进行聚合构建出 一个新的全局模型； 其他参与方， 用于私有模型 结构的构建， 并加上所述全局模 型结构构成整体 模型， 并利用本地数据独自完成对整体模型的预 训练， 并将训练好的全局模型参数上传至参数服 务器。 本公开通过分割学习的思想， 将参与方构 建的模型划分为全局模型和私有模 型， 参与方只 会共享局部模型梯度， 并引入差分隐私机制， 极 大地降低了梯度泄 露数据的风险。 权利要求书2页 说明书8页 附图1页 CN 114997420 B 2022.12.16 CN 114997420 B 1.一种基于分割学习和差分隐私融合的联邦学习 系统， 其特 征在于， 包括： 主参与方， 用于构建整体模型结构， 所述整体模型结构的开头部分为私有模型结构， 所 述整体模型结构除了所述开头部分的其余部分是全局模型结构， 将所述全局模型结构上传 至参数服务器； 所述主参与方构建整体模型结构联合建模具体为： 整体模型由私有模型 和全局模型 组成， 所述私有模型 由参数 描述， 所述全局模型 由参数 描述， 设当前 的训练样本为 ， 为样本特征， 为样本标签， 损失函数记为 ， 整体模型的训练目的是 通过更新参数使得所得样本的损失函数值 最小化， 损失函数值 的公式 如下： 其中， 损失函数值 是衡量整体模型的预测值 与样本标签 的 差距； 参数服务器， 用于分发全局模型结构至其他参与方， 并将其他参与方上传的全局模型 参数进行聚合构建出一个新的全局模型； 其他参与 方， 用于私有模型结构的构建， 并加上所述全局模型结构构 成整体模型， 并利 用本地数据独自完成对整体模型的预训练， 并将训练好的全局模型参数上传至参数服务 器； 其他参与方还用于更新私有模型 结构参数和共享引入差分隐私的全局模型梯度； 其中， 整体模型、 全局模型、 私有模型均为神经网络模型。 2.如权利要求1所述的基于分割学习和差分隐私融合的联邦学习系统， 其特征在于， 所 述参数服务器还用于将聚合的全局模型梯度构成新的全局模型参数， 并将其分发给主参与 方和其他参与方。 3.如权利要求1或2所述的基于分割学习和差分隐私融合的联邦学习系统， 其特征在 于， 所述主参与方还用于终止参数服务器和其他参与方的全局模型构建和整体模型的训练 和更新任务。 4.如权利要求1所述的基于分割学习和差分隐私融合的联邦学习系统， 其特征在于， 所 述全局模型梯度 的公式如下： ， 其中， 全局模型梯度为损失函数值 对模型参数 的导数。 5.如权利要求4所述的基于分割学习和差分隐私融合的联邦学习系统， 其特征在于， 其 他参与方会在本 地独立完成对私有模型参数的更新， 其中 为私有模型参 数更新的学习率， 其更新公式如下： 。权　利　要　求　书 1/2 页 2 CN 114997420 B 26.一种基于分割学习和差分隐私融合的联邦学习方法， 其特 征在于， 包括如下步骤： S10、 主参与方构建整体模型结构， 所述整体模型结构的开头部分为私有模型结构， 所 述整体模型结构除了 所述开头部分的其余部分是全局模型结构； 整体模型由私有模型 和 全局模型 组成， 所述私 有模型 由参数 描述， 所述全局模型 由参数 描述， 设当前的 训练样本为 ， 为样本特征， 为样本标签， 损失函数记为 ， 整体模型的训练目的是通 过更新参数使得所得样本的损失函数值 最小化， 损失函数值 的公式如 下： 其中， 损失函数值 是衡量整体模型的预测值 与样本标签 的 差距； S20、 将所述全局模型 结构上传至参数服 务器； S30、 参数服务器分发全局模型结构至其他参与方， 其他参与方构建私有模型结构并加 上所述全局模型 结构构成整体模型， 并利用本地数据独自完成对整体模型的预训练； S40、 所述参数服务器将其他参与方上传的全局模型梯度进行加权平均构建出一个新 的全局模 型， 并将新的全局模型参数分发给主参与方和其他参与方， 所述新的全局模型F的 参数 描述如下： ， ， 其中， 为全局模型参数更新的学习率， N为所有参与方的数目， 为第i个参与方的权重， 为第i个参与方 上传的全局模型梯度； S50、 所述主参与 方和其他参与 方在得到新的全局模型参数后， 通过随机参与建模来选 择本轮迭代是否参与， 参与本次迭代的参与方 执行整体模型的联合建模； S60、 重复步骤S40和S5 0进行反复迭代， 直至主参与方提出终止联合建模 任务为止。 7.如权利要求6所述的方法， 其特征在于， 所述全局模型梯度 的公式如下： ， 其他参与方会在本地独立完成对私有模型参数的更新， 其中 为私有模型 参数更新的学习率， 其更新公式如下： 。权　利　要　求　书 2/2 页 3 CN 114997420 B 3