(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111456896.0 (22)申请日 2021.12.02 (65)同一申请的已公布的文献号 申请公布号 CN 113869528 A (43)申请公布日 2021.12.31 (73)专利权人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 骆正权　王云龙　孙哲南　 (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 代理人 李永叶 (51)Int.Cl. G06N 20/00(2019.01)(56)对比文件 CN 113240128 A,2021.08.10 CN 113627332 A,2021.1 1.09 CN 110807122 A,2020.02.18 WO 2021179196 A1,2021.09.16 Xingchao Peng 等.FEDERATED ADVERSARIAL DOMAI N ADAPTATION. 《ICLR 2020》 .2019,第1-19页. 审查员 王伟 (54)发明名称 共识表征提取和多样性传播的解纠 缠个性 化联邦学习方法 (57)摘要 本发明实施例涉及一种共识表征提取和多 样性传播的解纠缠个性化联邦 学习方法， 通过当 前节点分别接收其他节点各自对应的局部共识 表征提取模 型和特有表征提取模 型； 当前节点使 用其他节点特有表征模型分别提取当前节点数 据的表征， 并计算不同组表征之间的第一互信 息， 通过第一互信息大小确定节 点之间数据分布 相似性， 并根据所述第一互信息确定所述其他节 点各自对应的聚合权重； 当前节 点获得所述当前 节点对应的全局共识表征聚合模 型； 即本发明的 实施例， 通过聚合节点的局部共识表征模型获得 的全局共识表征模型， 具备良好的泛化能力， 并 且基于特有表征相似加权的个性化聚合方案减 弱了节点属性差异巨大 带来的性能负向迁移。 权利要求书3页 说明书15页 附图5页 CN 113869528 B 2022.03.18 CN 113869528 B 1.一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法， 其特征在于， 应用 于个性化联邦学习 系统， 所述个性 化联邦学习 系统包括多个节点； 所述方法包括如下步骤： 步骤S1、 当前节点分别 接收其他节点各自对应的局部共识表征提取模型和特有表征提 取模型； 步骤S2、 当前节点使用其他节点特有表征模型分别提取当前节点数据的表征， 并计算 不同组表征之间的第一互信息， 通过第一互信息大小确定节点之间数据分布相似性， 并根 据所述第一互信息确定所述 其他节点各自对应的聚合权 重； 步骤S3、 当前节点根据所述其他节点各自对应的聚合权重、 所述其他节点各自对应的 局部共识 表征提取模型， 获得 所述当前节点对应的全局共识 表征聚合模型； 其中， 所述 步骤S2中的聚合权 重通过如下公式获得： 其中， Wji表示所述其他节点中的任一节点j所对应的聚合权重； 所述 表示所述其 他节点中的任一节点 j所对应的特有表征提取模型 Esj提取出的当前节点 i的当前节点数据 xi的表征； 表示当前节点 i的特有表征提取模型 Esi提取出的当前节点 i的当前节点数 据xi的表征； I表示互信息计算函数， K表示所述个性化联邦学习系统中的节点数量； Esk（xi） 表示所述个性化联邦学习系统中的节点 k的特有表征提取模型 Esk提取出的当前节点 i的当 前节点数据 xi的表征， 其中， 节点 k的取值为个性化联邦学习 系统中的节点1~K中的任一个。 2.根据权利要求1所述的方法， 其特 征在于， 所述步骤S3中的全局共识 表征聚合模型通过如下公式获得： 其中， 表示所述当前节点 i对应的全局共识表征聚合模型； 表示所述其他节点 中的任一节点 j所对应的局部共识 表征提取模型。 3.根据权利要求1或2所述的方法， 其特 征在于， 所述 步骤S1之前还 包括： 步骤S0、 从所述多个节点中随机选取至少两个节点， 所述至少两个节点用于执行所述 步骤S1‑步骤S3。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 判断迭代执 行所述步骤S0‑步骤S3的次数 是否达到预设聚合轮次； 若否， 则继续返回执 行步骤S0 。 5.根据权利要求 4所述的方法， 其特 征在于， 所述 步骤S0之前还 包括： 步骤S4、 根据每个节点对应的第一预设优化条件， 更新每个节点对应的局部共识表征 提取模型和特有表征提取模 型； 其中， 所述第一预设优化条件包括第二互信息取值最大化、 每个节点对应的局部共识表征提取模型和上一聚合轮次获得 的全局共识表征聚合模型的 相似度取值 最大化， 以及第三互信息取值 最小化；权　利　要　求　书 1/3 页 2 CN 113869528 B 2其中， 所述第 二互信息为节点原始数据与节点对应的局部共识表征提取模型提取得到 的关于所述节点原始数据的表征之间的互信息和节点原始数据与上一聚合轮次获得 的全 局共识表征聚合模型提取 得到的关于所述节点原 始数据的表征之间的互信息的加 和； 所述第二互信息满足以下表达式： ， 其中， 表示所述个性化联邦学习系统中的每个当前节点 i对应的第二互信息， 表示当前节点 i的节点原始数据 X与当前节点 i对应的局部共识表征提取模型 提取出来的关于节点原始数据 X的表征 之间的互信息； 表示当前节 点i的节点原始数据 X与当前节点 i对应的上一聚合轮次获得的全局共识表征聚合模型 提 取出来的关于节点原 始数据X的表征 之间的互信息； 所述第三互信息为以对抗方式分离的节点原始数据的特有表征和共识表征之间的互 信息； 所述第三互信息满足以下表达式： ， 其中，Lclient表示所述个性化联邦学习系统中的每个当前节点 i对应的第三互信息； D（ ） 表示相似度计算函数； P（Esi） 表示每个当前节点 i的特有表征的分布函数； P（Eci） 表示每个 当前节点 i的共识表征的分布函数； D（Esi，Eci） 表示每个当前节点 i的特有表征和共识表征 之间的相似度； P（Esi，Eci） 表示每个当前节点 i的特有表征和共识表征的联合分布函数； 表示计算两个独立分布 P（Esi） 和P（Eci） 的期望； 表示计算 P（Esi，Eci） 的 期望； 步骤S5、 根据每个节点对应的第二预设优化条件， 更新每个节点的节点模型， 其中， 所 述每个节点的节点模型包括节点对应的局部共识表征提取模型、 特有表征提取模型以及节 点私有预测模型， 所述第二预设优化条件为与节点对应的局部共识表征提取模型、 特有表 征提取模型以及节点私有预测模型相关的损失函数 取值最小化。 6.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 判断迭代执 行所述步骤S4、 步骤S5的次数 是否达到预设更新次数； 若是， 则执 行所述步骤S1； 若否， 则返回继续执 行步骤S4。 7.根据权利要求6所述的方法， 其特 征在于， 所述第一预设优化条件L如以下公式： 其中， 表示相似度权 重、 表示第三互信息 权重； 表示第二互信息； 表示通过余弦公式获得相似度；权　利　要　求　书 2/3 页 3 CN 113869528 B 3