(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211031351.X (22)申请日 2022.08.26 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 谷石桥　杨柳　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 吴学颖 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 基于图卷积超网络的个性 化联邦学习方法 (57)摘要 本发明公开了一种基于图卷积超网络的个 性化联邦 学习方法： 各客户端初始化本地模型参 数， 划分训练集和测试集； 各客户端使用其训练 集对其本地模型更新N次， 本地梯度 向量上传服 务器； 服务器对所有梯度向量计算余弦距离， 构 建客户端相关性矩阵； 服务器对 所有梯度向量主 成分分析降维， 作为每个客户端嵌入向量； 服务 器初始化图卷积超网络； 相关性矩阵及嵌入向量 输入到初始化后的图卷积超网络， 产生每个客户 端的本地模型， 发送到客户端， 计算损失值及梯 度， 梯度传至服务器， 计算出客户端本地损失对 图卷积超网络参数的梯度， 更新图卷积超网络参 数； 嵌入向量和相关性矩阵输入训练好的图卷积 超网络， 产生每 个客户端个性 化本地模型。 权利要求书2页 说明书6页 附图1页 CN 115271101 A 2022.11.01 CN 115271101 A 1.一种基于图卷积超网络的个性 化联邦学习方法， 其特 征在于， 包括以下 过程： 步骤S101： 各客户端初始化本地模型参数， 并分别将其各自的本地数据集划分为训练 集和测试集； 步骤S102： 各客户端使用其训练集通过随机梯度下降算法对其本地模型更新N轮次， 并 将更新时积累的本地梯度向量均上传至服 务器端； 步骤S103： 服务器端将接收到的客户端模型梯度向量进行展平处理， 并对所有的梯度 向量两两计算余弦距离， 构建客户端相关性矩阵； 步骤S104： 服务器端对接收到的所有客户端模型的梯度向量进行主成分分析降维， 将 降维后的向量作为每 个客户端的嵌入向量； 步骤S105： 服务器端初始化图卷积超网络， 其输入维度为客户端嵌入向量的维度， 输出 维度为客户端本地模型的维度； 步骤S106： 将由步骤S103得到的相关性矩阵及步骤S104得到的客户端嵌入向量输入到 步骤S105初始化后的图卷积超网络中， 产生每个客户端的本地模型， 再将这些模型发送到 客户端， 在客户端本地计算损失值及梯度， 并将梯度传输至服务器， 由链式法则计算得出客 户端本地损失对图卷积超网络参数的梯度， 经过反向传播算法不断更新图卷积超网络参 数， 直至收敛； 步骤S107： 将客户端的嵌入向量和相关性矩阵输入到经步骤S106训练好的图卷积超网 络中， 产生每 个客户端个性 化的本地模型。 2.根据权利要求1所述的基于图卷积超 网络的个性化联邦学习方法， 其特征在于， 步骤 S101中根据各客户端收集的数据格式不同， 各客户端采取不同的神经网络模型。 3.根据权利要求1所述的基于图卷积超 网络的个性化联邦学习方法， 其特征在于， 步骤 S102中n个客户端本地模型的更新过程如下 所示： 其中， wk为第k个客户端的本地模 型， w′k为更新后的第k个客户端的本地模型， 为第k个客户端的本地模型在其本地数据上计算的梯度， η为更新步长； 此过程在客户端进 行N次， 此外， 步骤S102中待上传的第k个客户端本地模型更新得到的梯度向量为更新前后 两个本地模型的差值： hk＝w′k‑wk 4.根据权利要求1所述的基于图卷积超 网络的个性化联邦学习方法， 其特征在于， 步骤 S103中所述客户端相关性矩阵为： A＝(Aij)n×n， 其中， Aij＝1‑cos<hi,hj>， hi为第i个客户端本地模型更新得到的梯度向量， hj为第j个 客户端本地模型更新得到的梯度向量； 此外， 将客户端相关性矩阵A中元素大于 设定阈值的 值置为0， 其 余值置为1， 从而将客户端相关性矩阵A变为0 ‑1邻接矩阵。 5.根据权利要求1所述的基于图卷积超 网络的个性化联邦学习方法， 其特征在于， 步骤 S104中降维后得到的嵌入向量如下： 其中， 为客户端梯度向量经PCA降维后的结果。权　利　要　求　书 1/2 页 2 CN 115271101 A 26.根据权利要求1所述的基于图卷积超 网络的个性化联邦学习方法， 其特征在于， 步骤 S105中的图卷积超网络结构包括： (1)图卷积神经网络： 通过图卷积 操作得到客户端融合特 征； (2)前馈神经网络： 各个客户端共享该前馈神经网络模型， 针对每个客户端融合特征产 生其本地个性 化模型； 另外， 所述图卷积超网络的输入为嵌入向量和相关性矩阵， 输出为客户端本地模型参 数； 其正向传播过程如下： 其中， φ为图卷积的参数， 为前馈神经网络的参数， 表示经过T次的图卷积正向传播 过程， V(T)表示第T层图卷积网络的输出， H表示前馈神经网络， 由图卷积超网络产生 的n个客户端的本地模型， GHN表示图卷积超网络 。 7.根据权利要求1所述的基于图卷积超 网络的个性化联邦学习方法， 其特征在于， 步骤 S106中图卷积超网络参数的梯度由链式法则计算如下： 其中， 分别为第k个客户端的训练损失对图卷积超网络参数 φ的梯度， 它们可经链式法则求得， 表示第k个客户端训练集损失对权重wk 的梯度， 表示前馈神经网络的输出即wk对前馈神经网络参数 的梯度， 表示wk对图卷积网络输出V(T)的梯度， 表示图卷积网络输出V(T)对图 卷积网络参数φ的梯度。 经 过多次随机梯度下降以训练图卷积超网络 。权　利　要　求　书 2/2 页 3 CN 115271101 A 3