(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111386087.7 (22)申请日 2021.11.22 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 李侃　李洋　 (74)专利代理 机构 北京京万通知识产权代理有 限公司 1 1440 代理人 刘浩　许天易 (51)Int.Cl. G06N 3/08(2006.01) G06N 20/00(2019.01) G06N 3/04(2006.01) (54)发明名称 一种面向非独立同分布数据的联邦互学习 模型训练方法 (57)摘要 本发明提供了一种面向非独立同分布数据 的联邦互学习模型训练方法， 包括： S1、 将初始全 局模型参数发送至中间客户端， 中间客户端生成 中间客户端模型参数， S2、 边缘客户端利用本地 数据集生成边缘客户端模型参数； S3、 中间客户 端和边缘客户端利用互学习方法更新参数； S4、 将中间客户端模型输出的概率预测值上传至服 务器， 服务器利用蒸馏技术更新全局模型和中间 客户端模型； S5、 执行步骤S3～S4， 直到模型满足 收敛条件， 得到最终的中间客户端模型、 边缘客 户端模型和全局模型， 然后服务器将最终的全局 模型广播到所有边缘客户端。 在本发明中， 通过 分组互学习和知识蒸馏方法解决非独立同分布 数据的联邦学习通信带宽限制和模型生成的问 题。 权利要求书2页 说明书8页 附图2页 CN 114091667 A 2022.02.25 CN 114091667 A 1.一种面向非独立同分布数据的联邦互学习模型训练方法， 其特征在于， 所述方法包 括： S1、 服务器将初始化全局模型参数发送至各组的中间客户端， 中间客户端利用中间客 户端数据集生成中间客户端模型参数， 将生成的中间客户端模型参数发送到组内的边缘客 户端； S2、 边缘客户端接收中间客户端模型参数， 边缘客户端利用本地数据集生成边缘客户 端模型参数； S3、 组内的中间客户端和边缘客户端利用互学习方法， 执行多轮训练， 更新中间客户端 模型参数和边 缘客户端模型参数； S4、 所有组的中间客户端将中间客户端模型的标签类别概率预测值上传至服务器， 更 新全局模型参数； S5、 重复执行步骤S3 ‑S4， 直到满足收敛条件,得到中间客户端模型、 边缘客户端模型和 全局模型， 服 务器将生成的最终全局模型广播到所有边 缘客户端。 2.根据权利要求1所述的模型训练方法， 其特征在于， 全局模型、 中间客户端模型、 边缘 客户端模型为神经网络模型。 3.根据权利要求1所述的模型训练方法， 其特征在于， 在步骤S2中， 中间客户端和边缘 客户端分别在本地数据集上利用随机梯度下降算法更新模型参数。 4.根据权利要求1所述的模型训练方法， 其特 征在于， 在步骤S3中， 互学习方法包括： S31、 将组内的所有边缘客户端模型在t轮时的输出记为 C为边缘客 户端的数量， 计算标签类别的概率预测值 并传输到中间客户端； i表示第i个中间客户 端， j表示第i个中间客户端连接的第j个边 缘客户端； S32、 第i组的中间客户端计算 c表示边缘客户端， 计 算第i组的中间客户端模型与组内边缘客户端模型的KL散度DKL和第i组的中间客户端模型 的损失函数 S33、 第i组的中间客户端在中间客户端数据集上利用随机梯度 下降算法更新中间客户 端模型参数 S34、 第i组的第j个边 缘客户端计算KL散度DKL和损失函数 S35、 边缘客户端在边缘客户端数据集上利用随机梯度下降算法更新边缘客户端模型 参数 S36、 执行N轮S3 1‑S35后， 所有的中间客户端计算标签类别的概率预测值 并传输至 服务器。 5.根据权利要求4所述的模型训练方法， 其特征在于， 所述步骤S31中， 散度公式为： m表示中间客户端， 表示第i组的中间客户权　利　要　求　书 1/2 页 2 CN 114091667 A 2端第t轮的标签类别的概率预测值 ， 第i组的中间客 户端模型的 损失函数为 6.根据权利要求4所述的模型训练方法， 其特征在于， 所述步骤S34中， 损失函数的计算 公式为： 7.根据权利要求4所述的模型训练方法， 其特征在于， 边缘客户端模型的Softmax函数 中添加温度参数T， 用于调整输出的概率分布， 边缘客户端计算得到对应标签类别的概率预 测值 8.根据权利要求4所述的模型训练方法， 其特征在于， 服务器接收中间客户端模型的对 应标签类别的概 率预测值 中间客户端的输出 i表 示第i个中间客户端， m表示中间客户端类型， 采用蒸馏学习方法更新全局模型， 蒸馏学习方 法包括： S41、 服务器计算全局模型的损失函数 z表示服务器与中间客户端的 交互轮数， 公式为： S42 、 在服务器的 本地数 据集上 利 用梯度下降 算法更新全 局模型参数 ： z为中间客户端和边 缘客户端相互学习的轮数； S 4 3 、各 组 中 间 客 户 端 分 别 计 算 K L 散 度 和 损 失 函 数 ， 公 式 为 ： 权　利　要　求　书 2/2 页 3 CN 114091667 A 3