(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111169752.7 (22)申请日 2021.10.08 (71)申请人 东北大学 地址 110819 辽宁省沈阳市和平区文化路 三巷11号 (72)发明人 毕远国　项天敖　闫飞宏　王博洋　 郭朋超　 (74)专利代理 机构 大连理工大 学专利中心 21200 代理人 温福雪 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 一种移动边缘计算中的云边端联邦学习方 法 (57)摘要 本发明属于边缘计算技术领域， 提供了一种 移动边缘计算中的云边端 联邦学习方法， 以降低 通信轮次， 提高所提出的三层边缘计算架构中的 训练的机器学习模型可靠性。 通过让边缘服务器 参与联邦 学习训练过程， 通过动态调整终端设备 中的训练轮次来最小化边缘服务器和终端设备 之间的通信轮次。 通过最小化边缘服务器和终端 设备之间的通信轮次降低了在传输模型过程中 由于信道带宽等因素导 致的模型参数丢失问题。 权利要求书4页 说明书7页 附图4页 CN 113947210 A 2022.01.18 CN 113947210 A 1.一种移动边 缘计算中的云边端联邦学习方法， 其特 征在于， 包括 步骤如下： 第一步， 移动终端设备估计并向服 务器传递计算 最优本地迭代轮次所需的参数； 第二步， 服务器基于实现最小通信轮次的本地训练轮次动态调整。 2.根据权利要求1所述的一种移动 边缘计算中的云边端联邦学习方法， 其特征在于， 所 述第二步， 服务器基于实现最小通信轮次的本地训练轮次动态调整； 具体包括 步骤为： 2‑1选取控制参数； 2‑2估计最优本地训练轮次与对应的最小通信轮次。 3.根据权利要求1或2所述的一种移动边缘计算中的云边端联邦学习方法， 其特征在 于， 所述第一步， 移动终端设备估计并向服务器传递计算最优本地迭代轮次所需的参数， 具 体为： 选中参与FL过程的移动终端设备， 负责利用本地数据训练由边缘服务器发送的本轮 的初始化机器学习模型， 并且由边缘服务器控制选中终端设备 的本地训练轮次； 在训练的 过程中终端设备记录初始化机器学习模型并收集训练过程中的数据， 在训练结束后利用收 集的数据以及初始化机器学习模型估计由自己训练模型的利普西茨系数和 光滑系数并连 同模型返回给边 缘服务器。 4.根据权利要求1或2所述的一种移动边缘计算中的云边端联邦学习方法， 其特征在 于， 所述2 ‑1选取控制参数， 具体步骤如下： 首先， 给出理论上最优本地训练轮次e*： η是训练时选取的步长， L是损失函数的二阶利 普希茨常数， β 是损失函数的光滑系数， ν 是中心化随机梯度下降法得出的机器学习模型权重与最优机器学习模型权重之差倒数的 上界， μ是联邦平均算法训练的机器学习损失函数与最优损失函数值之差的下界， δ是 由联 邦平均算法聚合后模型产生的梯度散度， 其定义如下； 其中 表示经过聚合后的联邦学习模型的一阶梯度， 表示经过终端i的联 邦学习模型的一阶梯度， δi表示聚合模型和终端i模型的梯度的差距， | ·|表示集合的势， ni 表 示 终 端 i 所 拥 有的 数 据 集 ， nS u m表 示 该 边 缘 服 务 器 范 围 内 终 端的 总 和 ， 其中mink表示在第k轮训练中的最小值 等价于 以及 μ＝mi n||F(w(c)(t))‑F(w*)||2：权　利　要　求　书 1/4 页 2 CN 113947210 A 2由于在实际应用场景下公式(1)中的ν和 μ难以取得， 因此利用一阶利 普西茨连续条件， 将公式(1)中ν μ2经过放缩转 化为： 用 ζ代表公式(3)中未知的参数即： w(c)(t)表示中心化随机梯度下降法在对应t时刻的机器 学习模型参数； w*表示能够最小 化模型损失函数的最优模型参数即问题的最优解； maxk表示在第k轮训练中的最大值； ζ小 于1， 通过控制其取值在计算 最优本地迭代轮次 时， 达到接近其理论 值的目的。 5.根据权利要求3所述的一种移动 边缘计算中的云边端联邦学习方法， 其特征在于， 所 述2‑1选取控制参数， 具体步骤如下： 首先， 给出理论上最优本地训练轮次e*： η是训练时选取的步长， L是损失函数的二阶利 普希茨常数， β 是损失函数的光滑系数， ν 是中心化随机梯度下降法得出的机器学习模型权重与最优机器学习模型权重之差倒数的 上界， μ是联邦平均算法训练的机器学习损失函数与最优损失函数值之差的下界， δ是 由联 邦平均算法聚合后模型产生的梯度散度， 其定义如下； 其中 表示经过聚合后的联邦学习模型的一阶梯度， 表示经过终端i的联 邦学习模型的一阶梯度， δi表示聚合模型和终端i模型的梯度的差距， | ·|表示集合的势， ni 表 示 终 端 i 所 拥 有的 数 据 集 ， nS u m表 示 该 边 缘 服 务 器 范 围 内 终 端的 总 和 ， 其中mink表示在第k轮训练中的最小值 等价于 以及 μ＝mi n||F(w(c)(t))‑F(w*)||2：权　利　要　求　书 2/4 页 3 CN 113947210 A 3