(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111470644.3 (22)申请日 2021.12.0 3 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 邓晓歌　李东升　孙涛　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 代理人 彭小兰 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 基于自适应聚合稀疏通信的学习方法、 装 置、 设备及 介质 (57)摘要 本发明涉及分布式学习领域， 公开了一种基 于自适应聚合稀疏通信的学习方法、 装置、 设备 及介质， 本发 明获取自适应聚合规则并根据所述 自适应聚合规则确定目标节点； 对 所述目标节点 对应的目标信息进行稀 疏处理； 根据预设序列结 合李雅普诺夫函数计算收敛结果； 对深度神经网 络模型进行训练以获得学习方法， 通过自适应选 择规则自适应地跳过一些通信轮次， 并通过对传 输信息进行稀 疏化来进一步减少通信比特数。 对 于top‑k稀疏化算子的有偏性， 算法使用了一种 误差反馈格式， 实现了充分利用分布式集群的计 算能力的技 术效果。 权利要求书2页 说明书7页 附图2页 CN 114118381 A 2022.03.01 CN 114118381 A 1.一种基于自适应聚合稀疏通信的学习方法， 其特 征在于， 所述方法包括： 获取自适应聚合 规则并根据所述自适应聚合 规则确定目标节点； 对所述目标节点对应的目标信息进行稀疏处 理； 根据预设序列结合李雅普诺夫函数计算收敛 结果； 对深度神经网络模型进行训练以获得 学习方法。 2.如权利要求1所述的方法， 其特征在于， 所述获取自适应聚合规则并根据所述自适应 聚合规则确定目标节点的步骤， 包括： 获取预先设定的自适应聚合 规则； 在与服务器进行通信的节点之间根据所述自适应聚合规则将所有节点划分为两个不 相交的集 合Mt和 在检测到进行第t次迭代时， 使用Mt中节点和新梯度信息， 并在 中重用节点旧 的压缩 梯度信息将迭代通信轮次从M缩小到|Mt|以确定目标节点。 3.如权利要求1所述的方法， 其特征在于， 所述对所述目标节点对应的目标信 息进行稀 疏处理的步骤， 包括： 对所述目标节点对应的目标信息在迭代时选择top ‑k梯度分量， 并将其余梯度分量置 位零， 使得零元 素免于通信。 4.如权利要求3所述的方法， 其特征在于， 所述对所述目标节点对应的目标信 息在迭代 时选择top ‑k梯度分量， 并将其余梯度分量置位零， 使得零元素免于通信的步骤之后， 还包 括： 使用误差反馈技 术， 将稀疏化产生的误差纳入下一 步以保证收敛性； 定义辅助 序列 其中 是m节点上的第t次迭代时的误差 。 5.如权利要求1所述的方法， 其特征在于， 所述根据 预设序列 结合李雅普诺夫函数计算 收敛结果的步骤， 包括： 记 且学习率选择为 其中cγ>0是一个常数， 得 出： 以此来收敛计算结果。 6.如权利要求1所述的方法， 其特征在于， 所述对深度神经网络模型进行训练以获得学 习方法的步骤， 包括： 采用以下迭代格式进行训练， 其中，权　利　要　求　书 1/2 页 2 CN 114118381 A 27.如权利要求1至6任一项所述的方法， 其特征在于， 所述获取自适应聚合规则并根据 所述自适应聚合 规则确定目标节点的步骤之后， 还 包括： 结合自适应聚合 规则， 利用如下迭代格式进行迭代 其中Mt和 分别为第t次迭代中与服 务器进行通信和不进行通信的工作集 合。 8.一种基于自适应聚合稀疏通信的学习装置， 其特 征在于， 所述装置包括： 节点确定模块， 用于获取自适应聚合 规则并根据所述自适应聚合 规则确定目标节点； 稀疏处理模块， 用于对所述目标节点对应的目标信息进行稀疏处 理； 结果获取模块， 用于根据预设序列结合李雅普诺夫函数计算收敛 结果； 模型训练模块， 用于对深度神经网络模型进行训练以获得 学习方法。 9.一种基于自适应聚合稀疏通信的学习设备， 其特征在于， 所述设备包括： 存储器、 处 理器及存储在所述存储器上并可在所述处理器上运行的基于 自适应聚合稀疏通信的学习 程序， 所述基于自适应聚合稀疏通信的学习程序配置为 实现如权利要求 1至7中任一项所述 的基于自适应聚合稀疏通信的学习方法的步骤。 10.一种介质， 其特征在于， 所述介质上存储有基于自适应聚合稀疏通信的学习程序， 所述基于自适应聚合稀疏通信的学习程序被处理器执行时实现如权利要求1至7任一项所 述的基于自适应聚合稀疏通信的学习方法的步骤。权　利　要　求　书 2/2 页 3 CN 114118381 A 3