(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211229604.4 (22)申请日 2022.10.09 (71)申请人 华控清交信息科技 （北京） 有限公司 地址 100084 北京市海淀区中关村东路1号 院3号楼10层10 09-1 (72)发明人 陈智隆　陈琨　苏乐　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 专利代理师 李欣 (51)Int.Cl. G06N 20/00(2019.01) G06F 21/60(2013.01) (54)发明名称 一种模型训练中的权重聚合方法、 装置及系 统 (57)摘要 本申请公开了一种模型训练中的权重聚合 方法、 装置及系统， 涉及多方安全计算技术领域 和隐私计算技术领域， 包括： 分片聚合设备接收 模型训练设备 发送的梯度分片， 该梯度分片为该 模型训练设备将模型训练得到的梯度进行拆分 得到的多个梯度分片之一， 该多个梯度分片的数 量与多个分片聚合设备的数量相同， 该多个梯度 分片中的其他梯度分片分别由该模型训练设备 一一对应的发送给其他分片聚合设备； 当需要进 行梯度聚合时， 基于本次聚合所接收到的来自各 模型训练设备的各梯度分片， 进行梯度聚合， 得 到本次聚合的权重分片； 向模型训练设备发送权 重分片。 采用本方案， 实现了采用多方安全技术 对机器学习模型的联合训练。 权利要求书2页 说明书10页 附图5页 CN 115481754 A 2022.12.16 CN 115481754 A 1.一种模型训练中的权重聚合方法， 其特征在于， 应用于模型训练系统中的每个分片 聚合设备， 所述模型训练系统包括多个分片聚合设备和多个模型训练设备， 所述方法， 包 括： 接收模型训练设备发送的梯度分片， 该梯度分片为该模型训练设备将模型训练得到的 梯度进行拆分得到的多个梯度分片之一， 该多个梯度分片的数量与所述多个分片聚合设备 的数量相同， 该多个梯度分片中的其他梯度分片分别由该模型训练设备一一对应的发送 给 其他分片聚合设备， 其 他每个分片聚合设备接收到其中一个梯度分片； 当需要进行梯度聚合时， 基于本次聚合所接收到的来自各模型训练设备的各梯度分 片， 进行梯度聚合， 得到 本次聚合的权 重分片； 向模型训练设备发送所述权 重分片。 2.如权利要求1所述的方法， 其特征在于， 所述当需要进行梯度聚合时， 基于本次聚合 所接收到的来自各模 型训练设备的各梯度分片， 进 行梯度聚合， 得到本次聚合的权重 分片， 包括： 当需要进行梯度聚合时， 针对本次聚合所接收到的来自各模型训练设备的各梯度分 片， 确定其中是否存在不参与聚合的梯度分片， 当一个梯度分片的其他属于同一梯度的梯 度分片未全部被其 他分片聚合设备接收到时， 该梯度分片为 不参与聚合的梯度分片； 将本次聚合所接收到的来自各模型训练设备的各梯度分片中需要参与聚合的梯度分 片进行聚合， 得到 本次聚合的权 重分片。 3.如权利要求1所述的方法， 其特征在于， 所述当需要进行梯度聚合时， 基于本次聚合 所接收到的来自各模型训练设备的各梯度分片， 进行梯度聚合， 包括： 当聚合周期到达时， 基于本次聚合所接收到的来自各模型训练设备的各梯度分片， 进 行梯度聚合。 4.如权利要求1所述的方法， 其特征在于， 所述当需要进行梯度聚合时， 基于本次聚合 所接收到的来自各模型训练设备的各梯度分片， 进行梯度聚合， 包括： 当接收到模型训练设备发送的权重请求 时， 基于本次聚合所接收到的来自各模型训练 设备的各梯度分片， 进行梯度聚合； 所述向模型训练设备发送所述权 重分片， 包括： 向发送所述权 重请求的该模型训练设备发送所述权 重分片。 5.一种模型训练中的权重聚合方法， 其特征在于， 应用于模型训练系统中的每个模型 训练设备， 所述模型训练系统包括多个分片聚合设备和多个模型训练设备， 所述方法， 包 括： 将本次模型训练得到的梯度拆分为多个梯度分片， 该多个梯度分片的数量与 所述多个 分片聚合设备的数量相同； 向所述多个分片聚合设备一一对应的发送所述多个梯度分片， 每个分片聚合设备接收 到其中一个梯度分片， 使得分片聚合设备在接收到梯度分片后， 当需要进 行梯度聚合时， 基 于本次聚合所接 收到的来自各模型训练设备 的各梯度分片， 进行梯度聚合， 得到本次聚合 的权重分片。 6.如权利要求5所述的方法， 其特 征在于， 还 包括： 接收所述多个分片聚合设备发送的本次聚合的权 重分片；权　利　要　求　书 1/2 页 2 CN 115481754 A 2将属于本次聚合的多个权 重分片进行聚合， 得到用于下次训练的权 重。 7.如权利要求5所述的方法， 其特征在于， 在所述接收所述多个分片聚合设备发送的本 次聚合的权 重分片之前， 还 包括： 向所述多个分片聚合设备发送权 重请求。 8.一种模型训练中的权重聚合装置， 其特征在于， 应用于模型训练系统中的每个分片 聚合设备， 所述模型训练系统包括多个分片聚合设备和多个模型训练设备， 所述装置， 包 括： 梯度分片接收模块， 用于接收模型训练设备发送的梯度分片， 该梯度分片为该模型训 练设备将模型训练得到的梯度进 行拆分得到的多个梯度分片之一， 该多个梯度分片的数量 与所述多个分片聚合设备的数量相同， 该多个梯度分片中的其他梯度分片分别由该模型训 练设备一一对应的发送给其他分片聚合设备， 其他每个分片聚合设备接收到其中一个梯度 分片； 梯度聚合模块， 用于当需要进行梯度聚合时， 基于本次聚合所接收到的来自各模型训 练设备的各梯度分片， 进行梯度聚合， 得到 本次聚合的权 重分片； 权重分片发送模块， 用于向模型训练设备发送所述权 重分片。 9.一种模型训练中的权重聚合装置， 其特征在于， 应用于模型训练系统中的每个模型 训练设备， 所述模型训练系统包括多个分片聚合设备和多个模型训练设备， 所述装置， 包 括： 梯度拆分模块， 用于将本次模型训练得到的梯度拆分为多个梯度分片， 该多个梯度分 片的数量与所述多个分片聚合设备的数量相同； 梯度分片发送模块， 用于向所述多个分片聚合设备一一对应的发送所述多个梯度分 片， 每个分片聚合设备接收到其中一个梯度分片， 使 得分片聚合设备在接收到梯度分片后， 当需要进行梯度聚合时， 基于本次聚合所接 收到的来自各模型训练设备 的各梯度分片， 进 行梯度聚合， 得到 本次聚合的权 重分片。 10.一种模型训练系统， 其特征在于， 包括： 多个分片聚合设备和多个模型训练设备， 所 述分片聚合设备包括权利要求8所述的装置， 所述模型训练设备包括权利要求9所述的装 置。 11.一种电子设备， 其特征在于， 包括处理器和机器可读存储介质， 所述机器可读存储 介质存储有能够被所述处理器执行的机器可执行指 令， 所述处理器被所述机器可执行指令 促使： 实现权利要求1 ‑4任一所述的方法， 或者， 实现权利要求5 ‑7任一所述的方法。 12.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处理器执行时实现权利要求1 ‑4任一所述的方法， 或者， 实现权利 要求5‑7任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115481754 A 3