(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211119396.2 (22)申请日 2022.09.15 (71)申请人 北京八分量信息科技有限公司 地址 100020 北京市朝阳区崔各庄乡东 辛 店村268号院1号楼二层204 号 (72)发明人 阮安邦　袁凯　邵鑫程　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 葛天祥 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/08(2006.01) (54)发明名称 一种联邦学习调度系统 (57)摘要 本发明涉及信息技术领域， 具体涉及一种联 邦学习调度系统， 包括任务输入器、 网络接口、 任 务调度器、 任务执行器和配置解析器， 任务输入 器接收任务， 任务调度器循环查询数据库， 检查 系统资源是否满足任务所需资源， 若满足， 则将 任务状态更改为等待， 判断是否全部参与方相应 任务id的任务均处于等待状态， 若是， 则将等待 状态更改为就绪状态， 任务执行器循环查询数据 库， 开启新的子进程执行处于就绪状态的任务， 当任务执行结束时， 将任务状态更改为成功。 本 发明的有益技术效果包括： 通过任务调度器实现 对联邦学习相关任务的统一调度， 使联邦学习的 参与方之间同步计算， 减少相互等待时间， 提高 联邦学习的效率。 权利要求书2页 说明书6页 附图2页 CN 115454635 A 2022.12.09 CN 115454635 A 1.一种联邦学习调度系统， 其特 征在于， 包括任务输入器、 网络 接口、 任务调度器、 任务执 行器和配置解析器， 所述任务输入器接收用户提交 的预设格式的任务并分配任务id， 将任务初始化后存入 数据库， 将任务id通报给其他参与方， 所述任务调 度器循环查询数据库， 查询到处于初始 化 状态的任务时， 检查系统资源是否满足任务所需资源， 若满足， 则将任务状态更改为等待， 若不满足， 则任务保持初始 化状态， 查询到处于等待状态的任务时， 所述任务调 度器通过网 络接口与其他参与方通信， 判断是否全部参与方相应任务id 的任务均处于等待状态， 若 是， 则将等待状态更改为就绪状态， 若否， 则 保持等待状态， 所述任务执行器循环查询数据库， 若存在处于就绪状态的任务， 则检查上游任务是否均为成功状态， 若 是， 则开启新的子进程 执行所述处于就绪状态的任务， 并将就绪状态更改为执行状态， 当任务执行结束时， 将任务 状态更改为成功， 若任务执行中出错， 则停止执行任务并将任务状态更改为 失败， 所述任务 执行器执行任务前， 将任务提交所述配置解析器， 所述配置解析器根据任务所需数据资源 及数据资源调用顺序判断任务是否导致死循环， 若将导致死循环， 则终止任务的执行， 将任 务状态更改为失败， 反 之， 执行所述任务。 2.根据权利要求1所述的一种联邦学习调度系统， 其特 征在于， 所述任务执行器执行任务时， 将任务拆分为若干个计算作业， 计算作业的输入为数据 资源， 所述数据资源包括参与方的本地数据资源和/或其他计算作业的结果， 接收所述任务 的参与方记为计算作业的发起方， 计算作业的发起方通过所述通信组件将计算作业 发送给 其他参与方， 全部参与方各自执行计算作业并将计算作业结果发送发起方汇总， 若任务的 全部计算作业均完成， 则所述任务执行器判定完成任务， 将任务状态更改为 成功， 若存在计 算作业未完成， 则判定任务失败， 将任务状态更改为失败。 3.根据权利要求2所述的一种联邦学习调度系统， 其特 征在于， 所述任务执 行器执行计算作业的方法包括： 参数初始化， 所述任务执行器解析任务参数， 为每个计算作业生成并分配计算组件和 存储组件， 所述网络 接口为每 个计算作业 生成并分配通信组件； 计算组件输入获取， 根据任务 参数获得 所需的数据资源， 读取并缓存所需的数据资源； 计算组件执 行， 计算组件将数据资源输入计算作业进行计算， 获得计算作业结果； 计算组件输出持久化存储， 计算组件调用存储组件， 将计算作业结果进行存储， 而后将 计算结果提交通信组件， 通信组件将计算作业结果发送给发起方， 并获得汇总后的计算作 业结果。 4.根据权利要求3所述的一种联邦学习调度系统， 其特 征在于， 所述计算组件、 存储组件和通信组件的配置由所述配置解析器进行配置， 所述配置解 析器为计算组件配置硬件计算资源、 为存储组件分配存储资源并为通信组件分配通信地址 和通信端口。 5.根据权利要求 4所述的一种联邦学习调度系统， 其特 征在于， 所述配置解析器为计算组件配置硬件计算资源的方法为： 所述配置解析器将硬件计算 资源按时段划分为若干个资源时段， 读取每个资源时段已被分配的计算作业数量， 若已被 分配的计算作业数量未超过预设阈值， 则将 硬件计算资源在相应资源时段内的计算资源分 配给计算作业对应的计算组件， 所述计算组件在分配到的资源时段内有权使用所述硬件计权　利　要　求　书 1/2 页 2 CN 115454635 A 2算资源。 6.根据权利要求 4或5所述的一种联邦学习调度系统， 其特 征在于， 所述配置解析器为存储组件分配存储资源的方法为： 所述配置解析器在存储设备上开 辟若干个备用存储空间， 在存储设备上为存储组件分配预设大小的专用存储空间， 当存储 组件的专用存储空间耗尽时， 所述存储组件选择未被占用的备用存储空间， 将选择 的备用 存储空间占用状态改为占用， 当任务执行完成时， 所述配置解析器释放相应存储组件的存 储资源， 当备用存储空间耗尽时， 所述配置解析器开辟新的备用存储空间， 所述存储组件的 专用存储空间和占用的备用存 储空间作为存 储组件的存 储资源。 7.根据权利要求 4或5所述的一种联邦学习调度系统， 其特 征在于， 所述配置解析器为 通信组件分配通信地址和通信端口 的方法包括： 读取通信地址的状态， 若存在未被占用的通信地址， 则将相应的未被占用的通信地址 分配给通信组件， 若不存在未被占用的通信地址， 则等待； 读取通信端口的状态， 若存在未被占用的通信端口， 则将通信端口分配给通信组件， 若 通信端口均被占用， 则选择一个通信端口， 将 选择的通信端口按 预设时长划分使用周期， 每 个使用周期划分子周期， 每个子周期对应一个通信组件， 通信组件在对应的子周期内具有 通信端口 的使用权 。 8.根据权利要求2至 5任一项所述的一种联邦学习调度系统， 其特 征在于， 将任务拆分为若干个计算作业的方法包括将数据集划分为若干个子数据集， 每个子数 据集对模型的训练作为计算作业。 9.根据权利要求1至 5任一项所述的一种联邦学习调度系统， 其特 征在于， 所述配置解析器判断任务是否导 致死循环的方法包括： 所述配置解析器读取 所述任务执 行器当前正在执 行的全部任务； 罗列每个任务调用的数据资源和输出的资源； 按照任务调用的数据资源和输出的资源编制有向无环图， 并进行成环检测； 若存在成环则判定任务会导 致死循环， 反 之， 则判定任务 不存在死循环。权　利　要　求　书 2/2 页 3 CN 115454635 A 3