(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210909190.3 (22)申请日 2022.07.29 (71)申请人 中国科学院计算 技术研究所 地址 100080 北京市海淀区中关村科 学院 南路6号 (72)发明人 谭文婷　史骁　雷正宇　赵晓芳　 (74)专利代理 机构 北京律诚同业知识产权代理 有限公司 1 1006 专利代理师 祁建国　马砚花 (51)Int.Cl. G06N 20/00(2019.01) G06F 9/50(2006.01) G06F 9/48(2006.01) (54)发明名称 基于Serverles s的分布式AI训练系统、 方法 (57)摘要 本发明提出一种基于Serverless的分布式 AI训练系统、 方法， 系统包 括： ServerlessAI训练 云函数单元， 由一组AI训练云函数服务构成的集 合， 用于提供AI训练过程中所需的各类计算服 务； ServerlessAI训练工作流控制 单元， 在接收 到用户提交的AI训练作业的请求的情况下， 依据 所述AI训练作业的训练配置信息编排所述 ServerlessAI训练云函数单元的各云函数服务 的协作关系来组建训练工作流， 并依据所述训练 工作流执行所述AI训练作业， 完成AI模型训练。 该系统基于Serverless计算模型重新构建分布 式训练框架， 在保障训练效率的情况下， 有效的 降低了分布式AI训练对计算资源的消耗， 提高了 资源利用效率。 权利要求书3页 说明书9页 附图5页 CN 115392478 A 2022.11.25 CN 115392478 A 1.一种基于Serverles s的分布式AI训练系统， 其特 征在于， 包括： Serverless  AI训练云函数单元， 由一组AI训练云函数服务构成的集合， 用于提供AI训 练过程中所需的各类 计算服务； Serverless  AI训练工作流控制单元， 在接收到用户提交的AI训练作业的请求的情况 下， 依据所述AI训练作业的训练配置信息编排所述Serverless  AI训练云函数单元的各云 函数服务的协作关系来组建训练工作流， 并依据所述训练工作流执行所述AI训练作业， 完 成AI模型训练。 2.根据权利要求1所述的系统， 其特征在于， 所述serverless  AI训练云函数单元包括 AI训练作业管理云函数集 合、 AI训练任务管理云函数集 合和AI训练计算云函数集 合； 所述AI训练作业管理云函数集 合， 用于提供AI训练作业管理相关操作； 所述AI训练任务管理云函数集 合， 用于提供AI训练任务管理相关操作； 所述AI训练计算云函数集 合， 用于提供AI训练模型计算相关操作。 3.根据权利要求2所述的系统， 其特征在于， 所述AI训练作业管理云函数集合包括AI训 练作业启动云函数服 务、 AI训练作业结束云函数服 务； 所述AI训练作业启动云函数服务， 用于在接收到所述AI训练作业的请求时， 启动训练 任务操作； 所述AI训练作业结束云函数服务， 用于在所述AI训练作业训练完成后， 结束所述训练 操作。 4.根据权利要求3所述的系统， 其特征在于， 所述AI任务管理云函数集合包括AI训练任 务创建云函数服 务、 AI训练任务获取云函数服 务、 以及AI训练任务上报云函数服 务； 所述AI训练任务创建云函数服务， 用于将所述AI训练作业以任务队列的方式切分为若 干子训练任务信息， 构建待执行训练任务队列， 所述子训练任务切分粒度为分布式训练任 务中的一次迭代任务； 所述AI训练任务获取云函数服务， 用于从所述待执行训练任务队列中获取当前子训练 任务信息； 所述AI训练任务上报云函数服务， 用于将获取的当前子训练任务信息的训练结果上 报。 5.根据权利要求4所述的系统， 其特征在于， 所述AI训练计算云函数集合包括AI训练开 始云函数服务、 AI训练任务计算云函数服务、 AI模型参数管理云函数服务和AI训练收敛判 断云函数服 务； 所述AI训练开始云函数服务， 用于针对所述待执行训练任务队列中每一个子训练任务 信息启动训练进程； 所述AI训练任务计算云函数服务， 用于对所述待执行训练任务队列中每一个子训练任 务信息执 行梯度计算， 上报梯度； 所述AI模型参数管理云函数服务， 用于负责聚合各个所述AI训练任务计算云函数服务 上报的梯度， 更新AI训练模型的参数； 所述AI训练收敛判断云函数服务， 用于在所述待执行训练任务队列的各子训练任务信 息执行完毕后， 判断所述AI训练模型的收敛情况。 6.根据权利要求5所述的系统， 其特 征在于， 所述训练工作流包括：权　利　要　求　书 1/3 页 2 CN 115392478 A 2在接收到用户提交的AI训练作业的请求的情况 下， 触发所述AI训练作业启动云函数服务， 针对所述AI训练作业的请求启动训练任务操 作； 触发所述AI训练任务创建云函数服务， 将所述AI训练作业以任务队列的方式切分为若 干所述子训练任务信息， 构建待执 行训练任务队列； 触发所述AI训练开始云函数服务， 在所述待执行训练任务队列不为空的情况下， 针对 所述待执 行训练任务队列中若干 子训练任务信息启动并行训练进程。 7.根据权利要求6所述的系统， 其特 征在于， 所述训练工作流还 包括： 触发所述AI训练收敛判断云函数服务， 在所述并行训练进程结束时， 判断AI训练模型 收敛情况； 在判断AI训练模型收敛的情况下， 触发所述AI训练作业结束云函数服务， 针对所述AI 训练作业结束训练任务操作； 在判断AI训练模型不收敛的情况 下， 启动所述AI训练作业下一轮的训练任务。 8.根据权利要求6所述的系统， 其特 征在于， 所述并行训练进程包括： 触发所述AI训练任务获取云函数服务， 从所述待执行训练任务队列中获取当前子训练 任务信息； 触发所述AI训练任务计算云函数服务， 执行当前子训练任务信 息的梯度计算和梯度 上 报； 触发所述AI模型参数管理云函数服务， 聚合所述AI训练任务计算云函数服务上报的梯 度， 更新所述AI训练模型的参数； 触发所述AI训练任务上报云函数服务， 将获取的当前子训练任务信息的训练结果上 报， 并在所述当前子训练任务信息的训练结果为失败的情况下， 将所述子训练任务信息重 新加入所述待执 行训练任务队列中， 实现任务 容错。 9.一种分布式AI训练方法， 其特征在于， 采用权利要求1 ‑8任一项所述的系统， 所述方 法包括： 在接收到用户提交的AI训练作业的请求的情况下， 依据所述AI训练作业的训练配置信 息编排所述Serverless  AI训练云函数单元的各云函数服务的协作关系来组建训练工作 流， 并 依据所述训练工作流执 行所述AI训练作业， 完成AI模型训练。 10.根据权利要求9所述的方法， 其特征在于， 所述依据所述训练工作流执行所述AI训 练作业包括： 在接收到用户提交的AI训练作业的请求的情况 下， 针对所述AI训练作业的请求启动训练任务操作； 将所述AI训练作业以任务队列的方式切分为若干所述子训练任务信 息， 构建待执行训 练任务队列； 在所述待执行训练任务队列不为空的情况下， 针对所述待执行训练任务队列中若干子 训练任务信息启动并行训练进程； 在所述训练进程结束时， 判断AI训练模型收敛情况； 在判断AI训练模型收敛的情况 下， 针对所述AI训练作业结束训练任务操作；权　利　要　求　书 2/3 页 3 CN 115392478 A 3