(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111527202.8 (22)申请日 2021.12.13 (71)申请人 天翼物联科技有限公司 地址 510335 广东省广州市海珠区 阅江西 路366号广报中心南塔21层 (72)发明人 张姝彦　朱明　丁霞　王世杰　 张峰　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 代理人 郑宏谋 (51)Int.Cl. G06F 9/455(2006.01) G06N 20/00(2019.01) (54)发明名称 分布式深度学习任务处理系统、 方法、 设备 及存储介质 (57)摘要 本申请公开了一种分布式深度学习任务处 理系统、 方法、 设备及存储介质， 该系统包括任务 配置模块， 用于响应用户对组件的拖拽操作， 在 前端页面上形成深度学习流水线， 并将所述深度 学习流水线传入后端进行解析， 得到有向无环 图； 任务执行模块， 用于将所述有向无环图中的 每一个组件打包为容器文件， 并形成流水线任务 后在kubernetes中运行； 任务调度模块， 用于配 置深度学习任务的定时运行的时间或者周期； 模 型部署模块， 用于根据用户输入的指令， 对训练 好的深度学习任务模型进行一站式部署。 该系统 可将算法研发人员从重复劳动中解放出来， 降低 了人工成本。 本申请可广泛应用于人工智能技术 领域内。 权利要求书2页 说明书8页 附图2页 CN 114371909 A 2022.04.19 CN 114371909 A 1.一种分布式深度学习任务处 理系统， 其特 征在于， 包括： 任务配置模块， 用于响应用户对组件的拖拽操作， 在前端页面上形成深度 学习流水线， 并将所述深度学习流水线传入后端 进行解析， 得到有向无环图； 任务执行模块， 用于将所述有向无环图中的每一个组件打包为容器文件， 并形成流水 线任务后在kubernetes中运行； 任务调度模块， 用于配置深度学习任务的定时运行的时间或者周期； 模型部署模块， 用于根据用户输入的指令， 对训练好的深度学习任务模型进行一站式 部署。 2.根据权利要求1所述的一种分布式深度学习 任务处理系统， 其特征在于， 所述任务执 行模块具体用于： 将所述有向无环图中的每一个组件， 通过Docker引擎打包为镜像文件； 通过kubeflow将各个所述镜像文件 组合成流水线任务， 通过kubernetes对所述镜像文 件进行容器编排， 以将流水线任务调度至对应的节点上， 并基于工作流信息对流水线任务 的节点进行运 算。 3.根据权利要求1所述的一种分布式深度学习 任务处理系统， 其特征在于， 所述组件包 括预处理组件、 数据清洗组件和模型训练 组件。 4.根据权利要求1 ‑3中任一项所述的一种分布式深度学习任务处理系统， 其特征在于， 所述系统还 包括： 任务管理模块， 用于接收用户的查询指令， 在前端页面上显示深度学习任务的工作流 信息。 5.一种分布式深度学习任务处 理方法， 其特 征在于， 包括以下步骤： 响应用户对组件的拖拽操作， 在前端页面上形成深度学习流水线， 并将所述深度学习 流水线传入后端 进行解析， 得到有向无环图； 将所述有向无环图中的每一个组件打包为容器文件， 并形成流水线任务后在 kubernetes中运行， 得到训练好的深度学习任务模型； 根据用户输入的指令， 对训练好的深度学习任务模型进行一站式部署。 6.根据权利要求5所述的一种分布式深度学习 任务处理方法， 其特征在于， 所述将所述 深度学习流水线传入后端 进行解析， 得到有向无环图， 包括： 对所述深度学习流水线 进行解析， 得到 工作流jso n串； 将所述工作 流json串中的节点列表转换为节点id， 并将所述工作 流json串中的连接线 列表转换为键值对； 遍历所述节点 id和所述键值对， 构建得到有向无环图。 7.根据权利要求5所述的一种分布式深度学习 任务处理方法， 其特征在于， 所述组件包 括预处理组件、 数据清洗组件和模型训练 组件。 8.根据权利要求5所述的一种分布式深度学习 任务处理方法， 其特征在于， 所述方法还 包括以下步骤： 接收用户的查询指令， 在前端页面上显示深度学习任务的工作流信息 。 9.一种计算机设备， 其特 征在于， 包括： 至少一个处 理器；权　利　要　求　书 1/2 页 2 CN 114371909 A 2至少一个存 储器， 用于存 储至少一个程序； 当所述至少一个程序被所述至少一个处理器执行， 使得所述至少一个处理器实现如权 利要求4‑8中任一项所述的分布式深度学习任务处 理方法。 10.一种计算机可读存储介质， 其中存储有处理器可执行的程序， 其特征在于： 所述处 理器可执行的程序在由处理器执行时用于实现如权利要求4 ‑8中任一项 所述的分布式深度 学习任务处 理方法。权　利　要　求　书 2/2 页 3 CN 114371909 A 3