说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211072281.2 (22)申请日 2022.09.02 (71)申请人 阳光人寿保险股份有限公司 地址 572000 海南省三 亚市迎宾路3 60-1号 三亚阳光金融广场16层 (72)发明人 宋丽娟 冷英英 邢宇强 张凯恒  李瑞 杜晓庆 冯叶飞  (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 荣颖佳 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) (54)发明名称 数据平台任务管理方法、 装置及系统 (57)摘要 本申请提供了一种数据 平台任务管 理方法、 装置及系统, 方法包括: 响应页面化的任务创建 操作, 创建与任务需求信息绑定的DAG任务流; DAG任务流为由多个目标任务节点构成的有向无 环图; 响应针对DAG任务流的触发调度操作, 在测 试环境中对DAG任务流进行任务调度及测试; 在 测试成功后, 响应针对DAG任务流的发布操作, 将 DAG任务流发布至生产环境。 本申请能够通过页 面化的任务创建操作, 按照需求开发对应的DAG 任务流, 并在测试环境中进行任务流的调度及测 试, 测试通过后一键发布生产环境, 降低工作人 员的学习成本的同时, 提高任务发布效率。 权利要求书2页 说明书7页 附图5页 CN 115357365 A 2022.11.18 CN 115357365 A 1.一种数据平台任务管理方法, 其特 征在于, 所述方法包括: 响应页面化的任务创建操作, 创建与任务需求信息绑定的DAG任务流; 所述DAG任务流 为由多个目标任务节点构成的有向无环图; 响应针对所述DAG任务流的触发调度操作, 在测试环境中对所述DAG任务流进行任务调 度及测试; 在测试成功后, 响应 针对DAG任务 流的发布操作, 将所述DAG任务 流发布至生产环境。 2.根据权利要求1所述的方法, 其特征在于, 响应页面化的任务创建操作, 创建与任务 需求信息绑定的DAG任务 流的步骤, 包括: 响应针对需求创建页面的需求创建操作, 生成包含任务需求信 息和任务流创建控件的 显示页面; 响应针对所述显示页面中所述任务 流创建控 件的触控操作, 显示任务 流绘制页面; 响应在所述任务流绘制页面中的任务流绘制操作, 生成与所述任务需求信息绑定的 DAG任务流。 3.根据权利要求2所述的方法, 其特征在于, 所述任务流绘制页面中包括多个任务节点 及任务流绘制 框; 响应在所述任务流绘制页面中的任务流绘制操作, 生成与所述任务需求 信息绑定的DAG任务 流的步骤, 包括: 响应多个目标任务节点被拖拽至所述任务流绘制框, 并根据多个所述目标任务节点间 的依赖关系分行的箭头绘制操作, 在所述任务 流绘制框中生成DAG任务 流。 4.根据权利要求3所述的方法, 其特 征在于, 所述方法还 包括: 响应针对所述目标任务节点的前置条件添加操作, 为所述目标任务节点配置对应的前 置条件; 所述前置条件包括: 指 定任务流中的指 定任务已完成, 或者指定数据 表中存在指 定 信息。 5.根据权利要求1所述的方法, 其特征在于, 在测试环境中对所述DAG任务流进行任务 调度及测试的步骤, 包括: 对所述DAG任务 流进行任务 解析, 确定各个目标任务节点间的任务依赖关系; 根据所述依赖关系以及广 度优先算法进行多任务并行调度执 行; 在所述DAG任务 流中的所有目标任务节点均任务执 行完成后, 确定任务测试成功。 6.根据权利要求1所述的方法, 其特征在于, 所述触发调度操作包括: 手动触发调度操 作或定时触发调度操作。 7.根据权利要求1所述的方法, 其特征在于, 所述目标任务节点对应的任务类型包括以 下之一: Spark  SQL任务、 Spark  Submit任务、 Spark  Shell任务、 Python脚本任 务和Shell脚 本任务。 8.一种数据平台任务管理装置, 其特 征在于, 所述装置包括: 任务创建模块, 用于响应页面化的任务创建操作, 创建与任务需求信息绑定的DAG任务 流; 所述DAG任务 流为由多个目标任务节点构成的有向无环图; 任务触发模块, 用于响应针对所述DAG任务流的触发调度操作, 在测试环境中对所述 DAG任务流进行任务调度及测试; 任务发布模块, 用于在测试成功后, 响应针对DAG任务流的发布操作, 将所述DAG任务流 发布至生产环境。权 利 要 求 书 1/2 页 2 CN 115357365 A 29.一种数据平台任务管理系统, 其特征在于, 包括处理器和存储器, 所述存储器存储有 能够被所述处理器执行的计算机可执行指 令, 所述处理器执行所述计算机可执行指令以实 现权利要求1至7任一项所述的方法。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质存储有计算机可 执行指令, 所述计算机可执行指令在被处理器调用和执行时, 计算机可执行指令促使处理 器实现权利要求1至7任一项所述的方法。权 利 要 求 书 2/2 页 3 CN 115357365 A 3

.PDF文档 专利 数据平台任务管理方法、装置及系统

文档预览
中文文档 15 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据平台任务管理方法、装置及系统 第 1 页 专利 数据平台任务管理方法、装置及系统 第 2 页 专利 数据平台任务管理方法、装置及系统 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:14:12上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。