(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211124572.1 (22)申请日 2022.09.15 (71)申请人 北京火山引擎科技有限公司 地址 100190 北京市海淀区紫金 数码园4号 楼13层13 09 (72)发明人 辛朝晖　李亚坤　张云尧　刘畅　 (74)专利代理 机构 北京鼎承知识产权代理有限 公司 11551 专利代理师 刘思思 (51)Int.Cl. G06F 8/60(2018.01) G06F 9/50(2006.01) G06F 8/65(2018.01) (54)发明名称 一种针对数据作业的资源管理的方法、 装 置、 电子设备和存 储介质 (57)摘要 本公开提供了一种针对数据作业的资源管 理的方法， 包括： 接收针对目标数据作业的作业 描述信息， 作业描述信息包括第一作业描述信息 和第二作业描述信息； 第一作业描述信息用于以 符合第一表达规则的方式描述与 目标数据作业 有关的配置信息； 第二作业描述信息用于以符合 第二表达规则的方式描述与 目标数据作业有关 的执行状态信息； 基于第一作业描述信息创建作 业管理模块， 作业管理模块用于创建和管理作业 执行模块； 基于所述目标数据作业的执行状态更 新所述目标数据作业的所述第二作业描述信息。 通过两级管 理实现对数据作业的资源 管理， 并通 过统一形式来兼容多种计算框架。 权利要求书2页 说明书15页 附图5页 CN 115454450 A 2022.12.09 CN 115454450 A 1.一种针对数据作业的资源管理的方法， 所述方法包括： 接收针对目标数据作业的作业描述信 息， 所述作业描述信 息包括第 一作业描述信 息和 第二作业描述信息； 第一作业描述信息用于以符合第一表达规则的方式描述与所述目标数 据作业有关的配置信息； 所述第二作业描述信息用于以符合第二表达规则的方式描述与所 述目标数据作业有关的执 行状态信息； 基于所述第 一作业描述信 息为所述目标数据作业创建作业管理模块， 所述作业管理模 块用于为所述目标 数据作业创建作业执 行模块和管理所述作业执 行模块； 基于所述目标 数据作业的执 行状态更新所述目标 数据作业的所述第二作业描述信息 。 2.根据权利要求1所述的方法， 其中， 所述作业描述信 息来自于接口服务器接收到的针 对目标数据作业的处理请求， 所述处理请求中携带所述作业描述信息， 所述处理请求中携 带的所述作业描述信息中的第二作业描述信息包括至少一个空值； 所述基于所述目标数据作业的执行状态更新所述目标数据作业的所述作业描述信 息， 包括： 基于所述目标数据作业的执行状态， 更新所述第 二作业描述信 息中的至少一个所述空 值。 3.根据权利要求1所述的方法， 其中， 所述第一表达规则包括关于所述目标数据作业的以下字段： 创建元数据信息、 作业元 数据信息和管理策略信息； 所述第二表达规则包括关于所述目标数据作业的以下字段： 作业状态信息、 作业生命 周期信息、 当前作业管理模块信息、 历史作业管理模块信息以及当前 的资源分配和使用信 息。 4.根据权利要求3所述的方法， 其中， 所述作业状态信 息包括第 一作业状态信 息和第二 作业状态信息， 所述第一作业状态信息表征针对所述 目标数据作业进行资源管理的状态； 所述第二作业状态信息用于表征所述目标数据作业在所述作业执行模块中按照自身的业 务逻辑执 行数据作业处 理的状态； 所述方法包括： 监听所述作业管理模块和所述作业执 行模块的运行状态； 基于所述 运行状态生成所述第一作业状态信息； 获取所述第二作业状态信息； 基于所述第 一作业状态信 息和所述第 二作业状态信 息， 更新所述目标数据作业的作业 状态信息 。 5.根据权利要求 4所述的方法， 其中， 所述第一作业状态信息包括以下至少一种： 所述作业管理模块已经处于运行状态， 且用于执行所述目标数据作业所需的最少数量 的作业执 行模块处于运行状态； 所述作业管理模块已经处于运行状态， 且用于执行所述目标数据作业所需的最少数量 的作业执 行模块处于待调度状态或容器创建中； 所述作业执 行模块包括多个所述 容器。 6.根据权利要求1所述的方法， 所述方法进一 步包括： 响应于所述目标数据作业为批处理作业， 为所述目标数据作业创建作业执行群组， 所 述作业执 行群组包括由所述作业管理模块 为所述目标 数据作业创建的作业执 行模块；权　利　要　求　书 1/2 页 2 CN 115454450 A 2向调度模块发送关于所述作业执 行群组的通知； 响应于所述调度模块返回的调度状态信 息， 更新所述目标数据作业的所述作业描述信 息。 7.根据权利要求6所述的方法， 所述响应于所述调度模块返回的调度状态信 息， 更新所 述目标数据作业的所述作业描述信息， 包括以下之一： 响应于所述调度模块返回的调度超时信 息， 删除所述作业执行群组和所述作业执行群 组包括的作业执 行模块， 并更新所述目标 数据作业的所述作业描述信息； 响应于所述调度模块返回的所述调度状态信 息， 所述调度状态信 息包括所述作业执行 群组和所述作业执行模块处于运行状态或已调 度的信息， 更新所述目标数据作业的所述作 业描述信息， 所述作业描述信息包括调度完成的信息 。 8.根据权利要求1所述的方法， 所述方法还 包括： 将更新的所述作业描述信 息发送给接口服务器， 所述接口服务器用于根据所述作业描 述信息监听所述作业管理模块和所述作业执 行模块的运行状态。 9.一种针对数据作业进行资源管理的装置， 包括： 接收模块， 用于接收针对目标数据作业的作业描述信息， 所述作业描述信息包括第一 作业描述信息和 第二作业描述信息； 第一作业描述信息用于以符合第一表达规则的方式描 述与所述目标数据作业有关的配置信息； 所述第二作业描述信息用于以符合第二表达规则 的方式描述与所述目标 数据作业有关的执 行状态信息； 创建模块， 用于基于所述第一作业描述信息为所述目标数据作业创建作业管理模块， 所述作业管理模块 为所述目标 数据作业创建作业执 行模块和管理所述作业执 行模块； 更新模块， 用于基于所述目标数据作业的执行状态更新所述目标数据作业的所述第 二 作业描述信息 。 10.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 用于存储所述至少一个处 理器可执行指令的存 储器； 其中， 所述至少一个处理器被配置为执行所述指令， 以实现如权利要求1 ‑8中任一项所 述的方法。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 当所述计算机程 序由处理器执行时实现如权利要求1 ‑8中任一项所述的方法。 12.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1 ‑8中任一项所述方法。权　利　要　求　书 2/2 页 3 CN 115454450 A 3