(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211100132.2 (22)申请日 2022.09.09 (65)同一申请的已公布的文献号 申请公布号 CN 115202850 A (43)申请公布日 2022.10.18 (73)专利权人 国家超级计算天津中心 地址 300457 天津市滨 海新区经济技 术开 发区信环西路19号5号楼5102 (72)发明人 阚博文　康波　孟祥飞　张健　 马庆珍　郑刚　聂鹏飞　李青峰　 (74)专利代理 机构 北京开阳星知识产权代理有 限公司 1 1710 专利代理师 王雪 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/445(2018.01) G06F 9/50(2006.01) G06F 40/186(2020.01) (56)对比文件 US 9946577 B1,2018.04.17CN 113535766 A,2021.10.2 2 CN 112416585 A,2021.02.26 CN 107273196 A,2017.10.20 孙震宇等.大规模异构计算 集群的双 层作业 调度系统. 《计算机 工程》 .2020,(第01期), 康波 等.“云化与业 务流技术支撑的新 一代 超级计算应用平台 ”. 《计算机 工程与科 学》 .2020, 马雪洁等.多集群作业调度系统M CJSS的设 计与实现. 《计算机 工程》 .20 08,(第03期), Bo Kang et.al.Rapid Implementati on of COVID-19 AI As sisted Dia gnosis System Based on Supercomputi ng Platform. 《IE EE 5th Internati onal Conference o n Universal Village》 .2020, Bowen KAN et.al.A new Self-Adaptive disPatching System for l ocal clusters. 《21st I nternati onal Conference o n Computing in High Energy and Nuclear Physics (C HEP2015)》 .2015, 审查员 刘华楠 (54)发明名称 作业调度方法、 装置、 电子设备和存 储介质 (57)摘要 本公开涉及一种作业调度方法、 装置、 电子 设备和存储介质， 方法应用于调度系统， 调度系 统和多个计算节点通信连接， 包括： 根据获取的 多个待调度作业的运行信息和预设运行文件， 生 成运行待调度作业时所需的模板文件； 获取待调 度作业对应的第一配置文件， 以及多个计算节点 对应的第二配置文件； 根据第一配置文件、 第二 配置文件和模板文件， 生 成用于运行多个待调度 作业的多个运行脚本； 根据多个运行脚本和第一 配置文件生成多个提交脚本， 并将多个提交脚本 提交到对应的计算节点上运行。 本公开提供的方 法， 能够将庞大的作业数量合理 高效的调度到有 限的计算节 点上， 进一步还减少了对集群的调度系统和文 件系统的影响。 权利要求书3页 说明书13页 附图7页 CN 115202850 B 2022.12.20 CN 115202850 B 1.一种作业调度 方法， 其特征在于， 应用于调度系统， 所述调度系统和多个计算节点通 信连接， 所述方法包括： 根据获取的多个待调度作业的运行信 息和预设运行文件， 生成运行所述待调度作业 时 所需的模板文件； 获取所述待调度作业对应的第 一配置文件， 以及所述多个计算节点对应的第 二配置文 件； 根据所述第一配置文件、 所述第二配置文件和所述模板文件， 生成用于运行所述多个 待调度作业的多个运行脚本； 根据所述多个运行脚本和所述第 一配置文件生成多个提交脚本， 并将所述多个提交脚 本提交到对应的计算节点上运行； 其中， 所述根据 所述第一配置文件、 所述第二配置文件和所述模板文件， 生成用于运行 所述多个待调度作业的多个运行脚本， 包括： 根据第一数值将所述多个待调度作业划分为至少一个第一待调度作业组； 根据所述第二配置文件将所述至少一个第一待调度作业组中的每个第一待调度作业 组划分为多个第二待调度作业组； 针对每个第二待调度作业组， 根据所述模板文件和所述第一配置文件， 生成所述每个 第二待调度作业组对应的工作行， 其中， 所述工作行用于运行所述每个第二待调度作业组 包括的第一数量的待调度作业； 针对每个第 一待调度作业组， 根据 所述每个第 一待调度作业组包括的多个第 二待调度 作业组中的每个第二待调度作业组对应的工作行， 生成所述每个第一待调 度作业组对应的 运行脚本 。 2.根据权利要求1所述的方法， 其特征在于， 所述第 二配置文件包括支持所述计算节点 运行的处 理器的硬件核数和待调度作业 运行所需的运行核数， 所述根据所述第二配置文件将所述至少一个第一待调度作业组中的每个第一待调度 作业组划分为多个第二待调度作业组， 包括： 根据所述硬件核数、 所述 运行核数和第二数值， 确定第一数量； 基于所述第一数量将所述至少一个第一待调度作业组中的每个第一待调度作业组划 分为多个第二待调度作业组， 其中， 每个第二待调度作业组包括所述第一数量的待调度作 业。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述模板文件和所述第 一配置文 件， 生成所述每 个第二待调度作业组对应的工作行， 包括： 根据所述模板文件生成用于并行处理所述每个第二待调度作业组包括的待调度作业 的第一语句； 生成用于将每个待调度作业的输出文件存储至第一文件夹的第二语句， 其中， 所述第 一文件夹是以所述第一配置文件中包括的用户名命名的文件夹， 所述输出文件是运行待调 度作业得到的； 生成用于将第二文件夹存储的处理完成的每个待调度作业删除的第三语句， 其中， 所 述第二文件夹是根据所述第一配置文件确定的； 根据所述第一语句、 所述第二语句和所述第三语句， 生成所述每个第二待调度作业组权　利　要　求　书 1/3 页 2 CN 115202850 B 2对应的工作行。 4.根据权利要求1所述的方法， 其特征在于， 所述第一配置文件包括用户名、 每个计算 节点可运行的脚本的第二数量和可使用的计算节点的第三数量， 所述根据所述多个运行脚本和所述第一配置文件生成多个提交脚本， 包括： 根据所述第 二数量、 所述多个运行脚本的数量和所述第 三数量确定实际使用的计算节 点的第一目标 数量， 其中， 待生成的提交脚本的数量和所述第一目标 数量相同； 根据所述多个运行脚本的数量和所述第 一目标数量， 确定每个待生成的提交脚本包括 的运行脚本的第二目标 数量； 针对每个待生成的提交脚本， 基于所述第 二目标数量的运行脚本和所述用户名生成所 述提交脚本 。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述多个运行脚本的数量和所述 第一目标 数量， 确定每 个待生成的提交脚本包括的运行脚本的第二目标 数量， 包括： 根据所述多个运行脚本的数量和所述第 一目标数量确定目标阈值和第 三目标数量， 其 中， 所述目标阈值小于所述第一目标 数量； 若所述目标阈值不等于预设阈值， 则所述第 一目标数量的待生成的提交脚本中所述目 标阈值个待生成的提交脚本包括第四 目标数量的运行脚本， 且所述第一目标数量的待生成 的提交脚本中剩余待生成的提交脚本包括第三目标 数量的运行脚本； 若所述目标阈值等于所述预设阈值， 则所述第 一目标数量的待生成的提交脚本 中的每 个待生成的提交脚本包括第三目标 数量的运行脚本； 其中， 所述第四目标数量为所述第三目标数量以及第三数值的和值， 所述第二目标数 量包括所述第四目标 数量和/或所述第三目标 数量。 6.根据权利要求4所述的方法， 其特征在于， 所述基于所述第 二目标数量的运行脚本和 所述用户名生成所述 提交脚本， 包括： 生成用于创建以所述用户名命名的第一文件夹的第四语句； 生成用于提交所述第二目标 数量的运行脚本的第五语句； 生成用于删除所述第一文件夹的第六语句； 根据所述第四语句、 所述第五语句和所述第六语句， 生成所述 提交脚本 。 7.一种作业调度装置， 其特征在于， 应用于调度系统， 所述调度系统和多个计算节点通 信连接， 所述装置包括： 第一生成模块， 用于根据获取的多个待调度作业的运行信息和预设运行文件， 生成运 行所述待调度作业时所需的模板文件； 获取模块， 用于获取所述待调度作业对应的第一配置文件， 以及所述多个计算节点对 应的第二配置文件； 第二生成模块， 用于根据 所述第一配置文件、 所述第 二配置文件和所述模板文件， 生成 用于运行 所述多个待调度作业的多个运行脚本； 第三生成模块， 用于根据所述多个运行脚本和所述第一配置文件生成多个提交脚本， 并将所述多个提交脚本提交到对应的计算节点上运行； 其中， 第二 生成模块用于： 根据第一数值将所述多个待调度作业划分为至少一个第 一待调度作业组； 根据 所述第权　利　要　求　书 2/3 页 3 CN 115202850 B 3