(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211030800.9 (22)申请日 2022.08.26 (71)申请人 渝州大数据实验室 地址 400050 重庆市九龙坡区九滨路9号 (72)发明人 何晓晔　郭长国　董富强　何山　 朱鸿基　 (74)专利代理 机构 重庆强大凯创专利代理事务 所(普通合伙) 50217 专利代理师 赵玉乾 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/08(2006.01) (54)发明名称 基于预测最早完成时间的分布式任务调度 系统及方法 (57)摘要 本发明涉及计算机技术领域， 具体涉及一种 基于预测最早完成时间的分布式任务调度系统 及方法， 所述系统包括： 任务存储模块： 用于存储 待调度的新任务； 任务调度模块： 用于获取训练 好的任务完成时间预测模型， 并根据任务完成时 间预测模型， 来预测执行当前待调度的新任务所 需的完成时间最早的任务处理节 点， 并将所述新 任务分配给所述任务处理节点； 并发任务优化模 块： 用于优化任务处理节点集合中各个任务处理 节点的最佳并发任务数， 并获取最小的运行数 据， 再根据最小的运行数据定期更新任务完成时 间预测模型。 本发明能够为新任务选择出完成时 间最早的执行器， 并实时动态优化选择， 从而提 高服务器硬件利用效率和任务处 理效率。 权利要求书3页 说明书12页 附图2页 CN 115391039 A 2022.11.25 CN 115391039 A 1.基于预测最 早完成时间的分布式任务调度系统， 其特 征在于， 包括： 任务存储模块： 用于存 储待调度的新任务； 任务调度模块： 用于获取训练好的任务完成时间预测模型， 并根据任务完成时间预测 模型， 来预测各个任务处理节点执行当前待调度的新任务所需的完成时间， 再通过对比分 析找到完成时间最 早的任务处 理节点， 并将所述 新任务分配给 所述任务处 理节点； 并发任务优化模块： 用于优化任务处理节点集合中各个任务处理节点的最佳并发任务 数， 并获取最小的运行数据， 再将最小的运行数据作为样本数据定期更新任务完成时间预 测模型； 所述最小的运行数据为完成时间最早的新任务， 在任务完成时间预测模型中所涉 及的相关参数信息 。 2.根据权利要求1所述的基于预测最早完成时间的分布式任务调度系统， 其特征在于： 所述任务完成时间预测模型的生成和训练包括以下模块： 预测模型生成模块： 用于获取影响新任务执行时间的相关参数信息， 所述相关参数信 息包括硬件参数信息、 软件参数信息和数据参数信息， 将 硬件参数信息、 软件参数信息和数 据参数信息作为神经网络模型的输入层， 所述神经网络模型为线性神经网络模型； 预测模型训练模块： 用于随机使用若干不同任务在多个硬件水平不同的任务处理节点 上执行n次， 记录整个过程形成样本数据； 还用于将样本数据导入到线性神经网络模型进 行 训练， 得到能够预测最 早完成时间的任务完成时间预测模型。 3.根据权利要求2所述的基于预测最早完成时间的分布式任务调度系统， 其特征在于： 所述硬件参数信息包括硬件动态参数和硬件静态参数； 所述软件参数信息包括软件动态参 数和软件静态参数； 所述数据参数信息包括数据动态参数和数据静态参数； 所述硬件静态参数包括CPU核心数h1、 CPU频率h2、 CPU架构h3、 内存容量h4、 内存频率h5、 内存通道数h6、 硬盘最大读速度h7、 硬盘最大写速度h8、 网络上行带宽h9、 网络下行带宽h10； 所述硬件动态参数包括CPU使用率h11、 内存当前使用量h12、 硬盘当前读速度h13、 硬盘当 前写速度h14、 网络当前 上行带宽h15、 网络当前 下行带宽h16； 所述软件静态参数是指在该新任务的程序逻辑下， 在单位 时间内处理单位数量的数据 需要消耗的设备资源， 包括单位CPU需求s1、 单位内存需求s2、 单位硬盘读需求s3、 单位硬盘 写需求s4、 单位网络上 行需求s5、 单位网络上 行需求s6； 所述软件动态参数是指在该新任务拟指定的任务槽 中， 当前排队的任务需要的总的设 备资源的需求， 包括前方任务总CPU需求s7、 前方任务总内存需求s8、 前方任务总硬盘读需求 s9、 前方任务总硬 盘写需求s10、 前方任务总网络上 行需求s11、 前方任务总网络下 行需求s12； 所述数据静态参数包括数据字段数d1， 用于评估所需处理的数据的结构化程度； 所述数 据动态参数包括数据记录数d2， 指数据的条 数， 用于评估所需处 理的结构化数据量大小。 4.根据权利要求3所述的基于预测最早完成时间的分布式任务调度系统， 其特征在于： 所述并发任务优化模块包括以下子步骤： 自身剩余资源计算子模块： 用于不断计算当前任务处理节点的自身剩余资源， 所述自 身剩余资源包括节点CPU剩余资源Cr、 节点内存剩余资源Mr、 节点硬盘剩余读速度Drr、 节点 硬盘剩余写速度Drw、 节点网络剩余上 行速度Nru、 节点网络剩余下 行速度Nrd； 节点CPU剩余资源Cr＝(1‑h11)×(h1×h2) 节点内存剩余资源Mr＝h4‑h12权　利　要　求　书 1/3 页 2 CN 115391039 A 2节点硬盘剩余读速度Drr＝(h7‑h13)×(t‑tr) 节点硬盘剩余写速度Drw＝(h8‑h14)×(t‑tr) 节点网络剩余上 行速度Nru＝(h9‑h15)×(t‑tr) 节点网络剩余下 行速度Nrd＝(h10‑h16)×(t‑tr) 其中， t为任务完 成时间预测模型预测得到的最早完 成时间， tr为任务的等待时间， t ‑tr 为预测任务执 行过程实际消耗时间； 下一任务分析计算子模块： 用于分析计算下一个任务的资源需求， 所述资源需求包括 任务CPU资源需求Tc、 任务内存资源需求Tm、 任务硬盘资源读需求Tdr、 任务硬盘资源写需求 Tdw、 任务网络资源上 行需求Tnu、 任务网络资源下 行需求Tnd； 任务CPU资源需求Tc＝s1×d2 任务内存资源需求Tm＝s2×d3 任务硬盘资源读需求Tdr＝s3×d3×(t‑tr) 任务硬盘资源写需求Tdw＝s4×d3×(t‑tr) 任务网络资源上 行需求Tnu＝s5×d3×(t‑tr) 任务网络资源下 行需求Tnd＝s6×d3×(t‑tr) 并发任务数分析子模块： 用于根据资源分数计算公式计算下一个新任务的得分， 当下 一个新任务的得分Score≤1时， 将所述 新任务调度到该节点并发执 行； 得分Score为大于 0的实数。 5.基于预测最 早完成时间的分布式任务调度方法， 其特 征在于， 包括以下步骤： 任务存储步骤： 将待调度的新任务存 储到任务存 储模块中； 任务调度步骤： 获取训练好的任务完成时间预测模型， 并根据任务完成时间预测模型， 来预测各个任务处理节点执行当前待调 度的新任务所需的完成时间， 再通过对比分析找到 完成时间最 早的任务处 理节点， 并将所述 新任务分配给 所述任务处 理节点； 并发任务优化步骤： 优化任务处理节点集合中各个任务处理节点的最佳并发任务数， 并获取最小的运行数据， 再将最小的运行数据作为样本数据定期更新任务完成时间预测模 型； 所述最小的运行数据为完成时间最早的新任务， 在任务完成时间预测模型中所涉及的 相关参数信息 。 6.根据权利要求5所述的基于预测最早完成时间的分布式任务调度方法， 其特征在于： 所述任务完成时间预测模型的生成和训练包括以下步骤： 预测模型生成步骤： 获取影响新任务执行时间的相关参数信息， 所述相关参数信息包 括硬件参数信息、 软件参数信息和数据参数信息， 将 硬件参数信息、 软件参数信息和数据参 数信息作为神经网络模型的输入层， 所述神经网络模型为线性神经网络模型； 预测模型训练步骤： 随机使用若干不同任务在多个硬件水平不同的任务处理节点上执 行n次， 记录整个过程形成样本数据； 还用于将样本数据导入到线性神经网络模型进行训 练， 得到能够预测最 早完成时间的任务完成时间预测模型。 7.根据权利要求6所述的基于预测最早完成时间的分布式任务调度方法， 其特征在于： 所述硬件参数信息包括硬件动态参数和硬件静态参数； 所述软件参数信息包括软件动态参 数和软件静态参数； 所述数据参数信息包括数据动态参数和数据静态参数；权　利　要　求　书 2/3 页 3 CN 115391039 A 3