(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211118121.7 (22)申请日 2022.09.15 (71)申请人 湖南兴盛 优选电子商务有限公司 地址 410205 湖南省长 沙市长沙高新开发 区青山路662号芯城科技园1号栋801 室 (72)发明人 管贤春　陈奉刚　屈军　林庭毅　 (74)专利代理 机构 长沙大珂知识产权代理事务 所(普通合伙) 4323 6 专利代理师 姚弘奕 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) (54)发明名称 一种精确准时的大 数据任务调度方法 (57)摘要 本发明公开了一种精确准时的大数据任务 调度方法， 步骤包括： 后台线程定时扫描DAG表， 找出下次执行时间在10分钟内的DAG， 然后孵化5 个周期的DAG实例， 并将其实例放入到孵化队列 中， 如果实例已经孵化过则跳过； master节点通 过定时线程从DAG实例队列中获取 10分钟内要执 行的DAG实例， 在内存中生成任务要执行的DAG 图； master节点根据各工作节点上报的负载情 况， 将任务下发给工作负载最小的工作节点执 行； 工作节点接受到执行的任务后， 定时调度执 行该任务。 本发 明避免任务争抢底层平台的资源 与重要任务执行的延期， 提高系统资源的使用效 率。 权利要求书2页 说明书5页 附图3页 CN 115509703 A 2022.12.23 CN 115509703 A 1.一种精确准时的大 数据任务调度方法， 其特 征在于， 包括以下步骤： 预孵化DAG实例： 后台线程定时扫描DAG表， 找出下次执行时间在10分钟内的DAG， 然后 孵化5个周期的DAG实例， 并将其实例放入到 孵化队列中， 如果实例已经孵化过则跳过； 预加载： master节点通过定时线程从DAG实例队列 中获取10分钟内要执行的DAG实例， 在内存中生成任务要执 行的DAG图； 预分配： master节点根据各工作节点上报的负载情况， 将任务下发给工作负载最小 的 工作节点执 行； 核准执行： 工作节点接受到执行的任务后， 核对任务的准确执行时间， 并根据剩余时间 注册Timer定时器， 当Timer定时器时间到则立即执 行该任务。 2.根据权利 要求1所述的精确准时的大数据任务调度方法， 其特征在于， Master节点计 算各工作节点的综合负载公式如下： L＝α C+β M+γQ 其中L表示节点综合负载值， α表示CPU利用率， β表示内存利用率， γ表示队列负载率， 即队列中任务数/队列总长度， C、 M、 Q分别表 示CPU利用率、 内存利用率和队列负载率的权重 值。 3.根据权利要求2所述的精确准时的大数据任务调度方法， 其特征在于， 所述CPU利用 率的权重值C的计算如下： 计算每个周期内的CPU中平均进程数与最大进程数的比值， 将其作为CPU利用率； 计算相邻两个周期的CPU利用率的变化 值： Δcpu＝cput+Δt‑cput 其中cput+Δt和cput为两个相邻周期的CPU利用率； 计算相邻两个周期内CPU利用率的变化速度： 其中， Δcput+Δt和Δcput为两个相邻周期的CPU利用率的变化 值； 重复上述步骤， 计算出每个周期与上个周期的CPU利用率的变化速度， 并计算CPU利用 率的权重值C的计算公式如下： 其中ρt+Δt和ρt分别为相邻两个周期内CPU利用率的变化速度。 4.根据权利要求2所述的精确准 时的大数据任务调度方法， 其特征在于， 所述内存利用 率的权重值M的计算如下： 计算每个周期内的内存利用率； 计算相邻两个周期的内存利用率的变化 值： Δm＝mt+Δt‑mt 其中mt+Δt和mt为两个相邻周期的内存利用率； 计算相邻两个周期内 内存利用率的变化速度： 权　利　要　求　书 1/2 页 2 CN 115509703 A 2其中， Δmt+Δt和Δmt为两个相邻周期的内存利用率的变化 值； 重复上述步骤， 计算出每个周期与上个周期的内存利用率的变化速度， 并计算内存利 用率的权 重值M的计算公式如下： 其中 μt+Δt和 μt分别为相邻两个周期内 内存利用率的变化速度。 5.根据权利要求2所述的精确准 时的大数据任务调度方法， 其特征在于， 所述队列负载 率的权重值Q的计算如下： 对权重值Q赋初始值， 计算与上一周期队列中任务个数的增量值m， 计算与上一周期队 列中任务平均等待时间的增量 值n； 如果增量值n大于等于50ms且小于100ms， 则将权重值增加0.1， 如果增量值n大于等于 100ms且小于20 0ms， 则将权 重值增加0.2， 如果增量 值n小于200ms， 则将权 重值增加0.6； 如果增量值n小于0， 则判断增量值m大于 ‑10且小于等于 ‑3， 则将权重值降低0.1， 增量 值m大于‑20且小于等于 ‑10， 则将权重值降低0.2， 增量值m小于等于 ‑20， 则将权重值降低 0.6； 如果增量 值m大于‑3， 或增量 值n小于50ms， 则将不处 理； 如果权重值Q小于0， 则将权 重值赋值0.5 。权　利　要　求　书 2/2 页 3 CN 115509703 A 3