(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210917990.X (22)申请日 2022.08.01 (71)申请人 杭州数澜科技有限公司 地址 311121 浙江省杭州市余杭区仓前街 道良睦路128 8号3幢1单 元 (72)发明人 白松　甘云锋　江敏　高雁冰　 (74)专利代理 机构 北京市联德律师事务所 11361 专利代理师 黄大正　张来光 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) (54)发明名称 用于调度作业的方法 (57)摘要 本申请提供了一种用于调度作业的方法， 通 过一致性的Hash算法在节点间实现更好的负载 平衡。 权利要求书1页 说明书8页 附图7页 CN 115269152 A 2022.11.01 CN 115269152 A 1.一种用于向多个节点分发任务的方法， 包括： 将所述多个节点的各自的唯一标识符H ash映射到数字空间中， 得到所述多个节点的各 节点对应的Hash值， 其中所述数字空间被定义为首尾相连的闭合的环， 并且各节点对应的 Hash值被标记到该环上； 将任务的标识符按照相同的Hash映射方法映射到所述数字空间中， 得到对应的Hash 值； 在所述环上， 按照预定规则确定具有与所述任务的Hash值最接近的Hash值的节点， 并 将所述任务分发到该节点。 2.根据权利要求1所述的方法， 其中所述预定规则是所述环的顺时针方向或逆时针方 向。 3.根据权利要求1所述的方法， 还 包括： 新增节点时， 按照相同的映射方法生成新节点的Hash值， 并添加到所述环。 4.根据权利要求1所述的方法， 还 包括： 当从所述多个节点中删除一节点时， 从所述环上删除该节点的Hash值。 5.根据权利要求1所述的方法， 其中所述唯一标识符是Mac地址 。 6.一种计算机可读介质， 其上存储有计算机可读指令， 所述指令被执行时可实施如权 利要求1至 5中任一权利要求所述的方法。权　利　要　求　书 1/1 页 2 CN 115269152 A 2用于调度作业的方 法 技术领域 [0001]本申请涉及计算机技 术， 特别地涉及一种用于调度作业的方法。 背景技术 [0002]已存在多种大数据处理工具， 例如分布式计算框架Hadoop、 数据仓库工具Hive、 基 于内存计算的分布式系统Spark、 大规模图数据计算平台Giraph等。 借助于多种多样的计算 平台， 数据开发人员每天会提交各种类型的作业来加工、 分析数据。 作业之间可能相互依 赖， 而且每个作业上还可能有开始调度时间的 限制或要求。 另外， 在将任务分发到多个计算 节点上运行时， 需要考虑节点之间的负载 是否均衡， 以获得最大的总体效率。 发明内容 [0003]依据本申请的第一方面， 提供了一种用于向多个节点分发任务的方法， 包括： [0004]将所述多个节点的各自的唯一标识符Hash映射到数字空间中， 得到所述多个节点 的各节点对应的Hash值， 其中所述数字空间被定义为首尾相连的闭合的环， 并且各节点对 应的Hash值被标记到该环上； [0005]将任务的标识符按照相同的Hash映射方法映射到所述数字空间中， 得到对应的 Hash值； 以及 [0006]在所述环上， 按照预定规则确定具有与所述任务的Hash值最接近的Hash值的节 点， 并将所述任务分发到该节点。 [0007]依据本申请的第二方面， 提供一种计算机可读介质， 其上存储有计算机可读指令， 所述指令被执 行时可实施如本申请所述的任一用于调度作业的方法。 [0008]本申请的实施方案的用于调度作业的方法能够对任务提交器节点进行任务的合 理分配， 使 得每个任务提交器节点的负载均衡， 且支持动态 地增加或者删除节 点， 以更为灵 活且高效地执 行任务。 附图说明 [0009]图1示出了作业之间的依赖关系。 [0010]图2示出了多个作业节点形成的DAG图。 [0011]图3示出了 本申请利用DAG图来实施作业调度的示例。 [0012]图4示出了根据本申请示例性实施例的调度作业的方法。 [0013]图5示出了根据本申请示例性实施的定时调度的流 程图。 [0014]图6示出了根据本申请示例性实施例的依赖调度的流 程图。 [0015]图7示出了根据本申请示例性实施例的基础DAG图层和子DAG图层。 [0016]图8示出了根据本申请示例性实施例的使用多DAG图层进行依赖调度的流 程图。 [0017]图9示出了根据本申请示例性实施例的多DAG图层的示 意图。 [0018]图10示出了根据本申请示例性实施例的N ode和作业Hash分布的示 意图。说　明　书 1/8 页 3 CN 115269152 A 3