(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211216312.7 (22)申请日 2022.09.30 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 李鹏　田双坤　王焦　庄宇　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 陈雨柔 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) (54)发明名称 任务调度方法、 分布式系统、 电子设备及存 储介质 (57)摘要 本说明书一个或多个实施例提供一种任务 调度方法、 分布式系统、 电子设备及存储介质。 分 布式系统包括若干计算节点以及 多个调度装置， 若干计算节 点分布在多个地域， 多个调度装置与 多个地域一一对应且分别分布在各个地域中； 所 述方法应用于任意一个调度装置； 方法包括： 响 应于任务调度请求， 确定待调度的若干任务； 根 据本地计算节点的运行资源的库存量和异地计 算节点的运行资源的库存量， 将若干任务中的部 分任务调度到本地计算节点中处理、 以及将若干 任务中的另一部分任务调度到目标异地计算节 点中处理； 其中， 目标异地计算节点是确定的用 于处理另一部分任务的异地计算节 点。 本实施例 有利于提高任务处 理效率。 权利要求书3页 说明书18页 附图8页 CN 115421926 A 2022.12.02 CN 115421926 A 1.一种分布式系统的任务调度方法， 所述分布式系统包括若干计算节点以及多个调度 装置， 所述若干计算节点分布在多个地域， 所述多个调度装置与所述多个地域一一对应且 分别分布在各个地 域中； 所述方法应用于任意 一个调度装置； 所述方法包括： 响应于任务调度请求， 确定待调度的若干任务； 根据本地计算节点的运行资源的库存量和 异地计算节点的运行资源的库存量， 将所述 若干任务中的部分任务调度到所述本地计算节点中处理、 以及将所述若干任务中的另一部 分任务调度到目标异地计算节点中处 理； 其中， 所述本地计算节点是与所述调度装置位于同一地域的计算节点， 所述异地计算 节点是与所述调 度装置处于不同地域的计算节点， 所述目标异 地计算节点是确定的用于处 理所述另一部分任务的异地计算节点。 2.根据权利要求1所述的方法， 所述将所述若干任务中的另一部分调度到目标异地计 算节点中处 理， 包括： 获取所述若干任务对应的数据集合， 所述数据集合包括任务处理过程中参与运算的数 据； 以及从异地计算节点中确定用于处 理任务的目标异地计算节点； 定时预测所述数据集合中， 在所述目标异地计算节点处理任务 时即将参与运算的目标 数据； 在将预测的目标数据缓存至所述目标异地计算节点之后， 根据 所述目标异地计算节点 已缓存的目标数据的总数据量和所述目标异 地计算节点的运行资源的当前库存量， 确定调 度到所述目标异 地计算节点中处理的任务的数量， 并将所述若干任务中的相应数量的任务 调度到所述目标异地计算节点中处 理。 3.根据权利要求2所述的方法， 每次调度到所述目标异地计算节点中处理的任务的数 量与所述目标异地计算节点中的运行资源的当前库存量呈正相关 关系； 和/或， 每次调度到所述目标异地计算节点中处理的任务的数量与已缓存至所述目标异地计 算节点的目标 数据的总数据量呈正相关 关系。 4.根据权利要求2所述的方法， 所述目标数据是根据所述本地计算节点在任务处理期 间的访问数据确定； 其中， 首次预测目标数据的过程在所述本地计算节点开始处理任务的 预设时长后进行； 和/或， 所述目标数据 是根据所述数据集合中的在历史时间段内的增量数据确定的， 所述历史 时间段包括以当前 预测时间为 起点的过去N个小时， N大于 0。 5.根据权利要求4所述的方法， 所述目标数据是根据所述访问数据和所述增量数据预 测得到； 所述目标数据包括： 所述访问数据中访问频率最高的X个数据、 以及从所述增量数据中 剔除了指 定数据之后的剩余数据中的部 分或全部； 所述指 定数据为所述访问数据中访问频 率最低的Y个数据， X、 Y为大于 0的整数； 和/或， 所述目标 数据包括： 所述增量数据和所述访问数据之间的差集的部分或全部 。 6.根据权利要求2至 5任意一项所述的方法， 还 包括： 接收所述目标异地计算节点返回的任务处理成功率， 所述任务处理成功率是所述目标权　利　要　求　书 1/3 页 2 CN 115421926 A 2异地计算节点在每次处 理完调度到 本节点的任务之后返回的； 在非首次预测目标数据的过程中， 预测的所述目标数据的数据量是根据 所述目标异地 计算节点上一次返回的任务处理成功率确定的， 所述数据量与所述任务处理成功率呈正相 关关系； 和/或， 在非首次预测目标数据之后， 缓存至所述目标异地计算节点的数据为本次预测的目标 数据中所述目标异地计算节点未缓存过的数据。 7.根据权利要求2至4任意一项所述的方法， 在预测所述数据集合中， 在所述目标异地 计算节点处 理任务时即将参与运 算的目标 数据之后， 还 包括： 向所述目标异地计算节点发送加载所述目标数据的通知消息， 所述通知消息中携带有 所述目标数据的数据量信息， 所述通知消息用于指示所述目标异地计算节点根据所述目标 数据的数据量信息确定M个加载资源， 并利用所述M个加载资源从所述数据集合中并行加载 所述目标数据； 其中， M为大于0的整 数， 所述加载资源的数量与所述目标数据的数据量呈正 相关关系。 8.根据权利要求7所述的方法， 所述M个加载资源是根据所述目标数据的数据量信息、 以及对加载成本和/或加载时长的期 望信息确定的； 其中， 所述加载资源的数量与所述期 望 信息指示的加载成本成正相关 关系、 以及与所述期望信息指示的加载时长呈负相关 关系。 9.根据权利要求1至 5任意一项所述的方法， 所述方法还 包括： 响应于所述若干任务对应的数据集合中的增量数据的存入事件， 更新所述数据集合的 元数据， 并将更新后的元数据同步缓存至本地计算节点以及所述 目标异地计算节点中， 以 使所述本地计算节点和所述目标异地计算节点在任务处理过程根据所述元数据读取参与 运算的数据。 10.根据权利要求1所述的方法， 一个任务包括多个子任务； 所述将所述若干任务中的部分任务调度到所述本地计算节点中处理、 以及将所述若干 任务中的另一部分任务调度到目标异地计算节点中处 理， 包括： 对于任意一个任务， 根据该任务所需的运行资源的资源量、 所述本地计算节点中的运 行资源的当前库存量和所述目标异 地计算节点中的运行资源的当前库存量， 生成该任务对 应的资源调 度策略； 所述资源调 度策略用于指示所述任务包括的任一子任务在本地计算节 点或目标异地计算节点中处 理； 根据该任务对应的资源调度 策略， 将该任务包括的多个子任务分别调度到相应的计算 节点中处 理。 11.根据权利要求10所述的方法， 任一计算节点中的运行资源包括成本不同的至少两 种运行资源， 且计算节点分别 利用所述至少两种运行资源处 理子任务的成功率 不同； 任意一个任务对应的资源调度策略是根据以下至少一种信息生成的： 该任务所需的运行资源的资源量、 所述本地计算节点中的所述至少两种运行资源的当 前库存量、 所述目标异地计算节点中的所述至少 两种运行资源的当前库存量、 对任务处理 成本和/或任务处理成功率的期 望信息、 本地计算节点和/或目标异 地计算节 点上一次处理 完调度到本节点的子任务之后返回的子任务处理成功率、 以及目标异地计算节点中已缓存 的即将参与运 算的目标 数据的总数据量； 其中， 调度到任意一个计算节点中处理的子任务的数量与该计算节点上一 次返回的子权　利　要　求　书 2/3 页 3 CN 115421926 A 3