说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210913447.2 (22)申请日 2022.08.01 (71)申请人 太极计算机股份有限公司 地址 100020 北京市朝阳区容达路7号中国 电科太极信息产业园 (72)发明人 王丽君 魏凯 梁超 鹿洪杰  陈佳兴 焦自玲  (74)专利代理 机构 北京细软智谷知识产权代理 有限责任公司 1 1471 专利代理师 周亮 (51)Int.Cl. H04L 67/1001(2022.01) G06F 9/50(2006.01) G06F 9/48(2006.01) (54)发明名称 分布式任务调度处 理方法、 装置和设备 (57)摘要 本发明涉及一种分布式任务调度处理方法、 装置及设备, 涉及数据处理技术领域, 通过设定 定时器, 根据定时器设定的时间, 从而在启动时 间在服务器集中确定并触发启动目标服务器; 在 包括的至少两台服务器中, 可以由任一服务器进 行数据分配, 对目标数据进行数据切分, 将切分 后的子数据分发至任务接收节 点, 以使每个任务 接收节点根据接收成功的子数据进行任务处理; 每台服务器包括至少一个任务接收节点。 因此, 本申请中通过设置至少两台服务器, 其中任一服 务器均可以进行任务数据分配, 通过去中心化提 升了数据处理速度, 无需引入复杂的开源组件, 节约成本、 使用简单、 运维方便 。 权利要求书2页 说明书7页 附图1页 CN 115002124 A 2022.09.02 CN 115002124 A 1.一种分布式任务调度处 理方法, 其特 征在于, 包括: 根据定时器确定每个启动时间, 在每个所述启动时间根据 预设规则在服务器集中确定 并触发启动目标服 务器; 所述 服务器集中包括至少两台服 务器; 基于任一所述目标服务器获取对应的目标数据, 并对所述目标数据进行数据切分, 将 切分后的子数据分发至任务接收节点, 以使每个所述任务接收节点根据接收成功的子数据 进行任务处 理; 每台所述 服务器包括至少一个所述任务接收节点。 2.根据权利要求1所述的方法, 其特征在于, 所述对所述目标数据进行数据切分, 将切 分后的子数据分发至任务接收节点, 以使每个所述任务接收节点根据接收成功的子数据进 行任务处 理, 包括: 根据所述目标 数据的pas sId的哈希值将所述目标 数据切割为预设份数的子数据; 对所述子数据进行编号, 每个编号对应一份子数据; 基于负载均衡, 调用匹配的任务接 收接口, 以将切割后的子数据的编号分发至任务接 收节点, 以使每个所述任务接 收节点根 据接收成功的所述编号确定对应的子数据, 从而根据所述子数据进行任务处 理。 3.根据权利要求1所述的方法, 其特征在于, 所述将切分后的子数据分发至任务接收节 点之后, 还 包括: 在每个任务接收节点, 判断待处 理任务数量是否大于节点 最大任务数; 若所述待处理任务数量未大于节点最大任务数, 则在所述任务接收节点接收所述子数 据; 若所述待处理任务数量大于节点最大任务数, 则在所述任务接 收节点拒绝接 收所述子 数据, 以使所述子数据分配至其 他所述任务接收节点。 4.根据权利要求1所述的方法, 其特征在于, 在所述根据定时器确定每个启动 时间, 在 每个所述启动时间根据预设规则在服务器集中确定并触发启动目标服务器之前, 还包括: 接收服务器优先级设定请求; 根据所述服务器优先级设定请求, 设定所述服务器集中服务 器的优先级; 所述根据预设规则在服 务器集中确定并触发启动目标服 务器, 包括: 根据所述服务器集中服务器的优先级, 确定优先级最高的服务器为目标服务器, 触发 启动所述目标服 务器。 5.根据权利要求1所述的方法, 其特征在于, 在所述每个所述任务接收节点根据接收成 功的子数据进行任务处 理之后, 还 包括: 在每个所述任务接收节点更改所述子数据对应任务的任务完成状态; 对每个所述任务接收节点的任务处 理进行日志 记录。 6.一种分布式任务调度处 理装置, 其特 征在于, 包括: 任务分配启动模块, 用于根据定时器确定每个启动 时间, 在每个所述启动 时间根据预 设规则在服 务器集中确定并触发启动目标服 务器; 所述 服务器集中包括至少两台服 务器; 任务分配模块, 用于基于任一所述目标服务器获取对应的目标数据, 并对所述目标数 据进行数据切分, 将切分后的子数据分发至任务接 收节点, 以使每个所述任务接 收节点根 据接收成功的子数据进行任务处 理; 每台所述 服务器包括至少一个所述任务接收节点。 7.根据权利要求6所述的装置, 其特征在于, 所述任务分配模块, 具体用于根据所述目 标数据的passId 的哈希值将所述目标数据切割为预设份数的子数据; 对所述子数据进 行编 号, 每个编号对应一份子数据; 基于负载均衡, 调用匹配的任务接 收接口, 以将切割后的子权 利 要 求 书 1/2 页 2 CN 115002124 A 2数据的编号分发至任务接收节点, 以使每个所述任务接收节点根据接收成功的所述编号确 定对应的子数据, 从而根据所述子数据进行任务处 理。 8.根据权利要求6所述的装置, 其特征在于, 所述任务分配模块, 还用于在每个任务接 收节点, 判断待处理任务数量是否大于节点最大任务数; 若所述待处理任务数量未大于节 点最大任务数, 则在所述任务接收节点接 收所述子数据; 若所述待处理任务数量大于节点 最大任务数, 则在所述任务接 收节点拒绝接 收所述子数据, 以使所述子数据分配至其他所 述任务接收节点。 9.根据权利要求6所述的装置, 其特征在于, 所述任务分配启动模块, 还用于接收服务 器优先级设定请求; 根据所述服务器优先级设定请求, 设定所述服务器集中服务器的优先 级; 根据所述服务器集中服务器的优先级, 确定优 先级最高的服务器为目标服务器, 触发所 述目标服 务器。 10.一种分布式任务调度处理设备, 其特征在于, 包括处理器和存储器, 所述处理器与 存储器相连: 其中, 所述处 理器, 用于调用并执 行所述存储器中存 储的程序; 所述存储器, 用于存储所述程序, 所述程序至少用于执行权利要求1 ‑5任一项所述的一 种分布式任务调度处 理方法。权 利 要 求 书 2/2 页 3 CN 115002124 A 3

.PDF文档 专利 分布式任务调度处理方法、装置和设备

文档预览
中文文档 11 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 分布式任务调度处理方法、装置和设备 第 1 页 专利 分布式任务调度处理方法、装置和设备 第 2 页 专利 分布式任务调度处理方法、装置和设备 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:12:17上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。