(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210983202.7 (22)申请日 2022.08.16 (71)申请人 中国电子系统技 术有限公司 地址 100036 北京市海淀区复兴 路四十九 号 (72)发明人 彭壮　戴博文　 (74)专利代理 机构 工业和信息化部电子专利中 心 11010 专利代理师 华枫 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) G06F 9/445(2018.01) (54)发明名称 一种基于分布式集群datax的任务处理方法 及系统 (57)摘要 本发明提出了一种基于分布式集群datax的 任务处理方法， 包括： 获取需要执行的任务； 获取 当前所有datax节点的任务负载情况， 其中， 每个 datax节点均配置有对应的代理服务模块， datax 节点通过对应的代理服务模块在naco s注册中心 注册； 基于预先配置的分配策略， 将任务下发至 所述datax节点。 本发明提供的基于分布式集群 datax的任务处理方法， 通过对每个datax节点配 置对应的代理服务模块， 并通过该模块使得多个 datax节点在nacos注册中心注册， 以实现datax 的分布式集群， 并且能够在nacos注册中心实现 自动注册以及服 务发现。 权利要求书2页 说明书5页 附图3页 CN 115391034 A 2022.11.25 CN 115391034 A 1.一种基于分布式集群datax的任务处 理方法， 其特 征在于， 包括： 获取需要执 行的任务； 获取当前所有datax节点的任务负载情况， 其中， 每个所述datax节点均配置有对应的 代理服务模块， 所述datax节点 通过对应的所述代理服 务模块在nacos注 册中心注册； 基于预先配置的分配策略， 将所述任务下发至所述datax节点。 2.根据权利要求1所述的基于分布式集群datax的任务处理方法， 其特征在于， 所述获 取当前所有datax节点的任务负载情况， 包括： redis模块获取并以key ‑value的形式保存当前所有datax的任务负载情况， 其中， 所述 任务负载情况包括被分配的同步任务数量。 3.根据权利要求1所述的基于分布式集群datax的任务处理方法， 其特征在于， 所述基 于预先配置的分配策略， 将所述任务下发至所述datax节点， 包括： 基于所述任务预先配置的优先级顺序， 将所述任务下发至所述datax节点中的所述任 务负载情况最低的至少一个所述datax节点中的其中一个所述datax节点。 4.根据权利要求1所述的基于分布式集群datax的任务处理方法， 其特征在于， 所述方 法还包括： 对所述datax节点的任务内存进行动态调整， 包括： 利用所述 nacos注册中心的元 数据， 配置所述datax节点的任务内存； 或者 在将所述任务下发至所述datax节点前， 配置所述任务的任务内存。 5.一种基于分布式集群datax的任务处 理系统， 其特 征在于， 包括： 获取模块， 获取需要执 行的任务； redis管理模块， 获取当前所有datax节点的任务负载情况， 基于预先配置的分配策略， 将所述任务下发至所述datax节点； nacos注册中心模块， 每个所述datax节点均配置有对应的代理服务模块， 所述datax节 点通过对应的所述代理服 务模块在所述 nacos注册中心注册。 6.根据权利要求5所述的基于分布式集群datax的任务处理系统， 其特征在于， 所述 redis模块被进一 步配置为： 获取并以key ‑value的形式保存当前所有datax的任务负载情况， 其中， 所述任务负载 情况包括被分配的同步任务数量。 7.根据权利要求5所述的基于分布式集群datax的任务处理系统， 其特征在于， 所述 redis模块被进一 步配置为： 基于所述任务预先配置的优先级顺序， 将所述任务下发至所述datax节点中， 所述任务 情况负载最低的至少一个所述datax节点中的其中一个所述datax节点。 8.根据权利要求5所述的基于分布式集群datax的任务处理系统， 其特征在于， 所述系 统还包括： 内存调整模块， 被 配置为： 利用所述 nacos注册中心的元 数据， 配置所述datax节点的任务内存； 或者 在将所述任务下发至所述datax节点前， 配置所述任务的任务内存。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述计算机程序被所述处理器执行时实现如权利要求 1至4 中任一项所述的方法的步骤。 10.一种计算机存储介质， 所述计算机存储介质上存储有计算机程序， 所述计算机程序权　利　要　求　书 1/2 页 2 CN 115391034 A 2被处理器执行时实现如权利要求1至4中任一项所述的基于 分布式集群datax的任务处理方 法的步骤。权　利　要　求　书 2/2 页 3 CN 115391034 A 3