(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211007282.9 (22)申请日 2022.08.22 (71)申请人 珠海金山数字网络科技有限公司 地址 519000 广东省珠海市高新区唐家湾 镇前岛环路325号102室、 202室、 302 室、 402室， 327号102室、 202室， 329号 302室 (72)发明人 郭申　赖炳新　李鑫　陈长方　 马力　张健　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 孟维娜　马敬 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 一种多维度数据处理方法、 装置、 系统、 设备 及存储介质 (57)摘要 本发明实施例提供了一种多维度数据处理 方法、 装置、 系统、 设备及存储介质， 涉及数据处 理技术领域， 上述系统包括数据存储库、 维度调 度节点、 任务下发节点以及多个任务处理节点； 维度调度节 点用于查询预设的配置文件， 得到数 据维度， 并对所得到的维度进行排列组合， 得到 多个目标 维度组合， 向任务下发节 点发送各个目 标维度组合； 任务下发节点用于获取各个目标 维 度组合， 生成各个数据处理指令， 并为各个数据 处理指令分配目标处理节点； 各目标处理节点用 于响应于各自对应的数据处理指令， 从数据存储 库中获得数据， 对数据进行数据处理， 得到数据 处理结果。 应用本发明实施例提供的系统处理多 维度数据， 能够提高对多维度数据进行处理的效 率。 权利要求书2页 说明书16页 附图4页 CN 115421910 A 2022.12.02 CN 115421910 A 1.一种多维度数据处 理方法， 其特 征在于， 所述方法包括： 按照预设的查询周期查询预设的配置文件， 得到所述配置文件中记录的数据的维度， 并对所得到的维度进行排列组合， 得到多个目标维度组合； 生成处理各个目标维度组合下的数据的各个数据处理指令， 为各个数据处理指令分配 目标处理节点； 汇总统计各个目标处理节点根据各自对应的数据处理指令进行数据处理的数据处理 结果。 2.根据权利要求1所述的方法， 其特征在于， 所述为各个数据处理指令分配目标处理节 点， 包括： 根据各个任务处 理节点的节点负载， 为各个数据处 理指令分配目标处 理节点。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 获得各任务处 理节点按照预设的发送周期发送的自身未处 理任务的数量； 所述根据各个任务处理节点的节点负载， 为各个数据处理指令分配目标处理节点， 包 括： 根据最近获得的各个任务处理节点中未处理任务的数量和各个任务处理节点的节点 负载， 为各个数据处 理指令分配目标处 理节点。 4.根据权利要求3所述的方法， 其特征在于， 在所述得到多个目标维度组合之后， 所述 方法还包括： 获得各个目标维度组合中各个维度的数据的数据量； 所述根据最近获得的各个任务处理节点中未处理任务的数量和各个任务处理节点的 节点负载， 为各个数据处 理指令分配目标处 理节点， 包括： 根据各个目标维度组合对应的数据量、 最近获得的各个任务处理节点中未处理任务的 数量和各个任务处 理节点的节点负载， 为各个数据处 理指令分配目标处 理节点。 5.一种多维度数据处 理装置， 其特 征在于， 所述装置包括： 维度组合模块， 用于按照预设的查询周期查询预设的配置文件， 得到所述配置文件中 记录的数据的维度， 并对所 得到的维度进行排列组合， 得到多个目标维度组合； 节点分配模块， 用于生成处理各个目标维度组合下的数据的各个数据处理指令， 为各 个数据处 理指令分配目标处 理节点； 结果获得模块， 用于汇总统计各个目标处理节点根据各自对应的数据处理指令进行数 据处理的数据处 理结果。 6.一种多维度数据处理系统， 其特征在于， 所述系统包括： 数据存储库、 维度调度节点、 任务下发节点、 汇总统计节点以及多个任务处 理节点； 其中， 所述维度调度节点， 用于按照预设的查询周期查询预设的配置文件， 得到所述配置文 件中记录的数据的维度， 并对所得到的维度进行排列组合， 得到多个目标维度组合， 向所述 任务下发节点发送各个目标维度组合； 所述任务下发节点， 用于获取各个目标维度组合， 生成处理各个目标维度组合下的数 据的各个数据处 理指令， 为各个数据处 理指令分配目标处 理节点； 各目标处理节点， 用于响应于各自对应的数据处理指令， 从所述数据存储库中获得各 自对应的数据处理指 令指示的目标维度组合中各个维度的数据， 对所获得的各个维度的数权　利　要　求　书 1/2 页 2 CN 115421910 A 2据进行数据处理， 得到数据处 理结果； 所述汇总统计节点， 用于汇总统计各个目标处理节点根据 各自对应的数据处理指令进 行数据处理的数据处 理结果。 7.根据权利要求6所述的系统， 其特征在于， 所述任务下发节点， 具体用于根据各个任 务处理节点的节点负载， 为各个数据处 理指令分配目标处 理节点。 8.根据权利要求7 所述的系统， 其特 征在于， 所述任务处理节点， 用于按照预设的发送周期， 将自身未处理任务的数量发送至所述 任务下发节点； 所述任务下发节点， 具体用于根据最近获得的各个任务处理节点中未处理任务的数量 和各个任务处 理节点的节点负载， 为各个数据处 理指令分配目标处 理节点。 9.根据权利要求8所述的系统， 其特 征在于， 所述任务下发节点， 具体用于获得各个目标维度组合中各个维度的数据的数据量， 根 据各个目标维度组合对应的数据量、 最近获得的各个任务处理节点中未处理任务的数量和 各个任务处 理节点的节点负载， 为各个数据处 理指令分配目标处 理节点。 10.根据权利要求6 ‑9中任一项所述的系统， 其特征在于， 所述目标处理节点， 具体用 于： 响应于自身对应的数据处 理指令， 查询自身当前的未处 理任务数量； 在所述未处理任务数量大于预设的第 一任务数量的情况下， 将自身对应的数据处理指 令存储至各个任务处 理节点公用的任务队列； 在所述未处理任务数量不大于预设的第一任务数量的情况下， 从所述数据存储库中， 获得自身对应的数据处理指令指示的目标维度组合中各个维度的数据， 对 所获得的各个维 度的数据进行 数据处理， 得到数据处 理结果； 各个任务处理节点， 还用于在节点中当前未处理任务数量小于预设的第 二任务数量的 情况下， 获得所述任务队列中存储的数据 处理指令， 并根据所获得的数据 处理指令进行数 据处理， 其中， 所述第二任务数量小于所述第一任务数量。 11.根据权利要求6 ‑9中任一项所述的系统， 其特征在于， 所述目标处理节点， 具体用 于： 在预设的多种处理规则中， 确定与自身对应的数据处理指令指示的目标维度组合中的 维度对应的目标处 理规则； 基于所述目标处理规则， 对自身对应的数据处理指令指示的目标维度组合中各个维度 的数据进行 数据处理， 得到数据处 理结果。 12.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总 线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执 行存储器上所存放的程序时， 实现权利要求1 ‑4任一所述的方法步骤。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处 理器执行时实现权利要求1 ‑4任一所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115421910 A 3