(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211200945.9 (22)申请日 2022.09.29 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 申请人 建信金融科技有限责任公司 (72)发明人 卞嘉骏　唐成山　陈军　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 赵小霞 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) (54)发明名称 数据处理系统、 方法、 装置及电子设备 (57)摘要 本申请涉及数据处理技术领域， 具体涉及一 种数据处理系统、 方法、 装置及电子设备， 用于解 决各个分支机构高频处理单元的集群资源浪费 的问题。 其中， 数据处理方法包括： 获取各个分布 式节点分别对应的待处理数据； 确定各个分布式 节点与各个主任务处理单元之间的映射关系， 以 使各个主任务处理单元对应的待处理数据量之 间的差值处于预设范围； 根据映射关系， 将各个 待处理数据分配给各个主任务处理单元； 根据各 个主任务处理单元， 以及各个主任务处理单元分 别对应的子任务处理单元， 对各个主任务处理单 元分别对应的所有待处理数据进行处理。 通过上 述方法， 可以使得各个主任务处理单元所对应的 数据处理量均衡， 从而避免存在 主任务处理单元 的集群资源浪费。 权利要求书3页 说明书11页 附图8页 CN 115495220 A 2022.12.20 CN 115495220 A 1.一种数据处理系统， 其特征在于， 所述系统包括主任务接入单元、 映射单元、 N个主任 务处理单元， 以及每个主任务处理单元对应的子任务处理单元， 其中， 所述主任务接入单元 以及N个主任务处理单元分别与所述映射单元相连， 并且每个主任务处理单元与各自对应 的子任务处 理单元连接， N为大于或等于1的整数； 所述主任务接入单元， 用于获取当前各个分布式节点的待处理数据， 并将所有待处理 数据发送给所述映射单元； 所述映射单元， 用于确定各个分布式节点对应的主任务处理单 元， 以使各个主任务处理单元对应的待处理数据量均衡； 每个主任务处理单元与各自对应 的子任务处 理单元， 用于对所述映射单 元确定的各个分布式节点的待处 理数据进行处 理。 2.如权利要求1所述数据处理系统， 其特征在于， 所述系统还包括N个消息队列单元， 其 中， N个消息队列单元与N个主任务处理单元以及N个子任务处理单元之 间一一对应连接， 每 个消息队列单元与相互对应的子任务处理单元之间建立多个数据通道， 所述多个数据通道 至少包括M个专用通道和1个公用通道， M取值大于或等于消息队列单元所服务的分布式节 点数量； 各个专用通道， 用于各个分布式节点独立处理数据； 所述 公用通道可同时供多个分 布式节点使用。 3.如权利要求2所述数据处 理系统， 其特 征在于， 所述消息队列单 元为Kafka消息系统。 4.如权利要求2中任一权利要求所述数据处理系统， 其特征在于， 所述子任务处理单元 包括预设个数 的服务器， 其中， 每台服务器与所述多个数据通道中的预设数据通道之间按 照轮询的方式建立连接关系。 5.一种数据处理方法， 基于上述权利要求1～4中任一权利要求， 其特征在于， 所述方法 包括： 获取各个分布式节点分别对应的待处 理数据； 确定各个分布式节点与各个主任务处理单元之间的映射关系， 以使各个主任务处理单 元对应的待处 理数据量之间的差值处于预设范围； 根据所述映射关系， 将各个待处 理数据分配给 各个主任务处 理单元； 根据各个主任务处理单元， 以及各个主任务处理单元分别对应的子任务处理单元， 对 各个主任务处 理单元分别对应的所有 待处理数据进行处 理。 6.如权利要求5所述的方法， 其特征在于， 所述确定各个分布式节点与 各个主任务处理 单元之间的映射关系， 包括： 获取各个分布式节点所处的地域信息以及各个分布式节点的历史数据信息， 其中， 所 述历史数据信息 至少包括数据量大小以及数据处 理高峰时间段； 根据各个地域信息、 各个历史数据信息以及主任务处理单元的个数， 确定各个分布式 节点与各个主任务处 理单元之间的映射关系。 7.如权利要求5所述的方法， 其特征在于， 所述根据各个主任务处理单元， 以及各个主 任务处理单元分别对应的子任务处理单元， 对各个主任务处理单元分别对应的所有待处理 数据进行处 理， 包括： 确定相互对应的主任务处理单元与子任务处理单元之间的多个数据通道； 其中， 所述 多个数据通道至少包括M个专用通道和1个公用通道， M取值大于或等于所述多个数据通道 所服务的分布式节点数量； 根据所述多个数据通道中任一数据通道对应的编号， 确定各个分布式节点分别对应的权　利　要　求　书 1/3 页 2 CN 115495220 A 2各个专用通道， 并检测同一分布式节点对应各个专用通道的数据处理量是否大于或等于待 处理数据量； 若是， 则基于所述同一分布式节点对应的各个专用通道， 将主任务处理单元中所述同 一分布式节点对应的待处 理数据传输给互相对应的子任务处 理单元进行处 理； 若否， 则基于所述同一分布式节点对应的各个专用通道以及所述公用数据通道， 将主 任务处理单元中所述同一分布式节点对应的待处理数据传输给互相对应的子任务处理单 元进行处 理。 8.如权利要求7所述的方法， 其特征在于， 所述将主任务处理单元中所述同一分布式节 点对应的待处 理数据传输给互相对应的子任务处 理单元进行处 理， 包括： 根据所述同一分布式节点对应各个数据通道的编号， 在所述同一分布式节点对应的子 任务处理单元中确定所述同一分布式节点对应的各个服务器， 其中， 各个服务器所对应的 编号是按照轮询的方式来确定； 指示各个服 务器对所述同一分布式节点对应的待处 理数据进行处 理。 9.一种数据处 理装置， 其特 征在于， 所述方法包括： 获取模块， 用于获取 各个分布式节点分别对应的待处 理数据； 确定模块， 用于确定各个分布式节点与各个主任务处理单元之间的映射关系， 以使各 个主任务处 理单元对应的待处 理数据量之间的差值处于预设范围； 分配模块， 用于根据所述映射关系， 将各个待处 理数据分配给 各个主任务处 理单元； 处理模块， 用于根据各个主任务处理单元， 以及各个主任务处理单元分别对应的子任 务处理单元， 对各个主任务处 理单元分别对应的所有 待处理数据进行处 理。 10.如权利要求9所述的装置， 其特 征在于， 所述确定模块具体用于： 获取各个分布式节点所处的地域信息以及各个分布式节点的历史数据信息， 其中， 所 述历史数据信息 至少包括数据量大小以及数据处 理高峰时间段； 根据各个地域信息、 各个历史数据信息以及主任务处理单元的个数， 确定各个分布式 节点与各个主任务处 理单元之间的映射关系。 11.如权利要求9所述的装置， 其特 征在于， 所述处 理模块具体用于： 确定相互对应的主任务处理单元与子任务处理单元之间的多个数据通道； 其中， 所述 多个数据通道至少包括M个专用通道和1个公用通道， M取值大于或等于所述多个数据通道 所服务的分布式节点数量； 根据所述多个数据通道中任一数据通道对应的编号， 确定各个分布式节点分别对应的 各个专用通道， 并检测同一分布式节点对应各个专用通道的数据处理量是否大于或等于待 处理数据量； 若是， 则基于所述同一分布式节点对应的各个专用通道， 将主任务处理单元中所述同 一分布式节点对应的待处 理数据传输给互相对应的子任务处 理单元进行处 理； 若否， 则基于所述同一分布式节点对应的各个专用通道以及所述公用数据通道， 将主 任务处理单元中所述同一分布式节点对应的待处理数据传输给互相对应的子任务处理单 元进行处 理。 12.如权利要求1 1所述的装置， 其特 征在于， 所述处 理模块还用于： 根据所述同一分布式节点对应各个数据通道的编号， 在所述同一分布式节点对应的子权　利　要　求　书 2/3 页 3 CN 115495220 A 3