说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211114479.2 (22)申请日 2022.09.14 (71)申请人 平安壹钱包电子商务有限公司 地址 518031 广东省深圳市福田区福田街 道福华路319号兆邦基金融大厦26层 2606单元 (72)发明人 蒋杰名  (74)专利代理 机构 北京中强智尚知识产权代理 有限公司 1 1448 专利代理师 刘丽颖 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/2455(2019.01) G06F 9/50(2006.01) H04L 41/00(2022.01)G06F 11/20(2006.01) (54)发明名称 基于分布式的数据处理方法、 装置、 设备及 介质 (57)摘要 本申请公开了一种基于分布式的数据处理 方法、 装置、 介质及设备, 方法包括: 在跟随者服 务器列表中, 分别确定与每个数据渠道对应的目 标服务器; 将与数据渠道对应的待清洗数据发送 至与数据渠道对应的目标服务器; 目标服务器处 理待清洗数据, 得到目标数据。 本申请的方法解 决了现有方法中调用分布式缓存读取交易相关 数据所导 致的性能低下的问题。 权利要求书2页 说明书10页 附图7页 CN 115495446 A 2022.12.20 CN 115495446 A 1.一种基于分布式架构的数据处 理方法, 其特 征在于, 所述方法包括: 在跟随者 服务器列表中, 分别确定与每 个数据渠道对应的目标服 务器; 将与所述数据渠道对应的待清洗数据发送至与所述数据渠道对应的目标服 务器; 所述目标服 务器处理所述待清洗数据, 得到目标 数据。 2.根据权利要求1所述的方法, 其特征在于, 所述分别确定与每个数据渠道对应的目标 服务器, 包括: 所述跟随者服务器列表中的跟随者服务器接收领导者服务器的第 一通信信号, 并根据 所述第一 通信信号, 判断所述领导 者服务器是否失效; 若失效, 则多个所述跟随者服务器投票, 并根据投票结果在所述跟随者服务器列表中 重新确定领导 服务器; 所述领导者服务器根据预设分配策略, 在多个跟随者服务器中, 分别确定与每个所述 数据渠道对应的目标服 务器。 3.根据权利要求2所述的方法, 其特征在于, 所述领导机器根据预设分配策略, 在跟随 者服务器列表中, 分别确定与每 个所述数据渠道对应的目标服 务器, 包括: 为多个所述数据渠道排序, 并根据所述数据渠道的排列顺序, 确定每个所述数据渠道 的编号; 确定所述跟随者服务器的数量, 并分别将每个所述数据渠道的编 号与所述跟随者服务 器的数量相除, 得到所述数据渠道对应的第一 余数值; 为多个所述跟随者服务器排序, 并根据所述跟随者服务器的排列顺序, 确定每个所述 目标服务器的编号; 依次将每个所述数据渠道作为待匹配渠道, 确定与所述待 匹配渠道对应的第 一余数值 的差值为1的编号为 目标编号, 与所述 目标编号对应的跟随者服务器为所述待匹配渠道对 应的目标服 务器。 4.根据权利要求2所述的方法, 其特征在于, 所述领导机器根据预设分配策略, 在跟随 者服务器列表中, 分别确定与每 个所述数据渠道对应的目标服 务器, 包括: 分别确定每 个所述数据渠道的渠道名称对应的哈希值; 确定所述跟随者服务器的数量, 并分别将每个所述哈希值与 所述跟随者服务器的数量 相除, 得到所述数据渠道对应的第二 余数值; 为多个所述跟随者服务器排序, 并根据所述跟随者服务器的排列顺序, 确定每个所述 跟随者服务器的编号; 依次将每个所述数据渠道作为待匹配渠道, 生成与所述待匹配渠道对应的随机数, 其 中, 所述随机数为小于或等于所述第二 余数值的非负整数; 确定与所述待匹配渠道对应的随机数的数值相同的编 号为目标编 号, 与所述目标编号 对应的跟随者 服务器为所述待匹配渠道对应的目标服 务器。 5.根据权利要求1所述的方法, 其特征在于, 所述将与 所述数据渠道对应的待清洗数据 发送至与所述数据渠道对应的目标服 务器, 包括: 在所述数据渠道以及所述数据渠道对应的目标服 务器之间建立 通信连接; 所述数据渠道通过 所述通信连接, 将所述待清洗数据发送至所述目标服 务器。 6.根据权利要求2所述的方法, 其特征在于, 所述将与 所述数据渠道对应的待清洗数据权 利 要 求 书 1/2 页 2 CN 115495446 A 2发送至与所述数据渠道对应的目标服 务器之前, 所述方法还 包括: 若所述领导者服务器在预设时长 内未接收到所述跟随者服务器发送的第 二通信信号, 则确认所述跟随者 服务器失效, 并在所述跟随者 服务器列表中删除失效的跟随者 服务器; 返回所述在跟随者服务器列表中, 分别确定与每个数据渠道对应的目标服务器的步 骤。 7.根据权利要求2所述的方法, 其特征在于, 所述将与 所述数据渠道对应的待清洗数据 发送至与所述数据渠道对应的目标服 务器之前, 所述方法还 包括: 所述领导者服务器接收服务器发送的第 三通信信号, 并根据所述第 三通信信号确定所 述服务器的网络地址; 根据所述网络地址, 判断所述 服务器是否在所述跟随者 服务器列表中; 若否, 则将所述 服务器加入所述跟随者 服务器列表; 返回所述在跟随者服务器列表中, 分别确定与每个数据渠道对应的目标服务器的步 骤。 8.一种基于分布式的数据处 理装置, 其特 征在于, 所述装置包括: 分配模块, 用于在跟随者 服务器列表中, 分别确定与每 个数据渠道对应的目标服 务器; 发送模块, 用于将与 所述数据渠道对应的待清洗数据发送至与 所述数据渠道对应的目 标服务器; 处理模块, 用于处 理所述待清洗数据, 得到目标 数据。 9.一种存储介质, 其上存储有程序或指令, 其特征在于, 所述程序或指令被处理器执行 时实现如权利要求1至7中任一项所述的方法的步骤。 10.一种电子设备, 包括存储介质、 处理器及存储在存储介质上并可在处理器上运行的 计算机程序, 其特征在于, 所述处理器执行所述程序时实现权利要求1至7中任一项所述的 方法。权 利 要 求 书 2/2 页 3 CN 115495446 A 3

.PDF文档 专利 基于分布式的数据处理方法、装置、设备及介质

文档预览
中文文档 20 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共20页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 基于分布式的数据处理方法、装置、设备及介质 第 1 页 专利 基于分布式的数据处理方法、装置、设备及介质 第 2 页 专利 基于分布式的数据处理方法、装置、设备及介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:12:55上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。