说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211126026.1 (22)申请日 2022.09.15 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 李杰  (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 李申 (51)Int.Cl. G06F 16/21(2019.01) G06F 9/52(2006.01) G06F 9/50(2006.01) (54)发明名称 一种数据批量处理方法、 电子 设备和存储介 质 (57)摘要 本申请公开了一种数据批量处理方法、 电子 设备及存储介质, 包括: 第一进程获取至少一个 数据; 生成与所述数据对应的若干个主任务; 对 所述若干个主任务进行配置, 以将所述若干个主 任务分别拆分成若干个子任务, 以待若干个第二 进程在预设时间段内对所述子任务进行处理。 上 述方案, 通过第一进程生 成与所述数据对应的若 干个主任务, 将所述若干个主任务分别拆分成若 干个子任务, 以待若干个第二进程在预设时间段 内对所述子任务进行处理, 实现了将主任务的生 成和处理解耦, 提高了主任务处理的效率以及可 同时处理的数据量。 权利要求书2页 说明书7页 附图2页 CN 115454968 A 2022.12.09 CN 115454968 A 1.一种数据批量处 理方法, 其特 征在于, 所述方法包括: 第一进程获取至少一个数据; 生成与所述数据对应的若干个主任务; 对所述若干个主任务进行配置, 以将所述若干个主任务分别拆分成若干个子任务, 以 待若干个第二进程在预设时间段内对所述子任务进行处 理。 2.如权利要求1所述的数据批量处理方法, 其特征在于, 所述对所述若干个主任务进行 配置, 包括: 配置所述若干个主任务的分片策略, 所述将所述若干个主任务分别拆分成若干个子任务, 包括: 根据所述分片策略将所述若干个主任务中的每个所述主任务拆分成若干个所述子任 务。 3.如权利要求2所述的数据批量处理方法, 其特征在于, 所述根据 所述分片策略将所述 若干个主任务中的每 个所述主任务拆分成若干个所述子任务, 包括: 根据所述分片策略将所述若干个主任务中的每个所述主任务分别拆分为数据库维度 和/或表维度, 得到若干个所述子任务。 4.如权利要求2所述的数据批量处理方法, 其特征在于, 所述对所述若干个主任务进行 配置, 还包括: 配置所述若干个主任务之间的依赖关系 、 串行方式、 并行 方式。 5.如权利要求1所述的数据批量处理方法, 其特征在于, 所述将所述若干个主任务分别 拆分成若干个子任务后, 还 包括: 第一进程根据所述数据与对应的数据库之间的关联关系将所述若干个子任务存储至 所述对应的数据库, 确定所述子任务的数量, 以根据存储至所述对应的数据库的子任务数 量确定所述第二进程的数量; 其中, 所述数据库的数量由所述数据的数量确定, 且所述数据与对应的所述数据库之 间关联, 每 个所述第二进程与至少一个所述子任务相对应。 6.一种数据批量处 理方法, 其特 征在于, 所述方法包括: 第二进程获取由第 一进程生成的主任务所拆分得到的子任务, 若干个所述子任务由一 个主任务拆分得到, 所述主任务由对应的数据生成; 所述第二进程对获取 得到的所述子任务进行处 理。 7.如权利要求6所述的数据批量处理方法, 其特征在于, 所述第 二进程获取由第 一进程 生成的子任务, 包括: 所述第二进程通过反射技术确定所述子任务在数据库中的位置, 通过所述子任务在所 述数据库中的位置获取 所述子任务, 以对所述子任务进行处 理。 8.如权利要求7所述的数据批量处理方法, 其特征在于, 所述对获取得到的所述子任务 进行处理, 包括: 所述第二进程根据所述主任务之间的依赖关系, 确定处理所述子任务的顺序, 以对所 述子任务进行处 理; 其中, 所述主任务之间的依赖关系是由所述第一进程配置得到的。 9.一种电子设备, 其特征在于, 包括存储器和 处理器, 所述存储器与所述处理器耦接,权 利 要 求 书 1/2 页 2 CN 115454968 A 2所述处理器用于执行所述存储器中存储的程序指 令, 以实现权利要求 1到8任一项 所述的数 据批量处 理方法。 10.一种非易失性计算机可读存储介质, 其上存储有程序指令, 其特征在于, 所述程序 指令被处 理器执行时实现权利要求1到8任一项所述的数据批量处 理方法。权 利 要 求 书 2/2 页 3 CN 115454968 A 3

.PDF文档 专利 一种数据批量处理方法、电子设备和存储介质

文档预览
中文文档 12 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共12页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据批量处理方法、电子设备和存储介质 第 1 页 专利 一种数据批量处理方法、电子设备和存储介质 第 2 页 专利 一种数据批量处理方法、电子设备和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:09:53上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。