说明:收录全网最新的团体标准 提供单次或批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210989361.8 (22)申请日 2022.08.17 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 张为欢 王培君 倪文隽 管虹翔  (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 吴会英 臧建明 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/22(2019.01) G06F 9/50(2006.01) (54)发明名称 数据存储方法、 装置、 存储服务器及可读存 储介质 (57)摘要 本申请提供一种数据存储方法、 装置、 存储 服务器及可读存储介质, 涉及大数据技术领域。 该方法包括: 通过数据处理引擎集群中的多个数 据处理引擎获取多个实时数据; 通过预设的至少 一个所述数据处理引擎对各所述实时数据进行 对应的计算, 以获得当前结果数据; 通过预设的 至少一个数据处理引擎判断各所述当前结果数 据与历史结果数据之间的波动范围是否超过预 设范围, 所述历史结果数据是已经处理的, 与当 前结果数据在同一采集频率下所获得的单位时 间内的数据; 若超过, 则确定为异常结果数据, 并 将所述异常结果数据对应的各异常实时数据存 储于分布式存储平台中。 采用本申请的方法, 高 效地存储数据且能快速查询数据。 权利要求书2页 说明书10页 附图3页 CN 115269733 A 2022.11.01 CN 115269733 A 1.一种数据存 储方法, 应用于存 储服务器, 其特 征在于, 所述方法包括: 通过数据处理引擎集群中的多个数据处 理引擎获取多个实时数据; 通过预设的至少一个所述数据处理引擎对各所述实时数据进行对应的计算, 以获得当 前结果数据; 通过预设的至少一个数据处理引 擎判断各所述当前结果数据与历史结果数据之间的 波动范围是否超过预设范围, 所述历史结果数据是已经处理的, 与当前结果数据在同一采 集频率下 所获得的单位时间内的数据; 若超过, 则确定为异常结果数据, 并将所述异常结果数据对应的各异常实时数据存储 于分布式存 储平台中。 2.根据权利要求1所述的方法, 其特征在于, 所述实时数据, 包括: 实时业务数据和实时 性能数据, 所述实时性能数据是业 务系统中各服 务器实时的性能数据。 3.根据权利要求1所述的方法, 其特征在于, 所述数据处理引擎集群包括一个主数据处 理引擎和多个从数据处理引擎, 在所述通过数据处理引擎集群中的各数据处理引擎 获取多 个实时数据之前, 还 包括: 通过所述主数据处理引擎获取各所述从数据处理引擎的负载程度, 以及预设的各处理 任务, 所述处 理任务是对实时数据进行计算或对所述当前 结果数据进行判断的任务; 依据负载程度从低到高, 为各所述从数据处理引擎分配对应的处理任务, 负载程度与 从数据处 理引擎所分配的处 理任务呈负相关 关系。 4.根据权利要求1所述的方法, 其特征在于, 在所述通过数据处理引擎集群中的各数据 处理引擎获取多个实时数据之前, 还 包括: 获取各类待存储的数据的数据标签, 所述各类待存储的数据的数据标签是依据用户查 询的活跃度划分的; 确定所述各类待存储的数据的数据标签和分布式存储平台中各存储区域之间的映射 关系, 获得映射表; 各所述存储区域是所述分布式存储平台上具有不同的响应速度的, 用于 存储数据的区域。 5.根据权利要求3所述的方法, 其特征在于, 所述各类待存储的数据的数据标签包括实 时数据的数据标签, 所述存储区域包括内存, 所述将所述异常实时数据存储于分布式存储 平台中, 包括: 获取所述异常实时数据的数据标签; 根据所述映射表存储的映射关系确定将所述异常实时数据存储于所述分布式存储平 台的内存中, 所述异常实时数据包括异常的实时业务数据和异常的实时性能数据中的至少 一种。 6.根据权利要求5所述的方法, 其特征在于, 所述各类待存储的数据的数据标签还包括 聚合数据的数据标签, 所述存储区域包括SQL数据库, 所述将所述异常实时数据存储于 分布 式存储平台中时, 还包括: 获取聚合数据的数据标签, 所述聚合数据包括异常实时数据的出现频次; 根据所述映射表存储的映射关系确定将所述聚合数据存储于分布式存储平台的SQL数 据库中。 7.根据权利要求6所述的方法, 其特征在于, 所述各类待存储的数据的数据标签还包括权 利 要 求 书 1/2 页 2 CN 115269733 A 2历史数据的数据标签, 所述分布式存 储平台中还包括存储介质, 所述方法还 包括: 当所述异常实时数据过期时, 将所述异常实时数据确定为历史数据, 为所述历史数据 添加对应的数据标签并存 储于所述存 储介质中。 8.根据权利要求1 ‑6中任一项所述的方法, 其特征在于, 所述通过数据处理引擎集群中 的各数据处理引擎获取多个实时数据, 包括: 通过spark数据处 理引擎集群中的各spark数据处 理引擎获取多个实时数据。 9.一种数据存 储装置, 其特 征在于, 所述装置包括: 实时数据获取模块, 用于通过数据处理引擎集群中的各数据处理引擎获取多个实时数 据; 结果数据获取模块, 用于通过预设的至少一个所述数据处理引擎对各所述实时数据进 行对应的计算, 以获得当前 结果数据; 异常数据获取模块, 用于通过预设的至少一个数据处理引擎判断各所述当前结果数据 与历史结果数据之间的波动范围是否超过预设范围, 所述历史结果数据是已经处理的, 与 当前结果数据在同一采集频率下 所获得的单位时间内的数据; 异常数据存储模块, 用于若超过, 则确定为异常结果数据, 并将所述异常结果数据对应 的各异常实时数据存 储于分布式存 储平台中。 10.一种存 储服务器, 包括: 处 理器, 以及与所述处 理器通信连接的存 储器; 所述存储器存储计算机执 行指令; 所述处理器执行所述存储器存储的计算机执行指令, 以实现如权利要求1 ‑7中任一项 所述的方法。 11.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质中存储有计算机 执行指令, 所述计算机执行指令被处理器执行时用于实现如权利要求1 ‑7任一项所述的方 法。 12.一种计算机程序产品, 包括计算机程序, 该计算机程序被处理器执行时实现如权利 要求1‑7中任一项所述的方法。权 利 要 求 书 2/2 页 3 CN 115269733 A 3

.PDF文档 专利 数据存储方法、装置、存储服务器及可读存储介质

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据存储方法、装置、存储服务器及可读存储介质 第 1 页 专利 数据存储方法、装置、存储服务器及可读存储介质 第 2 页 专利 数据存储方法、装置、存储服务器及可读存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:14:09上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。