(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211231336.X (22)申请日 2022.10.09 (71)申请人 上海哔哩哔哩科技有限公司 地址 200433 上海市杨 浦区政立路485号国 正中心3号楼 (72)发明人 胡云海　张杨　王丁　 (74)专利代理 机构 北京英特普罗知识产权代理 有限公司 1 1015 专利代理师 周建达 (51)Int.Cl. G06F 9/445(2018.01) G06F 9/50(2006.01) (54)发明名称 数据处理方法及装置 (57)摘要 本申请实施例提供一种数据处理方法， 所述 方法包括： 关闭目标数据库的压缩； 获取目标计 算引擎的第一状态数据， 压缩所述第一状态数据 以得到第二状态数据， 将所述第二状态数据存储 至所述目标数据库； 在将所述第二状态数据从所 述目标数据库读取出来的情况下， 解压缩所述第 二状态数据。 本申请实施例提供的数据处理方 法， 可以减少较大State存储至RocksDB时占用的 计算资源， 优化Fl ink的性能。 权利要求书1页 说明书8页 附图5页 CN 115509635 A 2022.12.23 CN 115509635 A 1.一种数据处 理方法， 其特 征在于， 包括： 关闭目标 数据库的压缩； 获取目标计算引擎的第一状态数据， 压缩所述第一状态数据以得到第二状态数据， 将 所述第二状态数据存 储至所述目标 数据库； 在将所述第 二状态数据从所述目标数据库读取出来的情况下， 解压缩所述第 二状态数 据。 2.根据权利 要求1所述的数据处理方法， 其特征在于， 所述目标计算引擎为Flink， 所述 目标数据库为RocksDB。 3.根据权利要求2所述的数据处理方法， 其特征在于， 所述压缩所述第 一状态数据以得 到第二状态数据， 包括： 在所述Fl ink的读写层压缩所述第一状态数据， 以得到所述第二状态数据。 4.根据权利要求3所述的数据处理方法， 其特征在于， 所述第一状态数据包括Map状态 数据、 Value状态数据、 递减状态数据和累加状态数据。 5.根据权利要求1 ‑4任一项所述的数据处理方法， 其特征在于， 所述目标数据库包括切 换开关， 所述方法还 包括： 在所述切换开关 打开的情况 下， 执行所述关闭目标 数据库的压缩及之后的步骤。 6.根据权利要求5所述的数据处 理方法， 其特 征在于， 还 包括： 在所述切换开关关闭的情况下， 打开所述目标数据库的压缩， 并将所述第一状态数据 直接存储至所述目标 数据库。 7.一种数据处 理装置， 其特 征在于， 包括： 关闭模块， 用于关闭目标 数据库的压缩； 压缩模块， 用于获取目标计算引擎的第一状态数据， 压缩所述第一状态数据以得到第 二状态数据， 将所述第二状态数据存 储至所述目标 数据库； 解压模块， 用于在将所述第二状态数据从所述目标数据库读取出来的情况下， 解压缩 所述第二状态数据。 8.根据权利 要求7所述的数据处理装置， 其特征在于， 所述目标计算引擎为Flink， 所述 目标数据库为RocksDB。 9.一种计算机设备， 所述计算机设备包括存储器、 处理器以及存储在存储器上并可在 处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时用于实现权 利要求1至 6中任一项所述的数据处 理方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序可被至少一个处理器所执行， 以使所述至少一个处理器执行权利要 求1至6中任一项所述的数据处 理方法的步骤。权　利　要　求　书 1/1 页 2 CN 115509635 A 2数据处理 方法及装置 技术领域 [0001]本申请涉及计算机技术领域， 特别涉及一种数据处理方法、 装置、 计算机设备及存 储介质。 背景技术 [0002]Flink是由Apache软件基金会开发的开源流 处理框架， 提供高吞吐量、 低延迟的流 数据引擎以及对事件 ‑时间处理和状态管理的支持。 为了实现容错， Flink将State(状态数 据)存储至RocksDB， 从而方便在发生异常时可以进行 自我恢复， 其中， RocksDB是用于键值 数据的高性能嵌入式数据库。 [0003]对于Flink执行的一些任务(如线上模型特征任务)来说， State会比较大， 例如达 到500G， 有的甚至接达10TB， 这些State存储至Rock sDB时， 由于RocksDB中会存在co mpact过 程的压缩与解压缩， 也有block(块)加载到缓存的解压缩， 且其中compact过程有明显的读 写放大效应， 因此会占用过多的计算资源， 进 而影响Fl ink的性能。 发明内容 [0004]本申请的目的在于提供一种数据处理方法、 装置、 计算机设备及存储介质， 用于解 决目前较大State存 储时会占用过多的计算资源， 影响Fl ink的性能的技 术问题。 [0005]本申请实施例的一个方面提供了一种数据处理方法， 包括： 关闭目标数据库的压 缩； 获取目标计算引擎的第一状态数据， 压缩所述第一状态数据以得到第二状态数据， 将所 述第二状态数据存储至所述目标数据库； 在将所述第二状态数据从所述目标数据库读取出 来的情况 下， 解压缩所述第二状态数据。 [0006]可选地， 所述目标计算引擎 为Flink， 所述目标 数据库为RocksDB。 [0007]可选地， 所述压缩所述第一状态数据以得到第二状态数据， 包括： 在所述Flink的 读写层压缩所述第一状态数据， 以得到所述第二状态数据。 [0008]可选地， 所述第一状态 数据包括Map状态数据、 Value状态 数据、 递减状态 数据和累 加状态数据。 [0009]可选地， 所述目标数据库包括切换开关， 所述方法还包括： 在所述切换开关打开的 情况下， 执行所述关闭目标 数据库的压缩及之后的步骤。 [0010]可选地， 所述方法还包括： 在所述切换开关关闭的情况下， 打开所述目标数据库的 压缩， 并将所述第一状态数据直接存 储至所述目标 数据库。 [0011]本申请实施例的一个方面又提供了一种数据处理装置， 包括： 关闭模块， 用于关闭 目标数据库的压缩； 压缩模块， 用于获取目标计算引擎的第一状态数据， 压缩所述第一状态 数据以得到第二状态数据， 将所述第二状态数据存储至所述目标数据库； 解压模块， 用于在 将所述第二状态数据从所述目标 数据库读取 出来的情况 下， 解压缩所述第二状态数据。 [0012]本申请实施例的一个方面又提供了一种计算机设备， 所述计算机设备包括存储 器、 处理器以及存储在存储器上并可在处理器上运行 的计算机程序， 所述处理器执行所述说　明　书 1/8 页 3 CN 115509635 A 3