(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211168215.5 (22)申请日 2022.09.23 (71)申请人 北京京东振世信息技 术有限公司 地址 100086 北京市海淀区知春路76号6层 (72)发明人 胡建平　 (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 专利代理师 邓菊香 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 数据处理方法、 装置、 电子设备及存 储介质 (57)摘要 本发明实施例涉及一种数据处理方法、 装 置、 电子设备及存储介质， 涉及计算机领域， 该方 法基于Flink架构的Sink算子按照预设置的分 组 规则将接收到的数据存储到对应的数据缓冲队 列中； 根据数据缓冲队列的出队顺序从所述数据 缓冲队列中依次获取数据， 发送给线程池中的多 线程进行数据输出； 即本发明实施例首先基于分 组规则将不同类型数据分别存储到对应的数据 缓冲队列中， 然后数据缓冲队列中的数据发送给 多线程进行输出， 既通过分组规则实现了不同类 型数据的分组处理、 同类型数据的顺序输出， 又 通过多线程增加了数据吞吐量， 提高了服务器资 源的利用率。 权利要求书2页 说明书7页 附图2页 CN 115543613 A 2022.12.30 CN 115543613 A 1.一种数据处 理方法， 其特 征在于， 包括： 基于Flink架构的Sink算子按照预设置的分组规则将接收到的数据存储到对应的数据 缓冲队列中； 根据数据缓冲队列的出队顺序从所述数据缓冲队列中依次获取数据， 发送给线程池中 的多线程进行 数据输出。 2.根据权利要求1所述的方法， 其特征在于， 所述数据携带优先级信息， 所述将接收到 的数据存 储到对应的数据缓冲队列中之后， 还 包括： 根据数据携带的优先级信 息， 对所述数据缓冲队列中的所有数据进行出队顺序的重新 排序。 3.根据权利要求1或2所述的方法， 其特征在于， 所述将接收到的数据存储到对应的数 据缓冲队列中之前， 还 包括： 接收用户的配置指令， 根据所述配置指令设置所述Flink架构的Sink算子的配置信息， 所述配置信息包括以下至少一种： 数据缓冲队列的容量上限值、 线程池的线程数量、 数据输 出失败后的重试 策略以及一 致性检查点策略； 其中， 所述数据缓冲队列的容量上限值根据虚拟机堆内存容量确定， 所述线程池的线 程数量不大于线程数量上限值， 所述线程数量上限值 根据处理器容量确定。 4.根据权利要求3所述的方法， 其特征在于， 所述将接收到的数据存储到对应的数据缓 冲队列中之后， 还 包括： 确定所述数据缓冲队列当前已存储的数据容量是否达到所述数据缓冲队列的容量上 限值； 若是， 则阻塞数据存 储到对应的数据缓冲队列中； 若否， 则执 行所述将接收到的数据存 储到对应的数据缓冲队列中的步骤。 5.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 在数据输出失败的情况 下， 根据所述数据输出失败后的重试 策略进行处 理。 6.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 在进行一致性检查前， 根据 所述一致性检查点策略确定是否输出所述数据缓冲队列中 的所有数据。 7.根据权利要求1或2所述的方法， 其特 征在于， 所述方法还 包括： 在所述分组规则不存在的情况 下， 将接收到的数据存 储到数据缓冲队列中。 8.一种数据处理装置， 其特征在于， 所述装置基于Flink架构的Sink算子， 所述装置包 括： 存储模块， 用于按照预设置的分组规则将接收到的数据存储到对应的数据缓冲队列 中； 处理模块， 用于根据数据缓冲队列的出队顺序从所述数据缓冲队列中依次获取数据， 发送给线程池中的多 线程进行 数据输出。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执行存储器上所存放的程序时， 实现权利要求1 ‑7任一项所述的数据处理权　利　要　求　书 1/2 页 2 CN 115543613 A 2方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1 ‑7任一项所述的数据处 理方法的步骤。权　利　要　求　书 2/2 页 3 CN 115543613 A 3