(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211181830.X (22)申请日 2022.09.27 (71)申请人 重庆忽米网络科技有限公司 地址 400041 重庆市高新区万科023创意天 地万科锦尚4幢3单 元 (72)发明人 巩书凯　周光勇　何荣　陈磊　 张玉洁　李文玲　胡兵兵　邹惠宇　 邹平　刘凤　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 黄河 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/28(2019.01) H04L 67/143(2022.01)H04L 69/16(2022.01) (54)发明名称 一种基于事件消息驱动关系型数据库采集 的方法 (57)摘要 本发明涉及数据采集处理技术领域， 尤其涉 及一种基于事件消息驱动关系型数据库采集的 方法。 本方法将数据采集程序和业务逻辑处理程 序分离， 各司其职， 通过这样的方式， 降低数据采 集和业务处理的耦合性， 使 得开发人员在开发过 程中无需关注数据采集底层实现， 可以着重于业 务实现， 减少开发成本。 将数据采集和业务逻辑 处理分离， 一方面可 以提升数据采集效率， 另 一 方面则可满足不同客户端的采集需求。 本发明可 以在减少开发成的基础上， 提升数据采集效率并 兼顾不同客户端的采集需求。 权利要求书1页 说明书4页 附图1页 CN 115422279 A 2022.12.02 CN 115422279 A 1.一种基于事 件消息驱动关系型 数据库采集的方法， 其特 征在于， 包括以下步骤： S1、 创建数据采集程序作为服务端， 并在服务端内设置不同关系型数据库的驱动程序， 用于进行关系型 数据库的数据读取； S2、 创建数据处理程序作为客户端， 用于向服务端创建Socket连接及发送数据采集的 任务消息； S3、 启动服务端并创建Socket服务， 监听客户端的连接请求， 并在监听到客户端的连接 请求后创建Socket传输通道； S4、 通过客户端发送数据采集的任务消息； 所述任务消息的内容包括任务ID、 数据库连 接信息、 SQ L脚本、 接收服 务端的消息类型、 每次批处 理的数据量； S5、 通过服务端接收任务消息 并根据SQL脚本执行数据采集， 并在采集过程中触发预设 的对应客户端监听的事 件时给客户端发送对应的事 件消息； S6、 通过客户端接收到事 件消息后进行对应的数据处 理。 2.如权利要求1所述的基于事件消息驱动关系型数据库采集的方法， 其特征在于： S1 中， 所述驱动程序包括数据连接程序和数据库脚本执 行器程序。 3.如权利要求1所述的基于事件消息驱动关系型数据库采集的方法， 其特征在于： S4 中， 数据库连接信息包括 地址、 账号和密码。 4.如权利要求3所述的基于事件消息驱动关系型数据库采集的方法， 其特征在于： S5 中， 预设的对应客户端监听的事件包括任务启动、 数据读取、 数据写出、 采集日志、 任务完 成、 执行错误。 5.如权利要求4所述的基于事件消息驱动关系型数据库采集的方法， 其特征在于： S5 中， 服务端监听到任务消息后， 还将任务消息的任务ID与Socket传输通道进 行绑定， 用于后 续通过任务 ID获取对应的Socket传输通道与客户端 进行通信。 6.如权利要求5所述的基于事件消息驱动关系型数据库采集的方法， 其特征在于： S5 中， 服务端根据客户端提交的SQL脚本执行数据采集， 当不能读取更多数据时， 触发任务完 成事件， 向客户端发送任务完成消息； S6中， 客户端接收到任务完成消息后， 轮询执行检查 Socket传输通道中数据是否全部读取， 若Socket传输通道中数据全部读取则和服务端断开 本次任务的通信连接 。 7.如权利要求6所述的基于事件消息驱动关系型数据库采集的方法， 其特征在于： S6包 括： S61、 通过客户端启动事 件监听器， 监听服 务端发送的事 件消息； S62、 客户端接收到服 务端的事 件消息后， 对消息进行 数据处理。 8.如权利要求7所述的基于事件消息驱动关系型数据库采集的方法， 其特征在于： S6后 还包括S7， 服务端向客户端发送任务完成消息X秒后， 检测客户端是否已断开连接， 若未断 开连接则向客户端 再次发送任务完成消息， 并在X秒再次检测客户端 是否已断开连接， 直到 确定客户端已断开连接 。 9.如权利要求8所述的基于事件消息驱动关系型数据库采集的方法， 其特征在于： S7 中， 若Y分钟后客户端仍未关闭连接， 则通过服 务端强制断开连接 。权　利　要　求　书 1/1 页 2 CN 115422279 A 2一种基于事件消 息驱动关系型数据库采集的方 法 技术领域 [0001]本发明涉及数据采集处理技术领域， 尤其涉及一种基于事件消息驱动关系型数据 库采集的方法。 背景技术 [0002]现有关系型 数据采集， 是通过创建数据库连接执 行数据库脚本获取 数据。 [0003]这种关系型数据库 采集方式， 在程序设计方面程序既要作为客户端 （数据处理端） 也要作为数据采集的任务执行者； 在数据 处理方面， 数据采集和 业务逻辑的处理都是同步 完成的； 在系统性能方面， 需要更多的系统资源来支持数据采集和业务逻辑处理的性能消 耗； 在系统扩展方面， 数据采集和业务逻辑处理耦合性太高， 不具备功能复用性， 从而增加 了开发成本。 上述各方面的综合作用， 导致开发人员 在开发过程中需要关注数据采集底层 实现， 开发成本较高， 数据采集效率 也较为低下， 并且 难以兼顾不同客户端的采集需求。 [0004]因此， 怎样在减少开发成的基础上， 提升数据采集效率并兼顾不 同客户端的采集 需求， 成为目前亟 待解决的问题。 发明内容 [0005]针对上述现有技术的不足， 本发明提供了一种基于事件消息驱动关系型数据库采 集的方法， 可以在在减少开发成的基础上， 提升数据采集效率并兼顾不同客户端的采集需 求。 [0006]为了解决上述 技术问题， 本发明采用了如下的技 术方案： 一种基于事 件消息驱动关系型 数据库采集的方法， 包括以下步骤： S1、 创建数据采集程序作为服务端， 并在服务端内设置不 同关系型数据库的驱动 程序， 用于进行关系型 数据库的数据读取； S2、 创建数据处理程序作为客户端， 用于向服务端创 建Socket连接及发送数据采 集的任务消息； S3、 启动服务端并创建S ocket服务， 监听客户端的连接请 求， 并在监听到客户端的 连接请求后创建Socket传输通道； S4、 通过客户端发送数据 采集的任务消息； 所述任务消息的内容包括任务ID、 数据 库连接信息、 SQ L脚本、 接收服 务端的消息类型、 每次批处 理的数据量； S5、 通过服务端接收任务消息并根据S QL脚本执行数据采集， 并在采集过程中触发 预设的对应客户端监听的事 件时给客户端发送对应的事 件消息； S6、 通过客户端接收到事 件消息后进行对应的数据处 理。 [0007]优选的， S1中， 所述驱动程序包括数据连接程序和数据库脚本执 行器程序。 [0008]优选地， S4中， 数据库连接信息包括 地址、 账号和密码。 [0009]优选地， S5中， 预设的对应客户端监听 的事件包括任务启动、 数据读取、 数据写出、 采集日志、 任务完成、 执 行错误。说　明　书 1/4 页 3 CN 115422279 A 3