(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211360146.8 (22)申请日 2022.11.02 (71)申请人 深圳联友科技有限公司 地址 518031 广东省深圳市福田区深南中 路2010号东风大厦22楼2211、 2212、 2213房 (72)发明人 赵新阳　 (74)专利代理 机构 深圳市顺天达专利商标代理 有限公司 4 4217 专利代理师 高占元 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/2457(2019.01) G06F 16/248(2019.01) G06F 16/25(2019.01) (54)发明名称 一种基于消息队列和计算框架的数据接入 系统及方法 (57)摘要 本发明涉及数据接入 领域， 涉及一种基于消 息队列和计算框架的数据接入系统及方法， 包括 开发管理单元和运行单元， 开发管理单元包括平 台管理模块、 结构管理模块、 任务管理模块、 监控 管理模块； 平台管理模块包括项目管理模块、 数 据源管理模块、 引擎管理模块， 项目管理模块用 于项目创建、 项目修改、 项目展 示； 数据源管 理模 块用于数据库信息创建； 引擎管 理模块用于接入 任务所选技术类型创建、 技术类型展示； 结构管 理模块用于维护数据字典、 统一维护数据结构的 增加、 删除、 修改、 检查； 任务管理模块用于任务 创建、 逻辑维护、 任务测试； 监控管理模块用于构 建数据接入的监控平台， 本发明构建了统一的数 据采集平台， 来统一数据接入标准。 权利要求书2页 说明书6页 附图1页 CN 115470207 A 2022.12.13 CN 115470207 A 1.一种基于消息队列和计算框架的数据接入系统， 其特征在于： 包括用于开发项目以 及管理项目的开发管理单元 （1） 和用于运行项目的运行单元 （2） ， 所述开发管理单元 （1） 包 括平台管理模块 （1 1） 、 结构管理模块 （12） 、 任务管理模块 （13） 、 监控管理模块 （14） ； 所述平台管理模块 （11） 包括项目管理模块、 数据源管理模块、 引擎管理模块， 所述项目 管理模块用于项目创建、 项目修改、 项目展示； 所述数据源管 理模块用于数据库 （29） 信息创 建； 所述引擎管理模块用于 接入任务所选技 术类型创建、 技 术类型展示； 所述结构管理模块 （12） 用于维护数据字典、 统一维护数据结构的增加、 删除、 修改、 检 查； 所述任务管理模块 （13） 用于任务创建、 逻辑维护、 任务测试； 所述监控管理模块 （14） 用于通过对任务运行 日志以及任务处理流量的处理， 构建数据 接入的监控平台。 2.根据权利要求1所述的基于消息队列和计算框架的数据接入系统， 其特征在于： 所述 运行单元 （2） 包括数据源服 务模块 （21） 、 引擎 服务模块 （2 2） ； 所述数据源服 务模块 （21） 用于数据源信息的增 加、 删除、 修改、 检查的执 行操作； 所述引擎服务模块 （22） 用于基于开源 组件spark、 flink， 进行二次代码开发， 进行数据 消费、 解析、 清洗、 入库。 3.根据权利要求2所述的基于消息队列和计算框架的数据接入系统， 其特征在于： 所述 运行单元 （2） 还包括结构管理后台服 务模块 （23） 、 任务后台服 务模块 （24） ； 所述结构管理后台服务模块 （23） 用于数据结构的增加、 删除、 修改、 检查的后台执行操 作； 所述任务后 台服务模块 （24） 用于读取数据结构和消费数据、 结构解析、 数据入库任务 的生成实现， 与所述任务管理模块 （13） 配合管控 任务流。 4.根据权利要求3所述的基于消息队列和计算框架的数据接入系统， 其特征在于： 所述 运行单元 （2） 还包括任务测试服 务模块 （25） 、 后台监控服 务模块 （26） ； 所述任务测试服 务模块 （25） 用于消费数据模拟和 消费数据展示； 所述后台监控服务模块 （26） 用于实时监听任务情况， 并传输任务情况至所述监控平台 以实时展示任务情况。 5.根据权利要求4所述的基于消息队列和计算框架的数据接入系统， 其特征在于： 所述 运行单元 （2） 还包括数据库适配模块 （27） 、 HA服 务模块 （28） 、 数据库 （2 9） ； 所述数据库适配模块 （27） 用于根据各个数据库 （29） 提供的连接方式， 开发构 建适配不 同数据库 （2 9） 的统一接入的公用适配层， 迭代接入引擎以增 加可适配数据库 （2 9） ； 所述HA服务模块 （28） 用于接入任务的高可用， 通过对任务的监控， 对任务分配资源调 整， 自动宕机 重启。 6.一种基于消息队列和计算框架的数据接入方法， 其特征在于： 通过权利要求5所述的 数据接入系统实现， S1： 通过所述项目管理模块创建项目， 并通过所述数据源管理模块补充项目的数据源 信息， 通过所述运行单元 （2） 的数据源服务模块 （21） 对数据源信息进行增加、 删除、 修改操 作； S2： 通过所述引擎管理模块根据 运行单元 （2） 部署的spark集群、 flink集群配置所述项权　利　要　求　书 1/2 页 2 CN 115470207 A 2目的引擎类型及引擎环境信息； S3： 通过所述结构管理模块 （12） 对所述项目的数据字典结构信息进行维护， 并通过所 述结构管理后台服 务模块 （23） 对数据字典结构信息进行增 加、 删除、 修改、 检查的操作； S4： 通过所述任务管理模块 （13） 创建任务， 配置读取消费数据信息、 数据字典结构信 息、 数据源信息中的数据入库信息， 发布所述任务， 所述运行单元 （2） 的任务后台服务模块 （24） 根据所述任务配置的内容， 获取数据字典结构信息、 消费数据信息、 数据源信息中的数 据入库信息， 并根据所述数据字典结构信息、 消费数据信息、 数据源信息中的数据入库信息 生成数据接入 任务； S5： 所述任务后 台服务模块 （24） 根据所述任务配置的数据源信息， 通过所述数据库适 配模块 （27） 将数据接入 对应的数据库 （2 9） 。 7.根据权利要求6所述的基于消息队列和计算框架的数据接入方法， 其特征在于： 还包 括S6： 通过所述任务管理模块 （13） 进行任务测试， 填写测试数据信息并发送测试数据信息 至所述数据源管理模块， 并通过任务测试服务模块 （25） 将测试数据信息发送到数据源， 从 数据源中查看任务接入情况和数据入库情况以验证任务的准确性。 8.根据权利要求7所述的基于消息队列和计算框架的数据接入方法， 其特征在于： 还包 括S7： 所述后台监控服务模块 （26） 通过监控任务指标， 并将监控情况发送至所述监控平台， 所述监控平台向任务 点检人员展示相关任务信息 。 9.根据权利要求8所述的基于消息队列和计算框架的数据接入方法， 其特征在于： 还包 括S8： 对任务服务进行多机器部署， 对启动任务实行心跳机制检测， 监听任务执行情况， 如 果任务挂掉实现自动重启， 机器宕机实现任务的快速转移。 10.一种计算机可读存储介质， 其特征在于： 所述计算机可读存储介质上存储有数据处 理程序， 所述数据 处理程序被处理器执行时实现权利要求6 ‑9任意一项所述的数据接入方 法。权　利　要　求　书 2/2 页 3 CN 115470207 A 3