(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211043006.8 (22)申请日 2022.08.29 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 严文莉　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 付丽 (51)Int.Cl. G06F 16/17(2019.01) G06F 16/18(2019.01) G06F 16/25(2019.01) (54)发明名称 一种数据湖加工数据监控方法及装置 (57)摘要 本申请提供了一种数据湖加工数据监控方 法及装置， 应用于金融领域， 方法包括： 数据湖接 收不同类型的多种数据， 并将 接收失败的目标数 据的失败信息存储至监控日志， 根据配置表信息 对接收的数据进行检查， 监控数据是否全部接收 完毕， 对接收完毕的数据进行异常检测， 若存在 错误数据， 则将错误数据的错误信息存储至监控 日志， 对经过异常检测的数据进行加载， 监控是 否加载成功， 通过实时监控数据湖加工数据的多 个环节， 以便快速定位异常环节， 降低异常定位 时间， 提高定位异常环 节的效率。 权利要求书1页 说明书7页 附图2页 CN 115374068 A 2022.11.22 CN 115374068 A 1.一种数据湖加工数据监控方法， 其特 征在于， 所述方法包括： 数据湖接收不同类型的多种数据， 并将接收失败的目标数据的失败信 息存储至监控日 志； 所述数据湖根据配置表信息对接收的数据进行检查， 监控数据是否全部 接收完毕； 所述数据湖对接收完毕的数据进行异常检测， 若存在错误数据， 则将错误数据的错误 信息存储至所述 监控日志； 所述数据湖对经 过异常检测的数据进行加载， 监控是否加载成功。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 所述数据湖对生成数据链路进行加载， 监控是否加载成功。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 所述数据湖监控多个目标节点的加载状态， 若加载失败， 则进行告警。 4.根据权利要求3所述的方法， 其特征在于， 所述数据湖监控多个目标节点的加载状 态， 若加载失败， 则进行告警包括： 若多个所述目标节点处于加载失败状态的节点数量超过第一阈值， 则进行告警。 5.根据权利要求3所述的方法， 其特征在于， 所述数据湖监控多个目标节点的加载状 态， 若加载失败， 则进行告警包括： 若所述目标节点加载时间超过第二阈值， 则进行告警。 6.根据权利要求1 ‑5任意一项所述的方法， 其特 征在于， 所述方法还 包括： 根据所述 监控日志， 对失败信息或错 误信息进行处 理。 7.一种数据湖加工数据监控 装置， 其特 征在于， 所述装置包括： 第一接收单元， 用于接收不同类型的多种数据， 并将接收失败的目标数据的失败信息 存储至监控日志； 检查单元， 用于根据配置表信息对接收的数据进行检查， 监控数据是否全部 接收完毕； 异常检测单元， 用于对接收完毕的数据进行异常检测， 若存在错误数据， 则将错误数据 的错误信息存 储至所述 监控日志； 第一加载 单元， 用于对经 过异常检测的数据进行加载， 监控是否加载成功。 8.根据权利要求7 所述的装置， 其特 征在于， 所述装置还 包括第二加载 单元； 所述第二加载 单元， 用于对生成数据链路进行加载， 监控是否加载成功。 9.根据权利要求7 所述的装置， 其特 征在于， 所述装置还 包括监控单元； 所述监控单元， 用于监控多个目标节点的加载状态， 若加载失败， 则进行告警。 10.根据权利要求9所述的装置， 其特 征在于， 所述 监控单元， 具体用于： 若多个所述目标节点处于加载失败状态的节点数量超过第一阈值， 则进行告警。权　利　要　求　书 1/1 页 2 CN 115374068 A 2一种数据湖加工数据监控方 法及装置 技术领域 [0001]本发明涉及金融领域， 特别涉及一种数据湖加工数据监控方法及装置 。 背景技术 [0002]随着当前社会的金融和计算机发展， 涉及越来越多的金融交易， 随着银行业务的 快速发展， 银行的数据也越来越多。 因此银行当前利用企业级架构数据治理项目管理数据。 数据湖作为数据存储中心， 集中存储银行的业务系统数据以及通过脚本爬取的其他数据 等， 因此数据湖的数据量较大。 数据湖在进行数据传输时， 对传输时效要求较高， 并且交互 频繁。 [0003]由于数据湖在数据加工以及传输过程中的流程较为复杂， 一旦在传输过程中出现 异常情况， 维护人员需要对不同数据生成环节逐一排查， 在此过程中可能需要登陆多个不 同服务器、 不同数据库表去定位异常环 节， 效率非常低下。 [0004]因此， 现在亟需一种能够提高定位异常环 节效率的方法。 发明内容 [0005]有鉴于此， 本申请的目的在于提供一种数据湖加工数据监控方法及装置， 能够实 时监控数据湖生 成数据的多个环节， 以便快速定位异常环节， 降低异常定位时间， 提高定位 异常环节的效率。 [0006]本申请实施例提供一种数据湖加工数据监控方法， 所述方法包括： [0007]数据湖接收不同类型的多种数据， 并将接收失败的目标数据的失败信息存储至监 控日志； [0008]所述数据湖根据配置表信息对接收的数据进行检查， 监控数据是否全部接收完 毕； [0009]所述数据湖对接收完毕的数据进行异常检测， 若存在错误数据， 则将错误数据的 错误信息存 储至所述 监控日志； [0010]所述数据湖对经 过异常检测的数据进行加载， 监控是否加载成功。 [0011]可选地， 所述方法还 包括： [0012]所述数据湖对生成数据链路进行加载， 监控是否加载成功。 [0013]可选地， 所述方法还 包括： [0014]所述数据湖监控多个目标节点的加载状态， 若加载失败， 则进行告警。 [0015]可选地， 所述数据湖监控多个目标节点的加载状态， 若加载失败， 则进行告警包 括： [0016]若多个所述目标节点处于加载失败状态的节点数量超过第一阈值， 则进行告警。 [0017]可选地， 所述数据湖监控多个目标节点的加载状态， 若加载失败， 则进行告警包 括： [0018]若所述目标节点加载时间超过第二阈值， 则进行告警。说　明　书 1/7 页 3 CN 115374068 A 3