(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111613456.1 (22)申请日 2021.12.27 (71)申请人 国网河北省电力有限公司信息通信 分公司 地址 050000 河北省石家庄市裕华区富强 大街10号 申请人 国家电网有限公司 (72)发明人 杨小龙　马超　李静　高琳　 王献春　杨会峰　辛锐　孙辰军　 王静　刘宏　张冬亚　姚陶　 刘甲林　何甜　栾士江　袁伟博　 (74)专利代理 机构 石家庄轻拓知识产权代理事 务所(普通 合伙) 13128 代理人 张培元(51)Int.Cl. G06F 16/25(2019.01) G06F 16/2458(2019.01) G06F 16/182(2019.01) G06F 9/54(2006.01) G06F 16/27(2019.01) G06F 16/28(2019.01) G06Q 50/06(2012.01) (54)发明名称 一种针对电力能源大 数据的管控平台 (57)摘要 本发明公开了一种针对电力能源大数据的 管控平台， 包括， 数据导入模块： 用于从外部 数据 源导入数据； 数据存储模块： 用于存储上述数据； 数据计算模块： 用于对多样化的大数据提供实 时、 离线计算框架； 数据分析模块： 用于对多样化 的大数据进行加工， 提供业务决策依据； 平台管 理模块： 用于将底层工具、 组件、 算法能力通过可 视化、 接口形式为业务系统大数据应用提供服务 能力； 数据安全模块： 用于保证数据采集、 存储、 分析、 应用所有环节的安全性； 数据监管模块用 于全面监测大数据处理全过程中各参与方的整 体状态， 支持大数据应用功能的配置化定义。 本 发明能提高数据挖掘算法对海量数据的处理能 力， 实现企业数据资源的最大利用。 权利要求书3页 说明书7页 CN 114328688 A 2022.04.12 CN 114328688 A 1.一种针对电力能源大数据的管控平台， 其特征在于： 包括， 数据导入模块： 用于从外 部数据源导入结构化数据、 半结构化数椐、 非结构化数据以及实时数椐； 数据存储模块： 用 于存储上述数据； 数据计算模块： 用于对多样化的大数据提供实时、 离线计算框架， 允许对 分布式存储的数据文件或内存数据进行查询和计算； 数据分析模块： 用于对多样化的大数 据进行加工、 处理、 分析、 挖掘， 产生新的业务价值， 发现业务 发展方向， 提供业务决策依据； 平台管理模块： 用于将底层工具、 组件、 算法能力通过可视化、 接口形式为业务系统大数据 应用提供服务能力； 数据安全模块： 用于保证数据采集、 存储、 分析、 应用所有环节的安全 性； 数据监管模块用于全面监测大数据 处理全过程中各参与方的整体状态， 支持大数据应 用功能的配置化定义。 2.根据权利要求1所述的一种针对电力能源大数据的管控平台， 其特征在于： 所述数据 导入模块包括数据采集模块和数据流向模块， 所述数据采集模块包括生产者， 消费者以及 存储节点， 其由分布式消息队列Kafka负责实时数据的采集， 将消息生产的前端和 后端服务 架构解耦， 生产者为数据中心数据、 设备采集数据以及系统管理数据， 消费者， 即消费者的 并发单位， 利用分布式集群来处理大量数据并发的消息， 消费者根据消息键值各自独立处 理消息存储节 点， Kafka可短时存储消息， 形成短暂日志， 在之后节 点发生故障时， 确保消息 可以被重新订阅， 满足系统的可靠性和容错性， 避免消息丢失； 数据流向模块用于Kafka、 Flume消息日志将流数据进 行处理接入流计算处理平台， 并进一步统计 分析计算结果集， 实 时数据在线处理平台将实时数据直接接入， 高并发读写请求由在线数据 处理平台响应， 核 心平台进行抽取、 同步、 上传操作， 将批数据导入 存储分析。 3.根据权利要求2所述的一种针对电力能源大数据的管控平台， 其特征在于： 所述数据 存储模块包括关系 数据存储模块、 分布式文件系统模块和分布式数据库模块， 所述关系 数 据存储模块作为元数据、 主数据的存储以及作为部 分管理、 运维类应用的底层数据库， 与原 有务系统数据进行交换和联合查询， 所述分布式文件系统模块基于GFS文件系统设计的分 布式文件系统组件， 利用主节点对其他节点服务中文件进行统一控制操作， 并将统一文件 块复制到其他两个节点中进行备份， 以防止某一节点出现问题导致数据失效， 所述分布式 数据库模块解决关系型数据库在处理海量数据时的理论和实现上的局限性， 实现海量数据 的OLPT类秒级检索查询和OLAP类高速数据分析应用需求。 4.根据权利要求3所述的一种针对电力能源大数据的管控平台， 其特征在于： 所述数据 计算模块包括:统一资源与权限管控对于各个部门以及下级单位的不同应用需求， 通过统 一的集群管 理， 结合YARN资源调 度框架， 进行计算资源隔离与共享， 实现业务以及应用的多 租户， 批处理计算用于大规模数据集的并行运算当海量数据存储在HDFS上后， 利用HDFS分 block存储的特性， 默认将每个block的数据作为一个计算任务并行执行， 将 Map的数据根据 Key重新洗牌后， 进行Reduce计算， 最终得到计算结果； 流计算引擎， 与Kafka结合使用， 适用 于流式准实时计算场景； 内存计算框架， 内存计算框架采用的是Spark  Shark； 查询计算基 于Hbasae的OLTP&OLAP能力， 提供对索引及SQ L的支持。 5.根据权利要求4所述的一种针对电力能源大数据的管控平台， 其特征在于： 所述数据 分析模块包括模型及算法库， 所述模型算法库包括统计分析模块： 描述性统计： 针对各业务 系统中的结构化数据， 提供总数、 平均数、 中位数、 百分位数方差、 标准差、 极差、 偏度、 峰度 基础统计方法； 推 断性统计： 对其所反映的问题进行分析、 解释和做出推断性结论； 多维分权　利　要　求　书 1/3 页 2 CN 114328688 A 2析模块： 多维分析模 型针对分布式文件系统、 分布式列数据库中存储的结构化数据， 结合多 维分析的需求， 提供多维分析模型定义功能， 包括 维度定义、 层次定义、 度量定义； 多维分析 引擎针对大数据平台分布式计算模式， 提供多维分析引擎， 满足钻取、 切片和切块、 以及旋 转多维操作需求， 挖掘算法库： 通用数据挖掘算法库针对各业务系统中的结构化数据， 提供 预测性挖掘算法和描述性挖掘算法两种通用的数据分析挖掘算法， 包括分类分析、 演化分 析、 异类分析、 聚类分祈关联分析， 专用分析算法库针对各业务系统中存在的大量文本、 图 片、 视频非结构化数据， 提供专用数据分析挖掘算法， 如视频分析、 图像分析、 语音分析、 文 本分析算法自定义算法插件按照特定数据分析需求， 大数据 平台明确统一的算法开 发规范 及接口， 定义算法的输入格式、 单机或者分布式算法处理形式、 算法结果展示， 挖掘算法工 具： 分析建模支持分布式挖掘算法， 使用模型设计器 建立数据分析模 型； 模型运行提供大数 据分布式计算能力， 进行数据的分析、 挖掘； 模型发布进行分析模型 的发布， 对外提供数据 分析服务； 统计算法基于内存计算架构 Spark， 提供多种基本的统计分析算法支持。 6.根据权利要求5所述的一种针对电力能源大数据的管控平台， 其特征在于： 所述平台 管理模块包括平台存储服务接口、 平台计算服务接口、 平台分析服务接口和平台展现服务 接口， 所述平台存储服务接口包括关系型数据存储、 非关系型数椐存储、 分布式文件存储的 数据访问接口及存储管理接口； 所述数据计算服务对外统一提供流计算服务接口、 批量计 算服务接口、 内存计算服务接口和 查询计算服务接口； 所述平台分析服务接口对外统一提 供数据预处理接口、 数据分析接口和模型算法接口； 所述平台展示服务接口统一对外提供 可视化组件库接口及可视化设计 器接口。 7.根据权利要求6所述的一种针对电力能源大数据的管控平台， 其特征在于： 所述数据 安全模块包括用户身份认证、 授权许可和输入验证， 以保障企业在大数据平台中核心敏感 数据或商业秘密 在上述数据处 理的各环 节不被泄漏。 8.根据权利要求7所述的一种针对电力能源大数据的管控平台， 其特征在于： 所述数据 监管模块包括数据模型管理模块、 数据质量管理模块、 数据全过程监测模块和数据运维管 理模块。 9.根据权利要求8所述的一种针对电力能源大数据的管控平台， 其特征在于： 所述数据 模型管理模块包括元数据管理： 包括管理元数据的概念、 业务项、 语义属性进行管理， 包括 元数据的新增、 删除修改、 查询、 版本管理等功能； 主 数据管理： 提供主 数据对象相关生命周 期活动的支撑功能， 包括主数据的创建、 查询更新、 冻结、 版本变更管理功能； 数据模型管 理： 提供对分布式文件系统、 非关系型数据库、 关系数据库进 行数据建模的能力并对数据模 型进行管理； 所述数据质量管 理模块通过数据质量监测、 数据质量溯源、 数据质量看板功能 各类数据质量 问题题进行识别、 度量、 监控、 预警， 实现对数据从获取、 存储、 维护、 应用、 消 广的每个阶段全过程 监控， 进一 步提高数据质量。 10.根据权利要求9所述的一种针对电力能源大数据的管控平台， 其特征在于： 所述数 据全过程监测模块通过对