大型集团企业数据资源管理平台建设方案 1. 数据资源管理平台建设目标 2. 数据仓库架构设计 2.1. 数据仓库框架 2.2. 数据源定义， 2.3. 组件架构定义 2.4. 元数据管理定义 3. 数据仓库方案设计， ..6 3.1. 传统数据仓库方案， 3.2. 大数据平台参考技术架构. 1.数据资源管理平台建设目标 ■支持多层次的数据应用，包括ODS、数据仓库及数据集市层； ■采用整合的数据模型，同时利用企业服务总线和数据整合平台， 建立XX集团统一的企业数据管理，提供准实时数据服务和批量数据 服务，实现跨部门、跨应用系统的数据共享； ■数据仓库具备大数据采集、存储、计算能力扩展，支撑后续业 务应用大数据挖掘需求。 2.数据仓库架构设计 传统数据存储、分析技术已无法支撑大数据的存储，挖掘，大数 据能力作为传统数据仓库的重要增强、组成部分，能够灵活满足业务 分析需求。 2.1．数据仓库框架 根据XX公司在数据仓库规划与建设项目中积累的经验，对比全 球公共事业行业领先实践案例，并结合双集团公司实际现状与未来 发展需求，提出了双X集团数据仓库框架。 比框架主要描述了双X公司数据仓库建设所需要具备的各种组 件与相关架构，其主要组成部分包括： ■数据源一临时存放将要传入数据仓库内的数据。这些数据包 括：各业务应用系统的应用数据、银行缴费交易等外部业务系统应用 数据，社交数据、网站数据、设备运行状态等数据。 ·架构组件一架构组件指数据仓库中数据从数据源流向最终 用户的过程中用来对数据处理、存储和访问提供支持的软件与硬件系 统。数据仓库架构框架主要包括ETL架构、前端展现架构、数据仓库 存储架构、运维管理与开发架构几类。 ■元数据管理一使数据信息能够正确定义、收集并发布的工具 与技术，主要包括用户数据的业务含义与技术特征。 元数据管理 技术元数据 元数据 业务元数据 数据源 数据仓库存储 前端展现 燃料 报表 数据仓库 物资 查询 财务 大数据存储 人资 分析 数据抽取 日志 实时 挖掘 社交 大数据获取 运维管理 开发架构 2.2. 数据源定义 数据源是存放最终用户报表所需各类信息的源头，是操作型与交 易处理型业务应用系统（如燃料管控系统、人力资源系统、财务系统 等）内收集和存放的数据集合。数据仓库一般是从满足报表与分析需 求的单独数据源头或者多个数据源开始，在整个数据仓库生命周期内 逐渐扩展，并且逐步按照需要纳入更多数据源与外部系统的数据。 随着物联网、移动互联网的发展及应用，手机、智能终端、网上 商城、社交网络、电子通讯、卫星定位，任何操作都附带产生大量的 各种类型的数据。数据成为社会生活中举足轻重的生产要素，数据在 当今数字化社会中的发挥的作用日益关键。为支撑XX集团后续在大 数据的分析挖掘需求，后续需要考虑大数据源的梳理及定义。