如何构建数据仓库？1.需求分析:你为了什么目的建立数据仓库？数据仓库需要哪些维度的数据？这些数据表在哪里，是否可以访问？元数据管理是整个数据仓库体系结构的重要组成部分。请参考这篇文章——数据仓库的基本架构。然而，许多关于其实现的书籍并没有对元数据进行详细的定义，或者系统地介绍数据仓库的元数据应该包括哪些内容。
为什么建数据仓库需要使用ETL工具？
数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。既然要获取全部数据，必然涉及到多系统，各类型数据库的对接问题，还有数据抽取整理的问题。这时候ETL工具的作用就集中体现出来了，数据的抽取转换加载直到供人们去分析使用，ETL就是数据抽取转换加载的过程。
有些地方可能选择的是ELT，先加载在转换。对数仓来说，ETL首先要考虑业务需求，最后数据落地模型，要体现某种主题。然后从数据源考虑哪些字段是可以用的，在进行ETL。现在ETL工具很多，所以编程能力很难在这方面体现出来，对于公司来说，更看重的是ETL的思路。通俗的想，数据仓库就像大水池，给水池蓄水需要泵和水管，那ETL就是承担泵和水管的功能。
实时数据仓库如何做？
3.1.1 Lambda架构来自Apache Flink 中文学习网站 ververica.cn 侵权告知立删3.1.2 Kappa架构来自Apache Flink 中文学习网站 ververica.cn 侵权告知立删3.1.3 实时olap变体架构来自Apache Flink 中文学习网站 ververica.cn 侵权告知立删3.1.4 常见架构对比来自Apache Flink 中文学习网站 ververica.cn 侵权告知立删ps:lambda架构开发割裂感 表结构不同 sql语法不同资源浪费 重复计算 重复存储集群维护 组件不同 计算引擎不同数据一致性3.2 实时数仓架构3.2.1 方案一优点 便于数据回溯重算和数据质量验证。
缺点 通过批处理重算，需要维护两套代码，开发和维护成本高。 需要两套计算资源适用场景 超大规模历史数据计算，且这种场景比较频繁。 对数据质量要求极高，需要比对实时和离线的计算结果，甚至利用离线去修正实时的计算结果。3.2.2 方案二优点 无需维护两套代码，开发迭代速度快。 数据回溯和重算方便，重算时间根据需求回溯的时间范围定。
只需流计算资源，资源占用小缺点 ODS\DWD部分数据不可见，原始数据和中间数据不便于查询解决方案可通过重新消费指定时间范围的数据查询，或导入需要的数据到olap引擎 依赖业务端反馈问题解决方案设计数据质量监控指标，实时监控报警适用场景ODS\DWD查询不频繁等3.2.3 方案三相对于方案二 增加ODS层落地hive，排查分析原始数据比较方便，恢复历史数据的时候可获取hive数据写入kafka，然后按原流处理的逻辑重新处理即可，只需修改数据源为历史数据对应的topic。
数据仓库元数据如何管理？
很多朋友都是第一次听说元数据管理系统这个名词，当然，从事非数据仓库工作的人，很少会接触到这个系统。元数据管理是整个数据仓库架构中很重要的一块关于数据仓库的架构，请参考这篇文章——数据仓库的基本架构，但发其实现很多书里面都没有对元数据下一个详细的定义，或者没有系统地介绍到底数据仓库的元数据应该包括哪些。
下面是对元数据管理的一些看法，主要来源于Inmon的数据仓库的两本书，Oracle的文档以及个人认为在数据仓库的应用中应该记录的一些元数据。元数据元数据的定义，从字面上看，似乎看不出为什么。我第一次看的时候也是。但其实看对应的英文，意思还是挺清楚的。Meta一般指对权利的解释或描述，还有类似的Meta标签。
