🍋🍋大数据学习🍋🍋
🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。
💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞
1 数仓分层
1.1 基本分层模型
分层原因：
把复杂问题简单化：将复杂的任务分解成多层来完成，每一层只处理简单任务，方便定位问题。
减少重复开发：规范数据分层，通过中间层数据，能够减少大量的重复计算，增加一次计算结果的复用性。
隔离原始数据：不论是数据的异常还是数据的敏感性，使真实数据与统计数据隔离开。
1.2 数据集市和数据仓库
数据集市：部门级。一种微型的数据仓库，通常具有更少的数据，更少的主题区域，以及更少的历史数据。
数据仓库：企业级。能为整个企业各个部门运转提供决策支持手段。
2 数仓理论
2.1 范式理论
详见过往文章对范式理论的解释：Java Web 02 — MySQL_02（数据库的设计、数据库的备份和还原、多表查询、事务、DCL）
第一范式1NF：属性不可切割
第二范式2NF：不能存在部分函数依赖
第三范式3NF：不能存在传递函数依赖
2.2 关系建模和维度建模
当今的数据处理大致可以分为2类：联机事务处理OLTP （ on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP 是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP 是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。二者的主要区别对比如下表所示。
| 对比属性 | OLTP（联机事务处理） | OLAP（联机分析处理） |
|---|---|---|
| 读特性 | 每次查询只返回少量数据 | 对大量数据进行汇总 |
| 写入特性 | 随机、低延时写入用户的输入 | 批量导入 |
| 使用场景 | 用户，JavaEE项目等需要频繁读写操作的应用场景 | 内部分析师，为决策提供支持，需要处理和分析大量历史数据 |
| 数据表征 | 最新数据状态，强调数据的实时性和准确性 | 随时间变化的历史状态，强调数据的全面性和趋势分析 |
| 数据规模 | GB级别，数据量相对较小，但读写操作频繁 | TB、PB级别，数据量巨大，注重数据处理和分析能力 |
2.3 维度表和事实表
2.3.1 维度表
维度表：一般是对事实的描述信息。每一张维表对应显示世界中的一个对象或者概念。
维度表特征：
维度的范围很宽（具有多个属性，多个列）
和事实表相比，行数相对少
内容相对固定：编码表
如商品信息表，每一行表示一种商品的具体特征和概念（小米手机，128G，白色，4999元）
2.3.2 事实表
每一个事实表的行包括：具有可加性的数值型的度量值、与维表相连接的外键、通常具有两个和两个以上的外键、外键之间表示维表之间多对多的关系。可统计的
特征：
非常大
内容相对窄（列数少）
经常发生变化，每天会新增很多