从一次重复刷数事故说起用 PostgreSQL 维度建模与 SCD 实现可重跑的数据管道【免费下载链接】data-engineer-handbookThis is a repo with links to everything youd ever want to learn about data engineering项目地址: https://gitcode.com/GitHub_Trending/da/data-engineer-handbook做增量管道的人都踩过同一个坑任务在凌晨失败重跑一次结果维表里同一实体出现两行下游报表数字翻倍。data-engineer-handbook 这门中级数据工程训练营把这类问题当成第一周的核心主题——用 PostgreSQL 完成维度数据建模Dimensional Data Modeling累积表怎么保证幂等、SCD Type 2缓慢变化维记录维度属性历史版本怎么做全量回填和增量更新全部用真实 SQL 演练而不只是讲概念。这套材料位于仓库的 intermediate-bootcamp/materials/1-dimensional-data-modeling/ 目录配套的建表脚本、管道查询、练习题homework一应俱全。下面以一个数据翻倍的故障为切入点逐层拆解背后的两个关键机制最后给出可落地的环境搭建与排障清单。故障复盘为什么重跑会把数据刷成两份假设有一张players维表主键是(player_name, current_season)每天用上游流水增量写入。某天上游把 2022 赛季的数据重发了一遍你的INSERT没有判断实体是否已存在——PostgreSQL 因为主键冲突会直接报错如果主键里漏了赛季字段就会静默插入重复行。问题出在管道缺少两个设计幂等写入同一份输入重跑任意多次表的状态不变。历史版本隔离维度属性变化时旧值不能覆盖要另起一行并打上有效区间start_date/end_date否则回溯分析全错。训练营的解法分两步先用累积表 全外连接重写维表刷新逻辑再用运行长度编码一次性生成 SCD 历史表。机制一累积表Cumulative Table与幂等刷新累积表的设计思想是每个实体只保留一行当前快照历史指标以数组形式堆叠在行内比如一个赛季一条数据的seasons数组。DDL 见 lecture-lab/players.sqlCREATE TYPE season_stats AS ( season Integer, pts REAL, ast REAL, reb REAL, weight INTEGER ); CREATE TABLE players ( player_name TEXT, height TEXT, college TEXT, seasons season_stats[], -- 历史指标以数组堆叠不膨胀行数 scoring_class scoring_class, is_active BOOLEAN, current_season INTEGER, PRIMARY KEY (player_name, current_season) );刷新时用上赛季快照 本赛季流水做一次全外连接关键技巧是COALESCE兜底和数组拼接WITH last_season AS ( SELECT * FROM players WHERE current_season 1997 ), this_season AS ( SELECT * FROM player_seasons WHERE season 1998 ) INSERT INTO players SELECT COALESCE(ls.player_name, ts.player_name) AS player_name, COALESCE(ls.height, ts.height) AS height, -- 新数据并入历史数组老球员无新数据时数组不变 COALESCE(ls.seasons, ARRAY[]::season_stats[]) || CASE WHEN ts.season IS NOT NULL THEN ARRAY[ROW(ts.season, ts.pts, ts.ast, ts.reb, ts.weight)::season_stats] ELSE ARRAY[]::season_stats[] END AS seasons, ... FROM last_season ls FULL OUTER JOIN this_season ts -- 全外连接新球员和消失球员都覆盖 ON ls.player_name ts.player_name;完整脚本在 lecture-lab/pipeline_query.sql。这段逻辑之所以幂等是因为输出完全由上一快照 当期流水函数式决定——不依赖UPDATE、不依赖自增重跑只是覆盖同一批主键。为什么用 FULL OUTER JOIN 而不是 INSERT ... ON CONFLICT方案对新实体对已存在实体对本期内消失实体裸INSERT可行主键冲突或重复丢失UPDATEINSERT两阶段可行可行需额外DELETEFULL OUTER JOIN单语句重写可行幂等保留is_active置 false训练营选第三种本质是把差异计算下沉到一条 SQL 里配合主键约束形成最后一道防线。机制二用运行长度编码一次性生成 SCD Type 2 历史表SCD Type 2 表长这样见 lecture-lab/players_scd_table.sql每个(player_name, scoring_class)的连续区间占一行用start_season/end_date标记有效期。回填backfill的难点是把逐季变化的属性流压缩成区间。训练营的查询lecture-lab/scd_generation_query.sql用的是经典两步窗口函数套路WITH streak_started AS ( SELECT player_name, current_season, scoring_class, -- 与上一季属性不同或本季是首季 标记为一段连续段的起点 LAG(scoring_class) OVER (PARTITION BY player_name ORDER BY current_season) scoring_class OR LAG(scoring_class) OVER (PARTITION BY player_name ORDER BY current_season) IS NULL AS did_change FROM players ), streak_identified AS ( SELECT player_name, scoring_class, current_season, -- 对段起点做累加得到全局递增的段编号 SUM(CASE WHEN did_change THEN 1 ELSE 0 END) OVER (PARTITION BY player_name ORDER BY current_season) AS streak_identifier FROM streak_started ) SELECT player_name, scoring_class, MIN(current_season) AS start_date, MAX(current_season) AS end_date FROM streak_identified GROUP BY 1, 2, 3;拆开看只有两行核心逻辑LAG找出属性变化的边界SUM对边界打点累加成段编号。之后按(player_name, scoring_class, 段编号)分组取MIN/MAX就是区间端点。这套运行长度编码RLE思路可以直接搬到自己项目里做 SCD 全量回填性能上只多了两个窗口扫描不需要自连接迭代。增量更新四类记录的拆分全量回填跑一次就够了日常管道要的是增量拿上赛季 SCD 状态合并本赛季流水。训练营把结果集严格拆成四块再UNION ALLlecture-lab/incremental_scd_query.sql记录类型判定条件处理方式historical_scdend_season 当前季原样保留区间不动unchanged_records属性与上赛季相同区间右端延伸到当前季changed_recordsscoring_class或is_active变化旧行关段end_season截断 新行开段用ARRAY[ROW(...), ROW(...)]一次展开两行new_recordsLEFT JOIN后上赛季无记录开新段起讫均为当前季值得注意的工程细节changed_records没有写两条INSERT而是把关旧段和开新段两行打包进一个ROW数组再UNNEST保证单语句原子完成中途失败不会留下半截区间。这是手写增量 SCD 时最容易翻车的地方——拆成两条语句失败重跑就会多出幽灵行。环境搭建Docker 一键起 PostgreSQL 的完整步骤动手前先按 1-dimensional-data-modeling/README.md 把环境搭起来。仓库自带 Docker Compose 编排Postgres 14 PGAdmin示例数据通过data.dump在容器首次启动时自动恢复。需要 clone 仓库时使用git clone https://gitcode.com/GitHub_Trending/da/data-engineer-handbook cd />连上后展开Servers→postgres→Schemas→public应能看到players、player_seasons等基表然后就可以依次执行lecture-lab/下的查询验证结果。排障清单这些坑材料里都有对应解法端口 5432 被占用本机已有 PostgreSQL 或别的容器占了端口。macOS 用lsof -i :5432Windows 用netstat -ano | findstr :5432找到 PID 杀掉或者直接改.env里的HOST_PORT。表没加载出来Docker 场景下数据是随/docker-entrypoint-initdb.d注入的如果中途改了data.dump想重置必须docker compose down -v清掉卷再make up——make restart会重建容器但make stop只停不删数据卷还在改了的 dump 不会重新执行。PGAdmin 改完.env不生效PGAdmin 的登录账号存在自己的数据卷里改了PGADMIN_EMAIL后要删掉 pgadmin 容器重新make up。SCD 区间断链如果你自己改写了streak_identifier逻辑验证方法是按player_name排序后检查相邻行end_date 1 下一行 start_season。断链几乎都来自边界条件漏掉了LAG ... IS NULL首行永远是段起点。分析查询里的除零lecture-lab/analytical_query.sql 里最近赛季得分 / 首个赛季得分用了CASE WHEN (seasons[1]::season_stats).pts 0 THEN 1 ...兜底PostgreSQL 对整型除零直接报错而不是返回 NULL写比率指标时务必加这层防护。选型建议与下一步小团队起步PostgreSQL 这套 SQL 模式足够支撑日粒度的维度建模数组堆叠历史 UNNEST展开的组合对照 lecture-lab/unnest_query.sql避免了事实表爆炸单库内闭环不引入调度依赖。规模上去了同样的幂等与 SCD 思路可以直接平移到 Spark 作业——仓库 3-spark-fundamentals/ 目录里的players_scd_job.py及其单测src/tests/test_player_scd.py就是同一模式在 PySpark 上的实现可以对照 SQL 版逐行看差异。想检验自己第一周作业要求你把同一套东西套用到actor_films数据集上从零写出累积表 DDL、回填查询和增量查询题目见 homework/homework.md比单纯看教程的收获大得多。踩坑提醒累积表每个实体一行的约束意味着回溯多赛季明细要靠数组展开如果下游大量需求是按赛季 JOIN 事实表说明累积表选型偏了应改用标准星型事实表——这正是该材料包第二周2-fact-data-modeling/要解决的问题。维度建模的价值不在 SQL 技巧本身而在于它给了管道重跑一个明确的收敛点。把累积表和 SCD 增量这两段模式吃透之后无论是换 Spark 还是换数仓幂等管道的骨架都成立。【免费下载链接】data-engineer-handbookThis is a repo with links to everything youd ever want to learn about data engineering项目地址: https://gitcode.com/GitHub_Trending/da/data-engineer-handbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
从一次重复刷数事故说起用 PostgreSQL 维度建模与 SCD 实现可重跑的数据管道【免费下载链接】data-engineer-handbookThis is a repo with links to everything youd ever want to learn about data engineering项目地址: https://gitcode.com/GitHub_Trending/da/data-engineer-handbook做增量管道的人都踩过同一个坑任务在凌晨失败重跑一次结果维表里同一实体出现两行下游报表数字翻倍。data-engineer-handbook 这门中级数据工程训练营把这类问题当成第一周的核心主题——用 PostgreSQL 完成维度数据建模Dimensional Data Modeling累积表怎么保证幂等、SCD Type 2缓慢变化维记录维度属性历史版本怎么做全量回填和增量更新全部用真实 SQL 演练而不只是讲概念。这套材料位于仓库的 intermediate-bootcamp/materials/1-dimensional-data-modeling/ 目录配套的建表脚本、管道查询、练习题homework一应俱全。下面以一个数据翻倍的故障为切入点逐层拆解背后的两个关键机制最后给出可落地的环境搭建与排障清单。故障复盘为什么重跑会把数据刷成两份假设有一张players维表主键是(player_name, current_season)每天用上游流水增量写入。某天上游把 2022 赛季的数据重发了一遍你的INSERT没有判断实体是否已存在——PostgreSQL 因为主键冲突会直接报错如果主键里漏了赛季字段就会静默插入重复行。问题出在管道缺少两个设计幂等写入同一份输入重跑任意多次表的状态不变。历史版本隔离维度属性变化时旧值不能覆盖要另起一行并打上有效区间start_date/end_date否则回溯分析全错。训练营的解法分两步先用累积表 全外连接重写维表刷新逻辑再用运行长度编码一次性生成 SCD 历史表。机制一累积表Cumulative Table与幂等刷新累积表的设计思想是每个实体只保留一行当前快照历史指标以数组形式堆叠在行内比如一个赛季一条数据的seasons数组。DDL 见 lecture-lab/players.sqlCREATE TYPE season_stats AS ( season Integer, pts REAL, ast REAL, reb REAL, weight INTEGER ); CREATE TABLE players ( player_name TEXT, height TEXT, college TEXT, seasons season_stats[], -- 历史指标以数组堆叠不膨胀行数 scoring_class scoring_class, is_active BOOLEAN, current_season INTEGER, PRIMARY KEY (player_name, current_season) );刷新时用上赛季快照 本赛季流水做一次全外连接关键技巧是COALESCE兜底和数组拼接WITH last_season AS ( SELECT * FROM players WHERE current_season 1997 ), this_season AS ( SELECT * FROM player_seasons WHERE season 1998 ) INSERT INTO players SELECT COALESCE(ls.player_name, ts.player_name) AS player_name, COALESCE(ls.height, ts.height) AS height, -- 新数据并入历史数组老球员无新数据时数组不变 COALESCE(ls.seasons, ARRAY[]::season_stats[]) || CASE WHEN ts.season IS NOT NULL THEN ARRAY[ROW(ts.season, ts.pts, ts.ast, ts.reb, ts.weight)::season_stats] ELSE ARRAY[]::season_stats[] END AS seasons, ... FROM last_season ls FULL OUTER JOIN this_season ts -- 全外连接新球员和消失球员都覆盖 ON ls.player_name ts.player_name;完整脚本在 lecture-lab/pipeline_query.sql。这段逻辑之所以幂等是因为输出完全由上一快照 当期流水函数式决定——不依赖UPDATE、不依赖自增重跑只是覆盖同一批主键。为什么用 FULL OUTER JOIN 而不是 INSERT ... ON CONFLICT方案对新实体对已存在实体对本期内消失实体裸INSERT可行主键冲突或重复丢失UPDATEINSERT两阶段可行可行需额外DELETEFULL OUTER JOIN单语句重写可行幂等保留is_active置 false训练营选第三种本质是把差异计算下沉到一条 SQL 里配合主键约束形成最后一道防线。机制二用运行长度编码一次性生成 SCD Type 2 历史表SCD Type 2 表长这样见 lecture-lab/players_scd_table.sql每个(player_name, scoring_class)的连续区间占一行用start_season/end_date标记有效期。回填backfill的难点是把逐季变化的属性流压缩成区间。训练营的查询lecture-lab/scd_generation_query.sql用的是经典两步窗口函数套路WITH streak_started AS ( SELECT player_name, current_season, scoring_class, -- 与上一季属性不同或本季是首季 标记为一段连续段的起点 LAG(scoring_class) OVER (PARTITION BY player_name ORDER BY current_season) scoring_class OR LAG(scoring_class) OVER (PARTITION BY player_name ORDER BY current_season) IS NULL AS did_change FROM players ), streak_identified AS ( SELECT player_name, scoring_class, current_season, -- 对段起点做累加得到全局递增的段编号 SUM(CASE WHEN did_change THEN 1 ELSE 0 END) OVER (PARTITION BY player_name ORDER BY current_season) AS streak_identifier FROM streak_started ) SELECT player_name, scoring_class, MIN(current_season) AS start_date, MAX(current_season) AS end_date FROM streak_identified GROUP BY 1, 2, 3;拆开看只有两行核心逻辑LAG找出属性变化的边界SUM对边界打点累加成段编号。之后按(player_name, scoring_class, 段编号)分组取MIN/MAX就是区间端点。这套运行长度编码RLE思路可以直接搬到自己项目里做 SCD 全量回填性能上只多了两个窗口扫描不需要自连接迭代。增量更新四类记录的拆分全量回填跑一次就够了日常管道要的是增量拿上赛季 SCD 状态合并本赛季流水。训练营把结果集严格拆成四块再UNION ALLlecture-lab/incremental_scd_query.sql记录类型判定条件处理方式historical_scdend_season 当前季原样保留区间不动unchanged_records属性与上赛季相同区间右端延伸到当前季changed_recordsscoring_class或is_active变化旧行关段end_season截断 新行开段用ARRAY[ROW(...), ROW(...)]一次展开两行new_recordsLEFT JOIN后上赛季无记录开新段起讫均为当前季值得注意的工程细节changed_records没有写两条INSERT而是把关旧段和开新段两行打包进一个ROW数组再UNNEST保证单语句原子完成中途失败不会留下半截区间。这是手写增量 SCD 时最容易翻车的地方——拆成两条语句失败重跑就会多出幽灵行。环境搭建Docker 一键起 PostgreSQL 的完整步骤动手前先按 1-dimensional-data-modeling/README.md 把环境搭起来。仓库自带 Docker Compose 编排Postgres 14 PGAdmin示例数据通过data.dump在容器首次启动时自动恢复。需要 clone 仓库时使用git clone https://gitcode.com/GitHub_Trending/da/data-engineer-handbook cd />连上后展开Servers→postgres→Schemas→public应能看到players、player_seasons等基表然后就可以依次执行lecture-lab/下的查询验证结果。排障清单这些坑材料里都有对应解法端口 5432 被占用本机已有 PostgreSQL 或别的容器占了端口。macOS 用lsof -i :5432Windows 用netstat -ano | findstr :5432找到 PID 杀掉或者直接改.env里的HOST_PORT。表没加载出来Docker 场景下数据是随/docker-entrypoint-initdb.d注入的如果中途改了data.dump想重置必须docker compose down -v清掉卷再make up——make restart会重建容器但make stop只停不删数据卷还在改了的 dump 不会重新执行。PGAdmin 改完.env不生效PGAdmin 的登录账号存在自己的数据卷里改了PGADMIN_EMAIL后要删掉 pgadmin 容器重新make up。SCD 区间断链如果你自己改写了streak_identifier逻辑验证方法是按player_name排序后检查相邻行end_date 1 下一行 start_season。断链几乎都来自边界条件漏掉了LAG ... IS NULL首行永远是段起点。分析查询里的除零lecture-lab/analytical_query.sql 里最近赛季得分 / 首个赛季得分用了CASE WHEN (seasons[1]::season_stats).pts 0 THEN 1 ...兜底PostgreSQL 对整型除零直接报错而不是返回 NULL写比率指标时务必加这层防护。选型建议与下一步小团队起步PostgreSQL 这套 SQL 模式足够支撑日粒度的维度建模数组堆叠历史 UNNEST展开的组合对照 lecture-lab/unnest_query.sql避免了事实表爆炸单库内闭环不引入调度依赖。规模上去了同样的幂等与 SCD 思路可以直接平移到 Spark 作业——仓库 3-spark-fundamentals/ 目录里的players_scd_job.py及其单测src/tests/test_player_scd.py就是同一模式在 PySpark 上的实现可以对照 SQL 版逐行看差异。想检验自己第一周作业要求你把同一套东西套用到actor_films数据集上从零写出累积表 DDL、回填查询和增量查询题目见 homework/homework.md比单纯看教程的收获大得多。踩坑提醒累积表每个实体一行的约束意味着回溯多赛季明细要靠数组展开如果下游大量需求是按赛季 JOIN 事实表说明累积表选型偏了应改用标准星型事实表——这正是该材料包第二周2-fact-data-modeling/要解决的问题。维度建模的价值不在 SQL 技巧本身而在于它给了管道重跑一个明确的收敛点。把累积表和 SCD 增量这两段模式吃透之后无论是换 Spark 还是换数仓幂等管道的骨架都成立。【免费下载链接】data-engineer-handbookThis is a repo with links to everything youd ever want to learn about data engineering项目地址: https://gitcode.com/GitHub_Trending/da/data-engineer-handbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
