数据工程专业 — 学习指南

一份可视化、与考试对齐的数据工程专业认证学习指南。六个模块涵盖管道基础与编排、数据摄取与 CDC、使用 Spark 的分布式处理、维度仓库与 SCD、数据湖与湖仓，以及数据质量、治理和 DataOps——包含 Mermaid 图表、对比表格、示例、代码块、关键要点和自测。

Key facts

• Course price: $195 (one-time payment)
• Field: Data Engineering & Analytics
• Prepares for: 数据工程专业
• 6 modules · 18 lessons · about 4 hours of lessons
• Self-paced, online, illustrated lessons

Course outline

1. 管道与编排 — ETL与ELT、批处理与流处理，以及编排幂等、可回填的DAG。
   • ETL 与 ELT
   • 批处理与流处理
   • 基于 DAG 的编排
2. 数据摄取 — 文件、API、连接器和变更数据捕获——可靠地获取数据。
   • 数据摄取模式：文件、API 与连接器
   • 变更数据捕获（CDC）
   • 增量与幂等加载
3. 分布式处理与Spark — MapReduce、RDD与DataFrame、惰性求值、Shuffle和分区。
   • 从 MapReduce 到 Spark
   • RDD、DataFrame、惰性求值
   • Shuffles、分区与连接
4. 维度数据仓库 — Kimball事实和维度、星型模式、SCD类型以及OLTP与OLAP。
   • 事实表、维度表与星型模式
   • 缓慢变化维度（SCD）
   • OLTP 与 OLAP
5. 数据湖与湖仓一体 — 对象存储、Parquet/ORC、Delta/Iceberg、模式演进和奖牌架构。
   • 数据湖与文件格式
   • 湖仓一体：Delta 与 Iceberg
   • 奖章架构
6. 质量、治理与DataOps — 数据质量测试、可观测性、血缘、治理以及成本/性能调优。
   • 数据质量、测试与可观测性
   • 治理、血缘与数据合约
   • DataOps、成本与性能