데이터 엔지니어링 Professional — 학습 가이드

데이터 엔지니어링 Professional 인증을 위한 시험 대비 시각적 학습 가이드입니다. 6개 모듈은 파이프라인 기초 및 오케스트레이션, 수집 및 CDC, Spark를 사용한 분산 처리, 차원 웨어하우징 및 SCD, 데이터 레이크 및 레이크하우스, 데이터 품질, 거버넌스 및 DataOps를 다루며, Mermaid 다이어그램, 비교 표, 실제 예제, 코드 블록, 핵심 요점 및 자가 점검을 포함합니다.

Key facts

• Course price: $195 (one-time payment)
• Field: Data Engineering & Analytics
• Prepares for: 데이터 엔지니어링 전문가
• 6 modules · 18 lessons · about 4 hours of lessons
• Self-paced, online, illustrated lessons

Course outline

1. 파이프라인 및 오케스트레이션 — ETL 대 ELT, 배치 대 스트리밍, 멱등성 및 백필 가능한 DAG 오케스트레이션.
   • ETL vs ELT
   • 배치 vs 스트리밍
   • DAG를 사용한 오케스트레이션
2. 데이터 수집 — 파일, API, 커넥터 및 변경 데이터 캡처 — 데이터를 안정적으로 가져오기.
   • 수집 패턴: 파일, API 및 커넥터
   • 변경 데이터 캡처 (CDC)
   • 증분 및 멱등 로드
3. 분산 처리 및 Spark — MapReduce, RDD 대 DataFrame, 지연 평가, 셔플 및 파티셔닝.
   • MapReduce에서 Spark로
   • RDD, DataFrame, 지연 평가
   • 셔플, 파티셔닝 및 조인
4. 차원 데이터 웨어하우징 — Kimball 사실 및 차원, 스타 스키마, SCD 유형, OLTP 대 OLAP.
   • 팩트, 차원 및 스타 스키마
   • 느린 변화 차원(SCD)
   • OLTP 대 OLAP
5. 데이터 레이크 및 레이크하우스 — 객체 스토리지, Parquet/ORC, Delta/Iceberg, 스키마 진화, 메달리온 아키텍처.
   • 데이터 레이크 및 파일 형식
   • 레이크하우스: Delta 및 Iceberg
   • 메달리온 아키텍처
6. 품질, 거버넌스 및 DataOps — 데이터 품질 테스트, 관찰 가능성, 계보, 거버넌스, 비용/성능 튜닝.
   • 데이터 품질, 테스팅 및 관찰 가능성
   • 거버넌스, 계보 및 데이터 계약
   • DataOps, 비용 및 성능