BC Skills Academy

Ingeniería de Datos Profesional — Guía de Estudio

Una guía de estudio visual y alineada con el examen para la certificación de Ingeniería de Datos Profesional. Seis módulos cubren fundamentos de pipelines y orquestación, ingesta y CDC, procesamiento distribuido con Spark, almacenamiento dimensional y SCD, el lago de datos y lakehouse, y calidad de datos, gobernanza y DataOps, con diagramas Mermaid, tablas comparativas, ejemplos resueltos, bloques de código, conclusiones clave y autoevaluaciones.

Key facts

Course outline

  1. Pipelines y Orquestación — ETL vs ELT, batch vs streaming, y orquestación de DAGs idempotentes y rellenables.
    • ETL vs ELT
    • Batch vs Streaming
    • Orquestación con DAGs
  2. Ingesta de Datos — Archivos, API, conectores y Captura de Datos de Cambio — obtención confiable de datos.
    • Patrones de Ingestión: Archivos, APIs y Conectores
    • Captura de Datos de Cambio (CDC)
    • Cargas Incrementales e Idempotentes
  3. Procesamiento Distribuido y Spark — MapReduce, RDD vs DataFrames, evaluación perezosa, shuffles y particionamiento.
    • De MapReduce a Spark
    • RDDs, DataFrames, Evaluación Perezosa
    • Shuffles, Particionamiento y Joins
  4. Almacenamiento de Datos Dimensional — Hechos y dimensiones de Kimball, esquemas estrella, tipos SCD y OLTP vs OLAP.
    • Hechos, Dimensiones y el Esquema Estrella
    • Dimensiones de Cambio Lento (SCD)
    • OLTP vs OLAP
  5. Lagos de Datos y el Lakehouse — Almacenamiento de objetos, Parquet/ORC, Delta/Iceberg, evolución de esquemas y la arquitectura medallón.
    • Data Lakes y Formatos de Archivo
    • El Lakehouse: Delta e Iceberg
    • La Arquitectura Medallón
  6. Calidad, Gobernanza y DataOps — Pruebas de calidad de datos, observabilidad, linaje, gobernanza y ajuste de coste/rendimiento.
    • Calidad de Datos, Pruebas y Observabilidad
    • Gobernanza, Linaje y Contratos de Datos
    • DataOps, Costo y Rendimiento