BC Skills Academy

Big Data & Streaming — Guide d'étude

Un guide d'étude visuel et aligné sur l'examen pour la certification Big Data & Streaming. Cinq modules couvrent les fondements du big data et le stockage distribué, Apache Kafka en profondeur, le traitement de flux avec la sémantique de temps d'événement et le fenêtrage, le traitement avec état avec des garanties de livraison et le checkpointing, et les architectures de streaming avec l'analyse en temps réel et les opérations — avec des diagrammes Mermaid, des tableaux comparatifs, des exemples travaillés, des points clés à retenir et des auto-évaluations.

Key facts

Course outline

  1. Fondamentaux du Big Data — Les 5 V, stockage distribué (HDFS et stockage objet) et le principe de déplacer le calcul vers les données.
    • Les 5 V du Big Data
    • Stockage distribué : de HDFS au stockage objet
    • Fondamentaux du calcul distribué
  2. Apache Kafka en profondeur — Topics, partitions, offsets, groupes de consommateurs, réplication, rétention et compactage des logs.
    • Sujets, partitions et décalages
    • Groupes de consommateurs et réplication
    • Rétention et compaction de journal
  3. Traitement de flux et temps — Spark vs Flink, temps d'événement vs temps de traitement, fenêtrage et watermarks pour les données tardives.
    • Moteurs et temps d'événement
    • Fenêtrage
    • Marques d'eau et données tardives
  4. État, garanties et tolérance aux pannes — Traitement avec état, checkpointing/reprise et sémantiques de livraison (au plus une fois/au moins une fois/exactement une fois).
    • Traitement avec état et points de contrôle
    • Sémantiques de livraison
    • Exactly-Once de bout en bout
  5. Architectures, analyses et opérations — Lambda vs kappa, CDC, contre-pression, le streaming lakehouse, OLAP en temps réel et surveillance.
    • Lambda vs Kappa & CDC
    • Le Streaming Lakehouse et l'OLAP en Temps Réel
    • Contre-pression, Mise à l'Échelle et Surveillance