- Cours pratique
- Informatique
Formation Apache Flink : Traitement de flux en temps réel
Exploitez la puissance d’Apache Flink pour le traitement de données massives en streaming temps réel
- Durée
- 4 jours
- Niveau
- Fondamental
- Modalités
- Présentiel / Distanciel
Description de la formation Apache Flink
Qu’est-ce qu’Apache Flink ?
Apache Flink est un framework open source de traitement de flux à grande échelle. Conçu pour gérer de grands volumes de données en temps réel, il permet d’analyser les événements au moment où ils se produisent. Sa capacité à traiter des données continues avec faible latence en fait un outil stratégique pour les architectures Big Data modernes.
Pourquoi suivre une formation Apache Flink ?
Dans un contexte où le traitement de données en temps réel devient incontournable, maîtriser Apache Flink permet de concevoir des pipelines de données puissants, réactifs et scalables. Cette formation vous donne les compétences pour intégrer Flink dans des architectures de streaming, réaliser des traitements complexes, et tirer parti des connecteurs et APIs du framework. Elle est essentielle pour les développeurs, architectes et data engineers souhaitant bâtir des solutions de streaming performantes et fiables.
Objectifs pédagogiques
À l'issue de cette formation Apache Flink : Traitement de flux en temps réel, vous aurez acquis les connaissances nécessaires pour :
- Comprendre l’architecture et les concepts fondamentaux d’Apache Flink.
- Développer des applications Flink pour le traitement de données en streaming.
- Exploiter les APIs DataStream et Table/SQL.
- Intégrer Flink avec Kafka et d'autres sources de données.
- Mettre en œuvre des fenêtres temporelles, jointures, et fonctions d’état.
- Déployer et monitorer des jobs Flink en production.
Objectifs opérationnels
Savoir développer, déployer et monitorer des applications de traitement de flux en temps réel avec Apache Flink.
Programme
Contenu du cours, module par module
8 modules
- Concepts de base du traitement par flux vs traitement par batch
- Architecture et modèle d’exécution de Flink
- Environnement de développement Flink
- Lancement et exécution de jobs Flink simples
Travaux pratiques
Description :Création d’un premier job en DataStream API pour lire un flux simulé. Quelle différence entre traitement batch et stream ?
- Source, transformations et sinks
- Fonctions Map, Filter, FlatMap
- Définir un pipeline de traitement
- Configuration du contexte d’exécution
Travaux pratiques
Description :Construction d’un pipeline de nettoyage de données en continu. Test sur un flux textuel simulé.
- Temps d’événement vs temps de traitement
- Watermarks et gestion des retards
- Fenêtres glissantes, tumbling et session
- Fonctions de réduction et d’agrégation
Travaux pratiques
Description :Création de tableaux de bord en temps réel basés sur des fenêtres de 10 secondes. Que faire en cas de données en retard ?
- Utilisation de stateful functions
- Gestion de l’état et backend d’état
- Opérateurs RichFunction
- Patterns CEP (Complex Event Processing)
Travaux pratiques
Description :Détection de comportements anormaux avec Flink CEP. Simulation de flux d'événements clients.
- Table API vs DataStream API
- Requêtes SQL sur des flux de données
- Déclaration de tables connectées (Kafka, CSV…)
- Fonctions UDF en SQL
Travaux pratiques
Description :Écriture de requêtes SQL sur un flux Kafka simulé. À quoi ressemble une jointure temporelle SQL dans Flink ?
- Introduction à Apache Kafka
- Connecteurs sources/sinks
- Configuration d’un job Flink + Kafka
- Cas d'usage : pipeline Kafka-Flink
Travaux pratiques
Description :Intégration complète d’un job Flink avec un broker Kafka local. Traitement, enrichissement et publication.
- Modes de déploiement (standalone, YARN, Kubernetes)
- Utilisation de Flink Dashboard
- Gestion des sauvegardes/checkpoints
- Redémarrage automatique et tolérance aux pannes
Travaux pratiques
Description :Déploiement d’un job avec checkpointing activé. Comment Flink gère-t-il les pannes ?
- Construction d’une architecture de streaming
- Traitement d’un use-case métier réel (analyse logs, détection incidents)
- Suivi de la performance et monitoring
Travaux pratiques
Description :Mise en œuvre complète d’une solution streaming avec ingestion, traitement et restitution. Quels outils pour monitorer l’état du pipeline ?
Travaux pratiques
Environ 60 % de la formation est consacrée aux travaux pratiques. Les exercices utilisent Flink en environnement local avec des jeux de données simulés et connecteurs standards (Kafka, fichiers, etc.).
Programme mis à jour le 27/08/2025
Public concerné
Cette formation est destinée aux développeurs Big Data, ingénieurs données, architectes logiciels, et administrateurs de systèmes distribués.
Prérequis
Bonne maîtrise de Java ou Scala et connaissance des architectures Big Data distribuées (ex. Spark, Kafka). Une expérience préalable avec les systèmes de messagerie ou les bases de données temps réel est un plus pour tirer pleinement profit de la formation.
J’évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Faire le testFinancement
Cette formation peut être prise en charge par votre entreprise, seule ou avec l’appui de son opérateur de compétences. Nous fournissons le devis et les pièces attendues par l’OPCO.
Formations liées
- Apache IcebergRéf. ICEB3 joursIntermédiaireProchaine session : 18 nov.2 090 €
- Apache Spark : Optimiser Apache Spark sur DatabricksRéf. APSO2 joursAvancé
- Apache Spark : Programmer avec Apache Spark de DatabricksRéf. APSK2 joursIntermédiaireProchaine session : 16 nov.1 800 €
- Apache Spark pour les développeurs JavaRéf. SPJA3 joursIntermédiaireProchaine session : 2 déc.2 090 €