- Cours pratique
- FSE
- Informatique
Formation Apache Airflow : Automatisation et orchestration de flux de données

- Durée
- 2 jours
- Niveau
- Intermédiaire
- Modalités
- Distanciel
Description de la formation Apache Airflow
Qu'est-ce qu'Apache Airflow ?
Apache Airflow est un outil open-source de gestion des flux de travail, permettant la création, la planification et la surveillance des workflows programmatiques. Utilisé principalement dans le domaine de l'ingénierie des données, il offre une solution robuste pour orchestrer des pipelines de données complexes de manière efficiente et réplicable.
Pourquoi suivre une formation Apache Airflow ?
Dans un environnement où les données sont essentielles à la prise de décision, maîtriser Apache Airflow devient crucial pour automatiser et gérer des workflows complexes. Cette formation permet de comprendre et d'implémenter des pipelines de données dynamiques et modulaires, assurant la fiabilité et la scalabilité des processus. En acquérant ces compétences, les professionnels augmentent leur valeur ajoutée et leur capacité à gérer des projets de data engineering avancés.

Objectifs pédagogiques
À l'issue de cette formation Apache Airflow, vous aurez acquis les connaissances nécessaires pour :
- Comprendre et configurer les workflows avec Apache Airflow
- Créer, optimiser et superviser des DAGs complexes
- Intégrer Airflow dans un environnement de production sécurisé
- Utiliser les meilleures pratiques pour garantir des workflows robustes et maintenables
Objectifs opérationnels
Savoir utiliser Apache Airflow pour créer, gérer et surveiller des workflows de données automatisés.
Programme
Contenu du cours, module par module
10 modules
- Historique et rôle d'Apache Airflow dans l'orchestration de workflows
- Comparaison avec d’autres orchestrateurs : Apache NiFi, Luigi, etc.
- Cas d’utilisation courants (ETL, automatisation des processus, etc.)
- Composants principaux : Scheduler, Webserver, Metadata Database, Worker
- Flux de travail interne (DAGs et Tasks)
- Installation et configuration de base (Airflow CLI et configuration initiale)
- Structure d’un DAG : définition et configuration
- Comprendre les opérateurs : BashOperator, PythonOperator, DummyOperator
- Programmation d’un premier DAG simple
- Gestion des dépendances entre tâches
- Définition de schémas d’exécution (sequential, parallel, etc.)
- Gestion du scheduling avec cron et intervalles de temps (TimeDelta, catchup, etc.)
- Exploration des fonctionnalités clés : Gantt chart, log des tâches, exécution manuelle
- Résolution des erreurs et gestion des retards
Travaux pratiques
- Développement d’opérateurs personnalisés (PythonOperator avancé)
- Utilisation d’opérateurs préconstruits : BranchPythonOperator, SubDagOperator
- Introduction aux Sensors pour surveiller des événements (FileSensor, ExternalTaskSensor)
- Transfert de données entre tâches via XComs
- Meilleures pratiques pour limiter les erreurs
- Connexions avec des bases de données (Postgres, MySQL, etc.)
- Intégration avec des outils cloud (AWS, GCP, Azure)
- Configuration avancée : pools, SLA et gestion des priorités
- Mise en place de la haute disponibilité
- Stratégies de monitoring et alertes
- Structuration des DAGs pour la maintenabilité
- Debugging et optimisation des workflows
- Gestion des versions et migration
Travaux pratiques
Optimisation d’un workflow existant
Programme mis à jour le 18/02/2026
Public concerné
Ce cours s'adresse aux développeurs, DevOps, Administrateurs système ou toute personne souhaitant automatiser des workflows.

Prérequis
Pour suivre cette formation, il est nécessaire d’avoir une expérience de base en programmation Python et de maîtriser les concepts de workflows et pipelines de données.
J’évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Faire le testFinancement
Cette formation peut être prise en charge par votre entreprise, seule ou avec l’appui de son opérateur de compétences. Nous fournissons le devis et les pièces attendues par l’OPCO.
4,8/5
6 avis
« Mon avis sur le formateur : "Excellent animateur, très pédagogue et très compétent." Mon avis sur la salle de formation : "Accueil parfait" »
BNGRDF
Les avis figurant ci-dessus sont issus des fiches d’évaluation que remplissent les participants à la fin de la formation. Ils sont ensuite publiés automatiquement si les personnes ont explicitement accepté que nous les diffusions.
Formations liées
- Apache AvroRéf. APAV2 joursFondamentalProchaine session : 23 nov.1 590 €
- Apache Flink : Traitement de flux en temps réelRéf. FLIN4 joursFondamentalProchaine session : 2 nov.2 490 €
- Apache IcebergRéf. ICEB3 joursIntermédiaireProchaine session : 18 nov.2 090 €
- Apache Spark : Optimiser Apache Spark sur DatabricksRéf. APSO2 joursAvancé