- ACN_ATLAS
- Cours pratique
- FSE
- Informatique
Formation Big Data : Architecture et Infrastructure
Mise en œuvre du Big Data avec Hadoop et Spark

- Durée
- 3 jours
- Niveau
- Fondamental
- Modalités
- Présentiel / Distanciel
Description de la formation Big Data Architecture Infrastructure
Cette formation Big Data Architecture Infrastructure vous présente l’architecture et l’infrastructure sous-jacente d’un projet Big Data. Elle commence par définir le cadre des projets Big Data puis explique en quoi la nature des données manipulées et leur volume impactent l’architecture, que ce soit au niveau du stockage ou du traitement. Concrètement, quels sont les changements par rapport aux standards (serveur, SGBD, système de fichiers, etc.) et qu’apportent concrètement des solutions NoSQL ou des produits comme Hadoop ?
Mais quelle que soit votre architecture, se posera le problème de la « qualité » des données. Nous vous montrons donc comment la gérer avec des ETL, le master data management, les bases multiples, etc. Vous disposerez donc d’une vue claire et opérationnelle sur la façon de disposer de données « propres » pour l’analyse des données de votre infrastructure tout en étant sensibilisé aux obligations des entreprises sur les aspects éthiques, sécurité et responsabilité.
Ensuite nous vous présentons l’éventail des technologies Big Data en termes d’infrastructure pour accueillir ces données afin de vous aider à vous repérer et faire les bons choix en fonction des projets (Cloud, On premise, Hadoop, NoSQl, etc.). Le calcul distribué étant au cœur du Big Data, vous comprenez comment mettre à la disposition des développeurs des architectures distribuées scalables et performantes (HDFS, MapReduce, etc.). Parmi les standards du marché les deux solutions sont Hadoop et Spark. Aussi, vous comprenez leur complémentarité et leur concurrence dans le cadre d’une architecture complète que vous mettez en œuvre. Concrètement, vous apprenez à installer un cluster Hadoop à plusieurs nœuds, à le paramétrer, à le sécuriser, le surveiller (monitoring), et donc, au final, à proposer une infrastructure de qualité aux développeurs et aux analystes.
La formation se termine par le déploiement d’un traitement Hadoop/Spark sur l’architecture que nous avons conçue afin de valider votre vision globale et concrète d’une architecture Big Data.

Objectifs pédagogiques
Objectifs pédagogiques :
À l'issue de cette formation Big Data Architecture Infrastructure, vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre l’écosystème Big Data dans sa globalité (concepts, technologies, architecture)
- Analyser les risques et les difficultés propres à un projet Big Data
- Comprendre l’origine et le format des données manipulées
- Appréhender les éléments de sécurité, d'éthique et les enjeux juridiques
- Connaître les architectures distribuées dominantes du marché
- Se repérer dans les technologies Big Data pour concevoir une architecture performante en fonction des projets
- Mettre en œuvre un cluster Hadoop et l’exploiter
- Déployer une application Hadoop/Spark sur une architecture Big Data
Objectifs opérationnels
Disposer d’une vue d’ensemble d’une architecture et de l’infrastructure Big Data pour le traitement de gros volumes de données.
Programme
Contenu du cours, module par module
7 modules
- Les origines du Big Data
- Les données au cœur des enjeux :
- Explosion du nombre de données
- Liens entre Big Data et IoT (internet des objets)
- Données structurées, semi-structurées, non structurées
- Les limites des architectures actuelles
- Définition d’un système Big Data
- Principes de fonctionnement
- Les différentes offres des marchés
- Compétences et qualités requises pour un architecte Big Data
- Organiser la récupération, le stockage et la gestion des données brutes
- Les responsabilités de l’architecte
- Risques et difficultés rencontrés dans les projets Big Data
Étude de cas
- Sécurité éthique et enjeux juridiques
- Les données personnelles
- Les informations sensibles
- Les données interdites de collecte
- Rôle de la CNIL au quotidien
- Les accords intra-pays
- Les responsabilités des personnes
- Problématiques spécifiques au Big Data
Travaux pratiques
- Les architectures décisionnelles « traditionnelles » (datastore, datawarehouse, datamart, …)
- DataLake comme support des architectures BigData ?
- Philosophie des bases NoSQL : column family, orienté document, clé-valeur, graphe
- Quelques acteurs (MongoDB, Cassandra…)
- Les performances de Big Table en lecture/écriture
- Requêter sur un gros volume de données avec le moteur Big Query
- Les database machine (Exadata)
- Les bases de données vectorielles (Sybase IQ)
- Hadoop un système totalement autonome ?
- Les offres techniques des éditeurs Cloud (Azure, GCP, AWS)
- Monter sa propre infra Big Data ou s’orienter vers des solutions Cloud ?
- Utiliser un DataLake « classique » ou monter une architecture Big Data ?
- L’exemple de Hadoop-as-a-Service (stockage, analyse, pipeline, Spark, Machine Learning, …)
- Impacts détaillés du choix d’une offre Cloud
- Méthodes Agiles et DevOps dans le contexte du Big Data
Travaux pratiques
Étude détaillée de l’offre d’un éditeur Cloud et de son impact en termes de d’infrastructure et d’architecture (liens avec les sources de données, les transferts de données, les services d’analyses de données, quelles performances dans les opérations de lecture/écriture ? d’analyse de données ? quelle maîtrise de la scalabilité et de la répartition des nœuds ? quels mécanismes de tolérance de panne et de reprise après sinistre ? et plus généralement quelles différences entre administrer un cluster Hadoop sur Amazon EMR par exemple par rapport à « on premise » ?
- Problématiques et enjeux d’une architecture distribuée
- Des données cohérentes, disponibles et tolérantes aux pannes ?
- Les architectures massivement parallèles
- L’ouverture aux traitements complexes (datamining, machine learning, etc.)
- Paradigmes de calculs distribués et liens avec mapreduce
- Les bases NoSQL et le calcul distribué
- Compléments techniques sur les base NoSQL (clef-valeur, clef-colonne, orientée document, base graphe)
- Exemples d’actions au quotidien sous MongoDB (base NoSQL)
- La base distribuée de Hadoop au-dessus de HDFS (Hbase)
- Les patterns d’architecture (Batch, Streaming, Lambda, Reactive
- Quelques exemples en production (Google, Linkedin, Netflix, …)
Travaux pratiques
Vous devez être force de proposition pour l’architecture Big Data préconisée.
- Liens entre infrastructure et qualité des données
- Maîtriser les formats de données (CSV, XML, JSPN, Avro, Parquet …)
- Le format des messages des API et des web services
- Les sources des données dans les architectures Big data
- Pas de qualité pas d’analyse
- Compatibilité entre qualité des données et les 5V du Big Data ?
- Base à chaud, base à froid
- Le Master Data Management (MDM) : phase indispensable de la réconciliation des données Big Data avec les données décisionnelles ?
- Comment un ETL peut rendre « propre » les données ?
- L’exemple de Talend pour le Big Data
- Analyser les données en les fusionnant avec les données internes
Travaux pratiques
- Vue globale de l’écosystème Hadoop (Hive, HBase, Flume, Spark, ...)
- Installer Hadoop ou s’appuyer sur les offres cloud (AWS, GCP, Azure, OVH) ?
- Le système de fichiers distribués (HDFS)
- Prise en main des commandes HDFS
- Design « type » d’un cluster Hadoop en production
- Pré-requis à l’installation de Hadoop
- Installation de Hadoop
- Gestion des logs
- Gestion des autorisations et de la sécurité
- Gestion des nœuds du cluster Hadoop
- Exemple de problèmes sur un cluster Hadoop (nœud invalide, lenteur, etc.)
- Reprise sur échec d’un name node (MRV1)
- NameNode high availability (MRV2/YARN)
- Les outils de monitoring (Ambari, Cloudera Manager, etc.)
- Aspect avancés (taille des blocs, tuning, …)
- Les TaskTracker, JobTracker pour MapReduce
- Gestion des tâches via les schedulers
Travaux pratiques
Import de données externes (fichiers, bases de données relationnelles) vers HDFS (Sqoop, Flume)
Manipulation des fichiers HDFS en ligne de commande
Ajout de nœuds au cluster et supervision de la charge
Utilisation du benchmark GridMix pour soumettre des jobs au cluster
- Différences techniques et conceptuelles entre Spark et Hadoop MapReduce
- Les différentes associations Hadoop/Spark
- Comparaison des performances
- Différences concernant la reprise après incident
- Configuration d’un nœud Hadoop pour le calcul MapReduce Spark
- Introduction à Hadoop Streaming pour le prototypage rapide de MapReduce Spark
- Exemples de programmes MapReduce Spark pour le traitement de gros volume de données
Travaux pratiques
Le programme est fourni et commentés globalement par le formateur, il n’est pas nécessaire d’être développeur.
Programme mis à jour le 28/05/2026
Public concerné
Ce cours Big Data Architecture Infrastructure s'adresse principalement aux chefs de projet, développeurs, Data Ingénieur, Data Scientist amenés à concevoir et exploiter une architecture Big Data.
Elle pourra aussi intéresser des administrateurs de base de données, architectes, ingénieur système ou toute personne qui souhaite disposer d’une vision d’ensemble sur les architectures et infrastructures Big Data.

Prérequis
Il est recommandé d’avoir une bonne culture générale des systèmes d'information et des connaissances basiques sur les modèles relationnels (tables, lignes, colonnes, SQL simple) sont nécessaires pour mieux appréhender les données non structurées et les références au SQL durant la formation.
Il est également recommandé d’avoir des bases en programmation pour mieux appréhender l’écosystème du Big Data (Hadoop, Spark, …) et en statistiques (scolaire) lorsque l’on évoque les traitements que supportent les architectures BigData.
J’évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Faire le testFinancement
Cette formation peut être prise en charge par votre entreprise, seule ou avec l’appui de son opérateur de compétences. Nous fournissons le devis et les pièces attendues par l’OPCO.
4,6/5
30 avis
« Mon avis sur le contenu du stage : "Cette formation offre un contenu technique solide, particulièrement pour les aspects Hadoop (HDFS, MapReduce, YARN), Spark, et HBase, avec des exemples pratiques et des commandes détaillées . Cependant, le démarrage abrupt dans la technique dès le premier jour, sans contextualisation ni adaptation à des profils comme le mien (gestion de projet), a été un point négatif majeur. J’ai signalé ce souci en fin de journée 1, et le formateur a tenté d’ajuster en se concentrant sur les slides les jours suivants. Malheureusement, cette transition s’est traduite par une lecture monotone, rendant les sessions peu dynamiques. De plus, les slides, bien que riches en détails techniques, semblent datés et manquent de mises à jour. Pour améliorer, je suggère une introduction stratégique le premier jour, des exercices adaptés aux gestionnaires, et une refonte des supports avec des contenus actuels et interactifs." Mon avis sur le formateur : "Cette formation offre un contenu technique solide, particulièrement pour les aspects Hadoop (HDFS, MapReduce, YARN), Spark, et HBase, avec des exemples pratiques et des commandes détaillées . Cependant, le démarrage abrupt dans la technique dès le premier jour, sans contextualisation ni adaptation à des profils comme le mien (gestion de projet), a été un point négatif majeur. J’ai signalé ce souci en fin de journée 1, et le formateur a tenté d’ajuster en se concentrant sur les slides les jours suivants. Malheureusement, cette transition s’est traduite par une lecture monotone, rendant les sessions peu dynamiques. De plus, les slides, bien que riches en détails techniques, semblent datés et manquent de mises à jour. Pour améliorer, je suggère une introduction stratégique le premier jour, des exercices adaptés aux gestionnaires, et une refonte des supports avec des contenus actuels et interactifs." Ce que j'ai le moins apprécié : "Le démarrage abrupt dans la technique dès le premier jour, sans contextualisation ni adaptation à des profils comme le mien (gestion de projet), a été un point négatif majeur." »
CYMC2I GROUPE « Mon avis sur le contenu du stage : "Formation de très bon niveau. Dommage qu'elle ait été déséquilibrée avec le dernier jour de pratique trop dense pour une appropriation adéquate. De fait, frustrant pour ma part car beaucoup de retours à la case départ et un décrochage par rapport au groupe " Mon avis sur le formateur : "La formatrice a été d'un excellent niveau avec beaucoup d'apports. Dommage que la formation ait été indiquée comme à distance à cette dernière qui s'attendait à du présentiel. Un mode hybride tout de même positif. La note moyenne est plus liée au décalage avec le gap entre les 2 premiers jours et le 3ème jour." Ce que j'ai le plus apprécié : "Des apports théoriques très riches" Ce que j'ai le moins apprécié : "Un trop grand décalage entre le rythme des 2 premiers jours et le 3ème. Pas de marge pour rattraper un décrochage. Prévoir la transmission de l'ensemble des ressources en un seul endroit pour pouvoir pratiquer par la suite." »
DM « Mon avis sur le contenu du stage : "bonne alternance théorie / pratique. le 3è jour dédié à l'installation d'un cluster hadoop était peut être un peu trop technique par rapport à mes attentes. heureusement que j'avais des bases sinon ça aurait été plus difficile" Mon avis sur le formateur : "excellente formatrice, très pédagogue, patiente et sympathique" Mon avis sur la salle de formation : "j'ai assisté en présentiel et heureusement, je ne vois pas comment suivre cette formation dans de bonnes conditions en distanciel" Ce que j'ai le plus apprécié : "cadre de formation très agréable" Ce que j'ai le moins apprécié : "dommage que nous étions si peu en présentiel, cela ne favorisait pas les échanges" »
CM
Les avis figurant ci-dessus sont issus des fiches d’évaluation que remplissent les participants à la fin de la formation. Ils sont ensuite publiés automatiquement si les personnes ont explicitement accepté que nous les diffusions.
Formations liées
- Big Data : Enjeux, concepts, architectures et outilsRéf. OBIF2 joursFondamentalProchaine session : 3 déc.1 790 €
- Data Mesh : adopter le nouveau paragdime de l'architecture des donnéesRéf. DTMH2 joursFondamentalProchaine session : 14 déc.2 120 €
- Big Data : Concevoir et piloter un projet Big DataRéf. OCPP3 joursFondamentalProchaine session : 7 déc.2 090 €
- Certification Big Data Foundation (CCC)Réf. ABDF3 joursFondamental