- Cours pratique
- FSE
- Informatique
Formation SQL pour BigQuery : Pipeline et optimisation
- Durée
- 2 jours
- Niveau
- Fondamental
- Modalités
- Présentiel / Distanciel
Description de la formation SQL BigQuery
Cette formation SQL pour BigQuery est conçue pour permettre aux participants de maîtriser l’utilisation de SQL sur Google BigQuery. Ils exploreront les concepts clés pour interagir avec cette solution d’entrepôt de données cloud, en utilisant à la fois l’interface en ligne de commande (CLI) et la console web. Les participants apprendront également à gérer les rôles et permissions avec IAM, tout en optimisant leurs requêtes dans une logique de pipeline (matérialisation et dématérialisation des données).
L’accent sera mis sur l’optimisation des performances grâce à l’indexation et à la gestion efficace des ressources.
Objectifs pédagogiques
Objectifs pédagogiques :
À l'issue de cette formation SQL pour BigQuery, vous aurez acquis les connaissances et compétences nécessaires pour :
- Comprendre les bases de BigQuery et ses avantages par rapport aux bases de données traditionnelles
- Apprendre à utiliser efficacement l’interface CLI et la console BigQuery
- Maîtriser la gestion des rôles et permissions (IAM)
- Concevoir et exécuter des requêtes SQL optimisées pour BigQuery
- Implémenter des pipelines d’analyse avec matérialisation et dématérialisation des tables
- Optimiser les performances avec l’indexation et les bonnes pratiques
Objectifs opérationnels
Objectif opérationnel :
Savoir exploiter BigQuery pour des besoins d’analyse de données complexes, tout en optimisant les performances et les coûts.
Programme
Contenu du cours, module par module
5 modules
- Vue d’ensemble de BigQuery :
- Qu’est-ce que BigQuery ?
- Avantages par rapport aux bases de données traditionnelles.
- Architecture et fonctionnement de BigQuery (storage vs compute).
- Principales caractéristiques de BigQuery :
- Tables partitionnées et tables clusterisées.
- Coûts d’opération : modèle pay-as-you-go.
Atelier
- Console BigQuery :
- Interface utilisateur : explorateur de projets, éditeur de requêtes, historiques.
- Gestion des datasets, tables et jobs.
- Interface en ligne de commande (CLI) :
- Installation et configuration de gcloud.
- Exécution de requêtes SQL via CLI.
- Gestion des exports et imports de données.
Atelier
- Introduction à IAM (Identity and Access Management) :
- Principes de base de la gestion des rôles.
- Différents types de rôles : basés sur le projet, personnalisés.
- Configuration des permissions pour BigQuery :
- Accorder et révoquer l’accès aux datasets et tables.
- Gestion des politiques d’accès.
- Bonnes pratiques pour la sécurité des données.
Atelier
- Principes de base des requêtes SQL sur BigQuery :
- Requêtes SELECT simples et avancées.
- Fonctions analytiques et agrégations.
- Jointures et sous-requêtes.
- Optimisation des requêtes :
- Impact des tables partitionnées et clusterisées.
- Limitation des volumes de données scannées.
- Utilisation des indexes pour améliorer les performances.
Atelier
- Notions de pipeline de données sur BigQuery :
- Tables matérialisées vs vues standards.
- Quand et pourquoi utiliser des tables matérialisées ?
- Gestion des workflows d’analyse :
- Automatisation avec Cloud Scheduler et Cloud Functions.
- Intégration avec Airflow pour les pipelines complexes.
Atelier
Travaux pratiques
Cette formation alterne théorie et pratique pour une meilleure assimilation des notions. Chaque atelier est conçu pour appliquer les concepts appris à des scénarios réels, tels que l’optimisation des coûts et des performances sur des datasets massifs.
Programme mis à jour le 07/03/2025
Public concerné
Ce cours s’adresse aux analystes de données, développeurs, et administrateurs qui souhaitent exploiter BigQuery pour des analyses de données massives.
Prérequis
Des connaissances préalables en SQL sont nécessaires pour suivre cette formation. Vous pouvez les acquérir en suivant la formation SQL : les fondamentaux (OIBB).
J’évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Faire le testFinancement
Cette formation peut être prise en charge par votre entreprise, seule ou avec l’appui de son opérateur de compétences. Nous fournissons le devis et les pièces attendues par l’OPCO.
Formations liées
- Python avancé sur Databricks : notebooks, PySpark, SQL, visualisation et MLflowRéf. PYAD4 joursAvancé
- Big Data : Développement d'applications et Data Visualisation Réf. ODAB4 joursFondamentalProchaine session : 2 nov.2 490 €
- Tableau Software - Administration ServerRéf. TSAS2 joursAvancé
- Apache IcebergRéf. ICEB3 joursIntermédiaireProchaine session : 18 nov.2 090 €