- Confluent
- Cours pratique
- FSE
- Informatique
Formation Kafka Streams & ksqlDB : Traitement de flux de messages avec Kafka Streams et ksqlDB
Développer des application de stream-processing / Confluent KSQL
- Durée
- 2 jours
- Niveau
- Intermédiaire
- Modalités
- Présentiel / Distanciel
Description de la formation Kafka Streams ksqlDB
Kafka Streams est une librairie permettant de créer des applications et des microservices dont les données sont transmises depuis et vers un système de messagerie Kafka.
La librairie Kafka Streams permet de définir une topologie de processeurs adossés à des topics Kafka, chaque processeur effectuant des transformations sur les événements.
L’API définit les abstractions KStream et KTable permettant d’agréger et de joindre des flux d’évènements, en offrant des abstractions proches des modèles relationnels (vue dynamique des données, langage de requêtage...).
ksqlDB pousse encore plus loin cette abstraction en fournissant une base de données dédiée aux applications de traitement d’événements.
Apache Kafka, Kafka Streams et ksqlDB sont des briques devenues aujourd'hui quasiment indispensables aux architectures microservices dont les supports de persistance sont dispersés.
Objectifs pédagogiques
Concrètement à l'issue de cette formation Kafka Streams & ksqlDB vous serez en mesure de :
- Comprendre les fonctionnalités et les avantages de Kafka Streams par rapport aux autres infrastructures de traitement de flux
- Appréhender l’offre de ksqlDB
- Développer des micro-services qui transforment, enrichissent, filtrent et agrègent des flux d’événements
- Construire, packager et déployer une application Kafka Streams
- Monitorer une application Kafka Streams
Objectifs opérationnels
Connaître les avantages de Kafka Streams par rapport aux autres infrastructures de traitement de flux ainsi que l'offre ksqlDB.
Programme
Contenu du cours, module par module
5 modules
- Event-processing vs database centric applications
- Évolution des architectures des systèmes, rôle du message broker
- Enjeux du Big Data et Stream Data, Real-time Analysis
- Kafka Streams vs Apache Spark ou Apache Storm
- Rappels sur Apache Kafka, Cluster, Topics et Partitions, APIs, Garanties de livraison
Travaux pratiques
Rappels sur les fichiers de configuration
- Typologie des processeurs, topologie de processeurs, scalabilité et tâches
- Évènements et horodatage, fenêtre temporelle
- Dualité des streams et des tables, agrégation
- Gestion d’états, les state store, requêtes interactives
- Partitionnement de flux, modèle concurrentiel et garantie d’ordre
- Alternatives aux développements, dépendance, mise en place
- Configuration et test d’une application Kafka Streams
- Mise en place d'une programmatique de topologie
- DSL comparaison avec la processor API
- Sources et destinations Kafka
- Transformation stateless
- Transformations stateful : agrégations, jointures, fenêtrage
- Requêtes interactives
Travaux pratiques
Cas de tests
DS
Agrégations
Jointures
Fenêtrage
- ksqlDB vs Kafka Streams
- Cas d’utilisation de ksqlDB
- Écosystème de ksqlDB
- Alternatives de mise en place
- Syntaxe SQL appliquée aux Streams
- Opérateurs et fonctions
- API Rest
- Cas d’utilisation typiques : mise à jour automatique de vues, Pipeline ETL, microservices piloté par évènements
Travaux pratiques
- Formats de packaging et plateformes d’exécution
- Modèles de sécurité
- Gestion des schémas
- Tracing
- Monitoring
Travaux pratiques
RBAC et secrets
Gestion de schémas
Programme mis à jour le 23/07/2024
Public concerné
Ce cours Kafka Streams & ksqlDB s'adresse aux architectes d'entreprise, aux développeurs et plus généralement à toute personne impliquée dans la construction ou l’exploitation d’un système de traitement massif d’événements.
Prérequis
Pour suivre cette formation Kafka Streams & ksqlDB, il est nécessaire de posséder une connaissance préalable de Kafka. Vous pouvez l'acquérir en suivant la formation Kafka : Messagerie distribuée avec Apache Kafka (AKAF).
J’évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Faire le testFinancement
Cette formation peut être prise en charge par votre entreprise, seule ou avec l’appui de son opérateur de compétences. Nous fournissons le devis et les pièces attendues par l’OPCO.
Formations liées
- OpenSearch : Recherche, Analyse et Visualisation de DonnéesRéf. OPEL3 joursFondamentalProchaine session : 16 nov.2 090 €
- Python avancé sur Databricks : notebooks, PySpark, SQL, visualisation et MLflowRéf. PYAD4 joursAvancé
- SAP BusinessObjects BI4 : ETL - Data Service (DS)Réf. BODS3 joursIntermédiaire
- Tableau Software - Administration ServerRéf. TSAS2 joursAvancé