- Cours pratique
- Informatique
Formation RAG et Fine Tuning d’un LLM
Concevoir un système RAG et fine-tuner un LLM à l’aide des outils de l’écosystème Python
- Durée
- 3 jours
- Niveau
- Intermédiaire
- Modalités
- Présentiel / Distanciel
Description de la formation RAG Fine Tuning LLM
Qu’est-ce que RAG et le Fine Tuning d’un LLM ?
Le Retrieval-Augmented Generation (RAG) est une architecture hybride combinant la recherche d’information et la génération de texte à l’aide de modèles de langage (LLM). Le fine-tuning permet d’adapter un LLM à un domaine spécifique en le réentraînant sur des jeux de données ciblés, afin d’en améliorer la pertinence.
Pourquoi suivre une formation RAG et Fine Tuning d’un LLM ?
Les LLM ont transformé la manière dont on conçoit les assistants virtuels, les moteurs de recherche et les agents conversationnels. En Python, des bibliothèques comme HuggingFace Transformers, LangChain ou LlamaIndex permettent de créer des systèmes RAG puissants. Cette formation permet de concevoir et déployer un système RAG entièrement personnalisé, et de fine-tuner des modèles pour des cas d’usage métier avec Python.
Objectifs pédagogiques
À l'issue de cette formation RAG et Fine Tuning d’un LLM, vous aurez acquis les connaissances nécessaires pour :
- Comprendre les principes de l’architecture RAG.
- Identifier les cas d’usage pertinents pour l’approche RAG.
- Maîtriser le fine-tuning de LLM en environnement Python.
- Intégrer une base documentaire dans une pipeline RAG.
- Déployer un système RAG avec les outils Python : LangChain, LlamaIndex, HuggingFace.
Objectifs opérationnels
Savoir concevoir, entraîner et déployer un système RAG basé sur un LLM fine-tuné.
Programme
Contenu du cours, module par module
6 modules
- Fonctionnement des LLM open-source, Deep Learning et Transformer
- Les principaux LLM à notre disposition, Forces et faiblesses d'un LLM
- Écosystème Python pour LLM : HuggingFace, LangChain, FAISS
- Que sont le RAG et le Fine Tuning ?
- Avantages, inconvénients des approches
Travaux pratiques
Description :Setup d’un environnement Conda, test d’un modèle via Transformers. Quel type de question échoue sans retrieval ?
- Les concepts clés du RAG, embedding, base de données vectorielles
- Indexation de données
- Mécanismes de récupération de données, recherche sémantique
- Génération augmentée
- Cas d'usage et enjeux stratégiques
Travaux pratiques
Description :Extraction de texte, chunking, vectorisation, test d’un assistant LangChain. Quelle stratégie de découpage offre le meilleur rappel ?
- Pourquoi utiliser des Tool Chains ?
- Les principaux outils de Pipeline : LangChain, LlamaIndex, Haystack
- Création d'un Pipeline RAG avec LangChain
- Agents LLM et logique ReAct, Exemples
Travaux pratiques
Description : Implémentation d'agents LangChain avec la logique ReAct, à travers un exemple concret d’application métier.
- Fine Tuning Complet VS Fine Tuning léger (LoRA, QLoRA...)
- Préparation des données : Nettoyage, format, annotations
- Augmentation des données
- Mise en oeuvre du Fine Tuning, APIs, ressources GPUs
- Évaluation et métriques de performance
- Distillation de modèles
Travaux pratiques
Description :Fine-tuning sur une base client, analyse des logs d’entraînement. Le modèle répond-il mieux aux requêtes internes ?
- Quantization et compression d'un modèle
- Déploiement d'un modèle fine tuned : Gradio, Streamlit
- Le déploiement en API via FastAPI
- Les logiciels Jan.ai et Ollama
- Supervision avec LangSmith ou MLFlow
Travaux pratiques
Description :Création d’une interface Streamlit, simulation multi-utilisateurs. Quels risques liés à l’exposition du modèle à l’extérieur ?
- Comparaison entre les deux techniques
- Critères pour choisir la bonne approche
- Combiner les approches pour améliorer les performances
- Cas d’usage concrets et exemples
Travaux pratiques
Description : Mise en œuvre d'une pipeline combinant un modèle LLM Fine tuné avec une approche RA : Préparation d’un jeu de données simplifié, intégration dans un pipeline RAG, Evaluation comparative des résultats
Travaux pratiques
Outils Python utilisés : Jupyter, HuggingFace Transformers, LangChain, LlamaIndex, Weaviate ou ChromaDB. 60 % de la formation repose sur des cas pratiques développés dans des notebooks Python.
Programme mis à jour le 23/07/2026
Public concerné
Cette formation est destinée aux data scientists, ingénieurs IA, développeurs Python, architectes logiciels et chefs de projet techniques travaillant sur des projets d’IA générative.
Prérequis
Bonne maîtrise du langage Python, connaissance des concepts de machine learning et expérience pratique avec les bibliothèques comme Pandas, Transformers ou PyTorch. Ces bases sont essentielles pour suivre le contenu technique dense de la formation.
J’évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Faire le testFinancement
Cette formation peut être prise en charge par votre entreprise, seule ou avec l’appui de son opérateur de compétences. Nous fournissons le devis et les pièces attendues par l’OPCO.
Formations liées
- Intégrer les LLMs dans vos applications avec LangChainRéf. IADL3 joursFondamentalProchaine session : 12 oct.2 090 €
- Quarkus AIRéf. QUAI3 joursIntermédiaireProchaine session : 7 déc.2 090 €
- Architecte IA Générative : Intégration, industrialisation et gouvernanceRéf. IGAL3 joursFondamentalProchaine session : 2 déc.2 090 €
- Développer un assistant conversationnel avec Rasa et LlamaIndexRéf. DARL3 joursFondamentalProchaine session : 19 oct.2 090 €