- Cours pratique
- Informatique
Formation Scraping et manipulation de données avec Python
À la découverte de Request, Asyncio, Scrappy et Selenium
- Durée
- 4 jours
- Niveau
- Avancé
- Modalités
- Présentiel / Distanciel
Description de la formation Scraping Python
Avec sa réputation d’excellent « langage glue », Python est la technologie idéale pour récupérer des données hétérogènes depuis des sources aux formes variées afin d’accumuler une base de connaissances.
C’est l’objet du scraping, qui vise à parcourir une série de ressources - souvent des sites Web ou des APIs REST - afin d’en extraire des informations ciblées.
Avec cette formation Scraping Python, nous verrons comment s’organise un tel programme, en commençant par créer ensemble un crawler à la main, pour progressivement aller vers des technologies plus sophistiquées, jusqu’à tout automatiser.
Objectifs pédagogiques
À l'issue de cette formation Scraping Python, vous aurez acquis les connaissances et les compétences nécessaires pour :
- Comprendre les enjeux techniques et ethniques du scraping
- Connaître les différentes méthodes utilisées pour récupérer, traiter et stocker les données
- Maîtriser les technologies existantes pour choisir la solution adaptée à votre besoin d’acquisition
Objectifs opérationnels
Savoir maîtriser la manipulation de données web avec Python.
Programme
Contenu du cours, module par module
5 modules
Rappel des fondamentaux
- Parcourir le système de fichiers
- Gérer proprement l’encoding
- Lire et écrire des fichiers
- Analyser le JSON, le CSV et l’XML
- Les générateurs
Travaux pratiques
Mon premier scraper
- Rappel sur le protocole HTTP
- Requêtes simples avec Request
- Stocker les données avec SQLAlchemy
- Analyser du HTML avec Beautiful Soup
Travaux pratiques
Concurrence et parallélisme
- Threads et GIL
- Utiliser plusieurs cœurs avec le multiprocessing
- Programmation I/O asyncrone
- Performances et éthiques
- Utilisation d’une forme de cache : disque, RAM et redis
- Introduire un délai aléatoire
- Le fichier robot.txt
Travaux pratiques
Concurrence et parallélisme
- Authentifications et token
- Anatomie d’une API REST
- Retry propre
- Gérer le rate limiting
- Gestion des erreurs
- Logging de l’application
- Exemple avec un client twitter fait à la main
Travaux pratiques
Scrappy, un framework de scraping automatique
- Introduction aux mécanismes de base du framework
Selenium, un browser headless
- Utiliser Selenium à la main
- Utiliser Scrappy et Selenium ensemble
Travaux pratiques
Travaux pratiques
Travaux pratiques
Cette formation propose une alternance de pratique et de théorie (50% / 50%) pour une meilleure assimilation des connaissances.
Programme mis à jour le 14/09/2020
Public concerné
Ce cours Scraping Python cible principalement les programmeurs déjà à l’aise avec Python, ayant déjà des projets de taille moyenne à leur actif, et souhaitant mettre en œuvre leur propre outillage pour étoffer le stock de données dans lequel ils puissent piocher.
Prérequis
Pour suivre ce cours Scraping Python, il faut être à l’aise avec le langage Python dans sa dernière version. Le participant doit être capable de créer des scripts complexes de manière autonome ainsi que savoir utiliser écosystème du langage (pip, virtualenv, etc.).
La formation Python (réf. OPYT) constitue un excellent prérequis.
J’évalue mes connaissances pour vérifier que je dispose des prérequis nécessaires pour profiter pleinement de cette formation en faisant le test de prérequis.
Faire le testFinancement
Cette formation peut être prise en charge par votre entreprise, seule ou avec l’appui de son opérateur de compétences. Nous fournissons le devis et les pièces attendues par l’OPCO.
4,7/5
3 avis
« Mon avis sur le formateur : "Une très bonne adaptation du programme à nos besoins à la volée (et aux dernières techno, par rapport à ce qui était indiqué sur le programme initial) Très bonne ambiance Peut-être passer un peu moins de temps sur les rappels en début de journée, cela dit ça me semble assez anecdotique" Mon avis sur la salle de formation : "Merci pour l'accueil :)" Ce que j'ai le plus apprécié : "Setup du PC nickel" Ce que j'ai le moins apprécié : "Peut-être un poil froid dans la salle" »
FAMINISTERE DE L'INTÉRIEUR / DGPN « Mon avis sur le formateur : "Le présentateur est expert de son sujet et a adapté la formation à nos attentes. Bienveillant, il a pu répondre avec pédagogie à nos questions." »
BAMINISTERE DE L'INTÉRIEUR / DGPN
Les avis figurant ci-dessus sont issus des fiches d’évaluation que remplissent les participants à la fin de la formation. Ils sont ensuite publiés automatiquement si les personnes ont explicitement accepté que nous les diffusions.
Formations liées
- Web Services REST - Mise en œuvre avec PythonRéf. OPYW3 joursIntermédiaireProchaine session : 19 oct.2 090 €
- SOAP Web Services - Mise en oeuvre avec Jakarta EERéf. SWES3 joursIntermédiaireProchaine session : 14 déc.
- Web Services REST - Mise en œuvre en C#Réf. DWSR3 joursIntermédiaireProchaine session : 26 oct.2 090 €
- Web services REST en PHPRéf. WSPHP3 joursIntermédiaireProchaine session : 16 déc.2 090 €