Aller au contenu
Langage & Développement informatique

Spark Python – Développer des applications pour le Big Data

Formation de 21h pour traiter des données volumineuses avec Spark en Python (PySpark).

21h
Avancé
Présentiel

Objectifs pédagogiques

  • Comprendre l’architecture de Spark et ses concepts fondamentaux
  • Manipuler des DataFrames PySpark pour le traitement de données distribuées
  • Appliquer des opérations de transformation, jointure, filtrage et agrégation
  • Optimiser les traitements Spark (plan d’exécution, cache, UDF) et structurer une application Big Data

Programme détaillé

Module 1 Introduction à Spark et PySpark
  • Architecture Spark : cluster, exécuteurs, DAG, RDD vs DataFrame
  • Démarrer avec SparkSession, chargement de données (CSV, JSON)
  • Exploration de données : show, schema, select, filter
Module 2 Transformations avancées et SQL
  • Fonctions Spark : withColumn, groupBy, join, agg
  • Gestion des types, conversions, gestion des null
  • Intégration avec SQL : createOrReplaceTempView, requêtes SQL
  • Export des résultats (CSV, parquet)
Module 3 Optimisation & mini-projet
  • Plan d’exécution (explain), cache, persist
  • UDF (User Defined Functions)
  • Initiation à Spark MLlib (modèle simple de classification)
  • Mini-projet : traitement d’un corpus big data + restitution

Prérequis

  • Maîtrise de Python
  • Connaissances de pandas
  • Notions de SQL recommandées

Public visé

  • Développeurs Python
  • Data analysts
  • Ingénieurs data
  • Profils techniques en reconversion vers la data

Modalités de la formation

  • ⏱ Durée : 21h
  • 📍 Format : Présentiel (Malakoff / Paris)
  • 💰 Financements éligibles : OPCO · France Travail · Plan entreprise · Autofinancement
  • 📊 Niveau d'entrée : Avancé
  • 🎯 Pédagogie : Apports théoriques, exercices pratiques, études de cas, projet fil rouge
  • 🗓️ Délai d'accès : variable selon le mode de financement, généralement de 11 jours ouvrés à 1 mois après l'inscription. En savoir plus.
  • ♿ Accessibilité : Chaque demande émanant d'une personne en situation de handicap fait l'objet d'une étude de faisabilité et d'adaptation. Contactez notre référent handicap.

Équipe pédagogique

Nos formations sont conçues et animées par une équipe de formateurs experts, sélectionnés pour leur double compétence : une expertise métier acquise sur le terrain et une réelle expérience pédagogique. Le suivi de chaque apprenant est assuré par un référent pédagogique dédié.

  • Formateurs professionnels spécialistes de leur domaine, en veille permanente sur les évolutions du secteur
  • Référent pédagogique dédié, disponible tout au long du parcours
  • Contenus régulièrement actualisés et adaptés au niveau de chaque participant
  • Référent handicap pour l'accueil et l'adaptation des personnes en situation de handicap

Ressources pédagogiques

  • Support de cours PDF
  • Scripts .py ou notebooks PySpark
  • Jeux de données fournis (CSV volumineux)
  • Documentation d’installation locale / cloud

Suivi de l'exécution et évaluation

  • Exercices corrigés à chaque module
  • Mini-projet individuel ou binôme
  • Feuille de présence
  • Questionnaire de satisfaction

Accessibilité

Nous accordons une attention particulière à l'accueil des personnes en situation de handicap. Si vous êtes concerné(e) et souhaitez suivre cette formation, nous vous invitons à nous contacter dès que possible. Ensemble, nous étudierons vos besoins spécifiques et mettrons en place les adaptations nécessaires pour garantir votre accès à la formation dans les meilleures conditions.

Fiche mise à jour le 11 août 2026.