Aller au contenu
Demander un devis
Langage & Développement informatique

Spark Python – Développer des applications pour le Big Data

Cette formation de 21 heures permet de comprendre et d’exploiter Spark en environnement Python (PySpark) pour traiter des données volumineuses. Elle couvre l’architecture distribuée de Spark, le traitement des DataFrames,…

21h
Avancé
Blended

Description de la formation

Jour 1 – Introduction à Spark et PySpark

  • Architecture Spark : cluster, exécuteurs, DAG, RDD vs DataFrame
  • Démarrer avec SparkSession, chargement de données (CSV, JSON)
  • Exploration de données : show, schema, select, filter

Jour 2 – Transformations avancées et SQL

  • Fonctions Spark : withColumn, groupBy, join, agg
  • Gestion des types, conversions, gestion des null
  • Intégration avec SQL : createOrReplaceTempView, requêtes SQL
  • Export des résultats (CSV, parquet)

Jour 3 – Optimisation & mini-projet

  • Plan d’exécution (explain), cache, persist
  • UDF (User Defined Functions)
  • Initiation à Spark MLlib (modèle simple de classification)
  • Mini-projet : traitement d’un corpus big data + restitution

Objectifs pédagogiques

  • Comprendre l’architecture de Spark et ses concepts fondamentaux
  • Manipuler des DataFrames PySpark pour le traitement de données distribuées
  • Appliquer des opérations de transformation, jointure, filtrage et agrégation
  • Optimiser les traitements Spark (plan d’exécution, cache, UDF) et structurer une application Big Data

Programme détaillé

Module 1 Jour 1 – Introduction à Spark et PySpark
  • Architecture Spark : cluster, exécuteurs, DAG, RDD vs DataFrame
  • Démarrer avec SparkSession, chargement de données (CSV, JSON)
  • Exploration de données : show, schema, select, filter
Module 2 Jour 2 – Transformations avancées et SQL
  • Fonctions Spark : withColumn, groupBy, join, agg
  • Gestion des types, conversions, gestion des null
  • Intégration avec SQL : createOrReplaceTempView, requêtes SQL
  • Export des résultats (CSV, parquet)
Module 3 Jour 3 – Optimisation & mini-projet
  • Plan d’exécution (explain), cache, persist
  • UDF (User Defined Functions)
  • Initiation à Spark MLlib (modèle simple de classification)
  • Mini-projet : traitement d’un corpus big data + restitution

Prérequis

  • Maîtrise de Python
  • Connaissances de pandas
  • Notions de SQL recommandées

Public visé

  • Développeurs Python
  • Data analysts
  • Ingénieurs data
  • Profils techniques en reconversion vers la data

Modalités de la formation

  • ⏱ Durée : 21h
  • 📍 Format : Mixte (présentiel + distanciel)
  • 📊 Niveau d'entrée : Avancé
  • 👥 Effectif : 4 à 12 stagiaires (groupe restreint)
  • 🎯 Pédagogie : Apports théoriques, exercices pratiques, études de cas, projet fil rouge
  • ♿ Accessibilité : Formations accessibles aux personnes en situation de handicap. Contactez notre référent handicap.
Allez plus loin

Formations similaires

Dans le même domaine et au niveau Avancé.

Langage & Développement informatique Avance

Python – Administration système

Cette formation de 21 heures permet d’utiliser Python comme outil d’automatisation pour l’administration système. Elle couvre la manipulation…

⏱ 21h 📡 blended

4500€

HT · Finançable

Voir →
Formation developpement — illustration générique
Langage & Développement informatique Avance

Python – Traitement de données

Cette formation de 21 heures permet d’apprendre à manipuler, nettoyer, analyser et visualiser des données en Python. Grâce…

⏱ 21h 📡 blended

2400€

HT · Finançable

Voir →
👀 Cross-sell

Les apprenants ont aussi consulté

D'autres formations populaires qui pourraient compléter votre parcours.