Data Storytelling & Data Visualization – Valoriser vos données avec impact
Cette formation vous apprend à transformer vos analyses de données en messages visuels clairs et convaincants. À travers…
Data Analytics, Data Visualization et BI
Développer des traitements Big Data avec Apache Spark (Java & Python)
Développez des applications Big Data performantes avec Apache Spark (Java ou Python) pour traiter, transformer et analyser de grands volumes de données en temps réel ou batch.
Description de la formation
Introduction à Spark et aux architectures Big Data
- Comparatif Spark vs Hadoop (MapReduce)
- Versions disponibles (Java, Scala, Python) – introduction à PySpark
- Cas d’usage typiques : log, IoT, ETL, IA, BI, temps réel
Programmation avec Spark RDD
- Rappels sur les concepts de résilience, partitionnement, persistance
- Manipulation des RDD (transformations, actions)
- Broadcast, Accumulateurs, gestion de la mémoire
- Travaux pratiques en Java (et introduction à équivalent PySpark)
Spark SQL et DataFrames
- Schéma, Datasets, DataFrames : différences et usages
- Connexion à des sources structurées : CSV, JSON, JDBC, Hive
- Écriture de requêtes SQL sur DataFrames
- Optimisation avec Catalyst & Tungsten
Déploiement sur cluster
- Architecture Spark : Standalone, YARN, Mesos
- Installation mono-node & multi-node (simulation Docker possible)
- spark-submit, gestion des dépendances, logs
- Monitoring avec Spark UI
Traitement en temps réel avec Spark Streaming
- DStreams & micro-batch
- Connexion à Kafka, sockets, fichiers live
- Fenêtrage, état, logique métier temps réel
- Comparatif avec Structured Streaming (v2)
Machine Learning avec MLlib
- Présentation des algorithmes disponibles
- Pipelines de transformation, évaluation, tuning
- Régression, classification, clustering
- Atelier : mini-projet de modélisation ML sur Spark
(Optionnel) PySpark
- API Python pour Spark
- Similitudes et différences avec l’API Java
- Atelier : transformation et agrégation de données en PySpark
Objectifs pédagogiques
- Comprendre les principes de traitement distribué avec Apache Spark
- Développer des applications batch et temps réel avec Spark Core et Spark Streaming
- Manipuler des données structurées avec Spark SQL
- Découvrir Spark MLlib pour les traitements analytiques avancés
- Mettre en œuvre un cluster Spark et déployer des jobs
Programme détaillé
Module 1 Introduction à Spark et aux architectures Big Data
- Comparatif Spark vs Hadoop (MapReduce)
- Versions disponibles (Java, Scala, Python) – introduction à PySpark
- Cas d’usage typiques : log, IoT, ETL, IA, BI, temps réel
Module 2 Programmation avec Spark RDD
- Rappels sur les concepts de résilience, partitionnement, persistance
- Manipulation des RDD (transformations, actions)
- Broadcast, Accumulateurs, gestion de la mémoire
- Travaux pratiques en Java (et introduction à équivalent PySpark)
Module 3 Spark SQL et DataFrames
- Schéma, Datasets, DataFrames : différences et usages
- Connexion à des sources structurées : CSV, JSON, JDBC, Hive
- Écriture de requêtes SQL sur DataFrames
- Optimisation avec Catalyst & Tungsten
Module 4 Déploiement sur cluster
- Architecture Spark : Standalone, YARN, Mesos
- Installation mono-node & multi-node (simulation Docker possible)
- spark-submit, gestion des dépendances, logs
- Monitoring avec Spark UI
Module 5 Traitement en temps réel avec Spark Streaming
- DStreams & micro-batch
- Connexion à Kafka, sockets, fichiers live
- Fenêtrage, état, logique métier temps réel
- Comparatif avec Structured Streaming (v2)
Module 6 Machine Learning avec MLlib
- Présentation des algorithmes disponibles
- Pipelines de transformation, évaluation, tuning
- Régression, classification, clustering
- Atelier : mini-projet de modélisation ML sur Spark
Module 7 (Optionnel) PySpark
- API Python pour Spark
- Similitudes et différences avec l’API Java
- Atelier : transformation et agrégation de données en PySpark
Prérequis
- Bonne maîtrise du langage Java (ou Python si volet PySpark activé)
- Notions de Big Data et de bases de données
Public visé
- Développeurs, data engineers, architectes techniques, chefs de projets Big Data
Modalités de la formation
- 📍 Format : Mixte (présentiel + distanciel)
- 📊 Niveau d'entrée : Intermédiaire
- 👥 Effectif : 4 à 12 stagiaires (groupe restreint)
- 🎯 Pédagogie : Apports théoriques, exercices pratiques, études de cas, projet fil rouge
- ♿ Accessibilité : Formations accessibles aux personnes en situation de handicap. Contactez notre référent handicap.
Allez plus loin
Formations similaires
Dans le même domaine et au niveau Intermédiaire.
Modern Data Engineering avec Hadoop, Hive, et alternatives Cloud (BigQuery, Snowflake)
Formation complète pour traiter des données massives avec Hadoop et découvrir les solutions analytiques cloud modernes comme BigQuery…
Big Data Analytics avec Python
Formation pratique pour maîtriser l’analyse de données massives avec Python, de la préparation des jeux de données à…
👀 Cross-sell
Les apprenants ont aussi consulté
D'autres formations populaires qui pourraient compléter votre parcours.
Populaire
Compétences numériques essentielles
Cette formation vous permet de maîtriser les usages numériques fondamentaux en entreprise selon le cadre européen DigComp. Elle…
Populaire RS7317
Préparation à la certification LILATE Test d’aptitude à travailler en portugais (RS7317)
Cette formation prépare au passage de la certification RS7317 – Test d’aptitude à travailler en portugais – LILATE.…
Populaire RS7311
Améliorer l’efficacité de sa TPE à l’aide de l’IA
Cette formation vise à permettre aux dirigeants et collaborateurs de TPE de comprendre et d’intégrer l’intelligence artificielle dans…
