Spark Java – Développer des applications pour le Big Data
Cette formation de 21 heures permet aux développeurs Java de maîtriser le développement de traitements distribués avec Apache…
Langage & Développement informatique
Hadoop – Développer des applications pour le Big Data
Cette formation de 28 heures permet de comprendre l’architecture Hadoop et de développer des applications pour le traitement distribué de données massives. Les participants manipulent HDFS, conçoivent des traitements MapReduce,…
Description de la formation
Jour 1 – Architecture Hadoop et HDFS
- Introduction au Big Data
- Fonctionnement du cluster Hadoop
- Principe et structure de HDFS
- Chargement de données, commandes HDFS
Jour 2 – Développement MapReduce
- Comprendre MapReduce (Mapper, Reducer, Combiner)
- Implémentation Java et Hadoop Streaming (Python)
- Tests de performances (partitions, shuffle)
- TP : traitement de fichiers volumineux
Jour 3 – Hive et Pig
- Hive : SQL sur HDFS, DDL, DML, UDF
- Pig : langage de transformation déclaratif
- Comparaison avec MapReduce classique
- TP : requêtes sur jeux de données textuels
Jour 4 – Projet et cas concrets
- Pipeline complet (stockage, traitement, analyse)
- Traitement de logs, fichiers CSV, JSON
- Audit du flux et mise en qualité
- Perspectives vers Spark, HBase, YARN
Objectifs pédagogiques
- Comprendre le fonctionnement du système de fichiers HDFS
- Développer des traitements MapReduce (Java ou Python)
- Exploiter les données via Hive et Pig
- Structurer un pipeline Big Data sous Hadoop
Programme détaillé
Module 1 Jour 1 – Architecture Hadoop et HDFS
- Introduction au Big Data
- Fonctionnement du cluster Hadoop
- Principe et structure de HDFS
- Chargement de données, commandes HDFS
Module 2 Jour 2 – Développement MapReduce
- Comprendre MapReduce (Mapper, Reducer, Combiner)
- Implémentation Java et Hadoop Streaming (Python)
- Tests de performances (partitions, shuffle)
- TP : traitement de fichiers volumineux
Module 3 Jour 3 – Hive et Pig
- Hive : SQL sur HDFS, DDL, DML, UDF
- Pig : langage de transformation déclaratif
- Comparaison avec MapReduce classique
- TP : requêtes sur jeux de données textuels
Module 4 Jour 4 – Projet et cas concrets
- Pipeline complet (stockage, traitement, analyse)
- Traitement de logs, fichiers CSV, JSON
- Audit du flux et mise en qualité
- Perspectives vers Spark, HBase, YARN
Prérequis
- Connaissance de Java ou Python
- Maîtrise de SQL
- Notions de base sur les architectures distribuées utiles
Public visé
- Développeurs, data engineers, analystes ou profils IT souhaitant exploiter Hadoop pour des traitements distribués à grande échelle
Modalités de la formation
- ⏱ Durée : 28h
- 📍 Format : Mixte (présentiel + distanciel)
- 📊 Niveau d'entrée : Intermédiaire
- 👥 Effectif : 4 à 12 stagiaires (groupe restreint)
- 🎯 Pédagogie : Apports théoriques, exercices pratiques, études de cas, projet fil rouge
- ♿ Accessibilité : Formations accessibles aux personnes en situation de handicap. Contactez notre référent handicap.
Allez plus loin
Formations similaires
Dans le même domaine et au niveau Intermédiaire.
C# – Développer en .NET avec Visual Studio
Cette formation de 35 heures permet d’acquérir les bases du développement logiciel avec le langage C# dans l’environnement…
Angular – Développer des applications web dynamiques avec TypeScript
Cette formation de 35 heures permet de maîtriser le développement d’applications web modernes avec Angular. De la prise…
👀 Cross-sell
Les apprenants ont aussi consulté
D'autres formations populaires qui pourraient compléter votre parcours.
Populaire RS6435
Communiquer en anglais dans un contexte médical – Préparation à la certification CLOE RS6435
Formation de 20h pour communiquer en anglais dans les métiers de la santé. Accueil, consignes, soins, échanges patients.…
Populaire
Développer l’activité commerciale par les réseaux sociaux
Cette formation permet aux participants d’acquérir les compétences nécessaires pour utiliser les réseaux sociaux comme leviers de développement…
Populaire
Accompagnement à la création d’une entreprise
Acquérez les méthodes et outils essentiels pour transformer une idée en projet viable et structuré. De l’étude de…
