Aller au contenu
Demander un devis
Langage & Développement informatique

Hadoop – Développer des applications pour le Big Data

Cette formation de 28 heures permet de comprendre l’architecture Hadoop et de développer des applications pour le traitement distribué de données massives. Les participants manipulent HDFS, conçoivent des traitements MapReduce,…

28h
Intermédiaire
Blended

Description de la formation

Jour 1 – Architecture Hadoop et HDFS

  • Introduction au Big Data
  • Fonctionnement du cluster Hadoop
  • Principe et structure de HDFS
  • Chargement de données, commandes HDFS

Jour 2 – Développement MapReduce

  • Comprendre MapReduce (Mapper, Reducer, Combiner)
  • Implémentation Java et Hadoop Streaming (Python)
  • Tests de performances (partitions, shuffle)
  • TP : traitement de fichiers volumineux

Jour 3 – Hive et Pig

  • Hive : SQL sur HDFS, DDL, DML, UDF
  • Pig : langage de transformation déclaratif
  • Comparaison avec MapReduce classique
  • TP : requêtes sur jeux de données textuels

Jour 4 – Projet et cas concrets

  • Pipeline complet (stockage, traitement, analyse)
  • Traitement de logs, fichiers CSV, JSON
  • Audit du flux et mise en qualité
  • Perspectives vers Spark, HBase, YARN

Objectifs pédagogiques

  • Comprendre le fonctionnement du système de fichiers HDFS
  • Développer des traitements MapReduce (Java ou Python)
  • Exploiter les données via Hive et Pig
  • Structurer un pipeline Big Data sous Hadoop

Programme détaillé

Module 1 Jour 1 – Architecture Hadoop et HDFS
  • Introduction au Big Data
  • Fonctionnement du cluster Hadoop
  • Principe et structure de HDFS
  • Chargement de données, commandes HDFS
Module 2 Jour 2 – Développement MapReduce
  • Comprendre MapReduce (Mapper, Reducer, Combiner)
  • Implémentation Java et Hadoop Streaming (Python)
  • Tests de performances (partitions, shuffle)
  • TP : traitement de fichiers volumineux
Module 3 Jour 3 – Hive et Pig
  • Hive : SQL sur HDFS, DDL, DML, UDF
  • Pig : langage de transformation déclaratif
  • Comparaison avec MapReduce classique
  • TP : requêtes sur jeux de données textuels
Module 4 Jour 4 – Projet et cas concrets
  • Pipeline complet (stockage, traitement, analyse)
  • Traitement de logs, fichiers CSV, JSON
  • Audit du flux et mise en qualité
  • Perspectives vers Spark, HBase, YARN

Prérequis

  • Connaissance de Java ou Python
  • Maîtrise de SQL
  • Notions de base sur les architectures distribuées utiles

Public visé

  • Développeurs, data engineers, analystes ou profils IT souhaitant exploiter Hadoop pour des traitements distribués à grande échelle

Modalités de la formation

  • ⏱ Durée : 28h
  • 📍 Format : Mixte (présentiel + distanciel)
  • 📊 Niveau d'entrée : Intermédiaire
  • 👥 Effectif : 4 à 12 stagiaires (groupe restreint)
  • 🎯 Pédagogie : Apports théoriques, exercices pratiques, études de cas, projet fil rouge
  • ♿ Accessibilité : Formations accessibles aux personnes en situation de handicap. Contactez notre référent handicap.
Allez plus loin

Formations similaires

Dans le même domaine et au niveau Intermédiaire.

Langage & Développement informatique Intermediaire

MERISE

Cette formation de 21 heures permet de maîtriser la méthode MERISE pour modéliser les données et les traitements…

⏱ 21h 📡 blended

2700€

HT · Finançable

Voir →
Langage & Développement informatique Intermediaire

Développer avec Codex d’OpenAI

Cette formation de 21 heures permet d’exploiter l’IA générative Codex (ou GPT-4) dans le développement logiciel. Les participants…

⏱ 21h 📡 blended

2700€

HT · Finançable

Voir →
👀 Cross-sell

Les apprenants ont aussi consulté

D'autres formations populaires qui pourraient compléter votre parcours.

Populaire RS6959
PAO, CAO, vidéo, audio et graphisme Intermediaire

Photoshop – Retouche photo et création graphique

Cette formation vous permet de maîtriser les outils essentiels de Photoshop pour produire des visuels professionnels. Vous apprendrez…

📡 blended

2400€

HT · Finançable

Voir →