Formation hadoop - développement

• Construire un programme à base de Map Reduce
• Intégrer Hadoop HBase dans un workflow d'entreprise
• Travailler avec Apache Hive et Pig depuis HDFS
• Utiliser un graphe de tâches avec Hadoop

Le Big Data

• Définition du périmètre du Big Data.
• Le rôle du projet Hadoop.
• Les concepts de base des projets Big Data.
• Présentation du Cloud Computing.
• Différence entre Cloud Computing privé et public.
• Les architectures Big Data à base du projet Hadoop.

Démonstration

Usage d'Hadoop et de GoogleApp.

Collecte de données et application de Map Reduce

• Analyse des flux de données dans l'entreprise.
• Données structurées et non-structurées.
• Les principes de l'analyse sémantique des données d'entreprise.
• Graphe des tâches à base de MapReduce.
• La granularité de cohérence des données.
• Transfert de données depuis un système de persistance dans Hadoop.
• Transfert de données d'un Cloud dans Hadoop.

Travaux pratiques

Gérer la collecte d'informations clientèles par Map Reduce. Configuration de l'implémentation YARN. Développement d'une tâche basée sur Map Reduce.

Le stockage des données avec HBase

• Plusieurs types de base de données XML.
• Patterns d'usages et application au Cloud.
• Application de Hadoop database au sein d'un workflow.
• Utilisation des projets Hive/Pig.
• Utilisation du projet HCatalog.
• L'API Java HBase.

Travaux pratiques

Gérer les modifications d'un catalogue de données fournisseur.

Le stockage des données sur HDFS

• Patterns d'usages et application au Cloud.
• Architecture et installation d'un système HDFS, journal, NameNode, DataNode.
• Opérations, commandes et gestion des commandes.
• L'API HDFS Java.
• Analyse de données avec Apache Pig.
• Le langage Pig Latin. Utiliser Apache Pig avec Java.
• Requêtage avec Apache Hive.
• Réplication de données. Partage de données sur une architecture HDFS.

Travaux pratiques

Administrer un référentiel client partagé sur Hadoop. Utilisation de la console de visualisation.

Spring Data Hadoop

• Introduction à Spring et Spring Data.
• Le namespace Hadoop pour Spring.
• Utiliser Spring pour simplifier la configuration Hadoop.
• Configuration du cache distribué.
• Définition des Jobs et dépendance entre Jobs.
• Intégration des outils (Pig, Hive...).

Travaux pratiques

Refondre la gestion du catalogue de données fournisseur via Spring Data.

Développeurs, Chefs de projets, Data-scientists, Architectes

• Le délai d'accès moyent pour cette formation est de 2 Semaines
• Merci d’utiliser le formulaire de contact ou nous joindre par téléphone ou mail pour l’organisation de votre formation.

• Accueil des apprenants dans une salle dédiée à la formation.
• Documents supports de formation projetés.
• Exposés théoriques
• Etude de cas concrets
• Quiz en salle
• Mise à disposition en ligne de documents supports à la suite de la formation.

• Feuilles de présence.
• Questions orales ou écrites (QCM).
• Mises en situation.
• Formulaires d'évaluation de la formation.
• Certificat de réalisation de l’action de formation.

Pour suivre cette formation à distance vous aurez besoin

• D'un Mac ou d'un PC
• Une Connexion internet stable
• Un Navigateur Web récent
• De Teams ou de Zoom
• Du logiciel enseigné ou à utiliser installé
  
  

Dans nos locaux nous mettrons à votre disposition tout le nécessaire.

Dans vos locaux nous conviendrons du nécessaire à mettre en place pour le bon déroulé de cette formation.

Suivi et accompagnement pédagogique :

Notre équipe pédagogique sera à vos côtés tout au long de votre parcours pour assurer le suivi de l'exécution et l'évaluation de la formation.

Entretien préalable :

Avant le début de la formation, notre conseiller en formation organise un entretien avec vous afin de cerner précisément vos attentes et vos objectifs.

Horaires et rythme :

Les horaires et le rythme de la formation sont adaptables à vos disponibilités, ou peuvent être fixés en accord avec notre équipe pédagogique.

Exercices pratiques et mises en situation :

Si nécessaire, la formation inclut des exercices pratiques et/ou des mises en situation pour renforcer l'apprentissage.

Supports et attestation de formation :

À l'issue de la formation, vous aurez accès en ligne à des documents et supports pédagogiques. Un certificat de réalisation de la formation vous sera également remis.

Évaluation et satisfaction :

Nous vous inviterons à remplir un questionnaire de satisfaction à chaud, en fin de formation, et un autre à froid, trois mois après la formation. Pour certaines formations, vous recevrez également un questionnaire d'auto-évaluation en fin de formation et, le cas échéant, pourrez passer une certification (en conditions d'examen ou en télésurveillance post-formation).

Accès à la plateforme de certification :

Pour les formations certifiantes, un accès à la plateforme de certification sera mis à votre disposition.