Formations à distance

Toutes nos formations sont accessibles à distance en classes virtuelles : accès à l'infrastructure de travaux pratiques, machines physiques, outils pédagogiques, échanges avec le formateur. N'hésitez pas à nous appeler pour réserver une place !

Formation : Hadoop : développement

Durée3 jours
Prix 1940 €
Code coursCB033
Dates 21 au 23 septembre
14 au 16 décembre

classe virtuelle
(cliquez sur une date pour vous inscrire)

Public:

Chefs de projets, développeurs, data-scientists, et toute personne souhaitant comprendre les techniques de développement avec MapReduce dans l'environnement Hadoop.

Objectifs:

Connaître les principes du framework Hadoop et savoir utiliser la technologie MapReduce pour paralléliser des calculs sur des volumes importants de données.

Connaissances préalables nécessaires:

Connaissance d'un langage de programmation objet comme Java.

Programme détaillé de la formation


( logo acroreadTéléchargez le programme) :
IntroductionLes fonctionnalités du framework Hadoop
Le projet et les modules : Hadoop Common, HDFS, YARN, Spark, MapReduce
Utilisation de yarn pour piloter les jobs mapreduce.
MapReduce Principe et objectifs du modèle de programmation MapReduce.
Fonctions map() et reduce(). Couples (clés, valeurs).
Implémentation par le framework Hadoop.
Etude de la collection d'exemples.
Travaux pratiques :
Rédaction d'un premier programme et exécution avec Hadoop.
ProgrammationConfiguration des jobs, notion de configuration.
Les interfaces principales : mapper, reducer,
La chaîne de production : entrées, input splits, mapper, combiner, shuffle/sort, reducer, sortie.
partitioner, outputcollector, codecs, compresseurs..
Format des entrées et sorties d'un job MapReduce : InputFormat et OutputFormat.
Travaux pratiques : type personnalisés : création d'un writable spécifique. Utilisation. Contraintes.
Outils complémentairesMise en oeuvre du cache distribué.
Paramétrage d'un job : ToolRunner, transmission de propriétés.
Accès à des systèmes externes : S3, hdfs, har, ...
Travaux pratiques : répartition du job sur la ferme au travers de yarn.
StreamingDéfinition du streaming map/reduce.
Création d'un job map/reduce en python.
Répartition sur la ferme. Avantage et inconvénients.
Liaisons avec des systèmes externes.
Introduction au pont HadoopR
Travaux pratiques : suivi d'un job en streaming.
PigPrésentation des pattern et best practices Map/reduce.
Introduction à Pig.
Caractéristiques du langage : latin.
Travaux pratiques : installation/lancement de pig.
Ecriture de scripts simples pig. Les fonctions de base.
Ajouts de fonctions personnalisées. Les UDF. Mise en oeuvre.
HiveSimplification du requêtage. Etude de la syntaxe de base.
Travaux pratiques : Création de tables. Ecriture de requêtes.
Comparaison pig/hive.
Sécurité en environnement hadoopMécanisme de gestion de l'authentification.
Travaux pratiques : configuration des ACLs.

Pythagore-F.D.

01 55 33 52 10
pfd@pythagore-fd.fr
Calendrier
Code Cours:CB033

Contenu de la formation
Hadoop : développement:

Accès à la liste des cours



Vous pouvez bien entendu composer votre programme personnel à partir de nos descriptifs de cours