Chefs de projet, data scientists, développeurs.
Savoir mettre en oeuvre Storm pour le traitement de flux de données.
Connaissance d'un langage de programmation comme Java ou Python.
|
| Introduction |
Durée : 3h Méthodes pédagogiques : exposé/échanges Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Présentation de Storm:fonctionnalités, architecture, langages supportés Définitions:spout, bolt, topology
|
|
| Architecture |
Durée : 3h Méthodes pédagogiques : exposé/échanges Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Etude des composants d'un cluster Storm : master node 'nimbus' et worker nodes Positionnement par rapport à un cluster Hadoop. Le modèle de données. Différents types de flux.
|
|
| Premiers pas |
Durée : 3h Méthodes pédagogiques : exposé/échanges Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Configuration d'un environnement de développement. Installation d'un cluster Storm. Travaux pratiques sur le projet storm-starter
|
|
| Flux de données |
Durée : 3h Méthodes pédagogiques : exposé/échanges Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Définition du nombre de flux dans un noeud, création de topologies regroupant des flux entre différents noeuds, communication entre flux en JSON, lecture de flux d'origines diverses (JMS, Kafka, ...)
|
|
| Haute disponibilité |
Durée : 2h30 Méthodes pédagogiques : exposé/échanges Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Tolérance aux pannes: principe de fiabilisation des master node, workers node, nimbus Garantie de traitement des flux: principe,paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS, TOPOLOGY_ACKERS Traitements temps réel avec Trident. Elasticité: traitements concurrents dans un cluster storm, ajouts de noeuds, commande 'storm rebalance'
|