Projet Big Data

Objectif

Réalisation d'un système de traitement de données de type "Big Data" sur un cluster « mobile »

Matériel

  • 16 Odroids
  • 16 disques SSD 220G
  • Switch réseau, 1Gb/s par Odroid
  • 5V-60A par Odroid

La ferme est hébergée dans des cubes en plexiglass transparent pour être visible de l'extérieur. Des ventilateurs la refroidissent en permanence.

Contraintes

  • Données distribuées
  • Calculs distribués
  • Resistance aux pannes
  • Calculs rapides

Mise en oeuvre technique

Les Odroids

  • Modèle: HC1
  • 8 coeurs à 2 GHz
  • Processeur ARM
  • Ventilation externe et contrôle de la température
  • Linux + JVM pour Spark et Cassandra

Supervision

Les données sont remontées du cluster via SSH et JMX, puis affichées sur une console de supervision.

Données utilisées

Les données utilisées pour la démonstration sont les informations concernant les positions de satellites au cours du temps fournies par le NORAD.

Elles sont importées brutes dans un lac primaire de données Cassandra, puis transformées pour être rangées en tables métiers suivant les besoins. Les calculs sont réalisés dessus par Spark au bout de la chaîne de traitement.

Stockage

  • Base de données Cassandra
  • Stockage clé-valeur
  • La clé détermine la machine de stockage
  • Pas de noeud "master"
  • Réplication automatique des données

Calculs distribués

Avec Spark:

  • Un master et N workers
  • Les opérations classiques sont effecutées: filter, map, reduce

Pythagore-F.D.

01 55 33 52 10
pfd@pythagore-fd.fr
Calendrier