Hadoop

Hadoop est un framework Java libre destiné aux applications distribuées et à la gestion intensive des données. Il permet aux applications de travailler avec des milliers de nœuds et des pétaoctets de données. Hadoop a été inspiré par les publications MapReduce, GoogleFS et BigTable de Google.

Hadoop a été créé par Doug Cutting et fait, en 2009, partie des projets de la fondation logicielle Apache.

Hadoop faisait auparavant partie du projet Lucene et de Nutch.

Hadoop Distributed File System

Le système de fichiers distribué d'Hadoop fait partie de ses composants de base.

MapReduce

Hadoop dispose d'une implémentation complète de l'algorithme de MapReduce.

HBase

HBase est une base de données distribuée disposant d'un stockage structuré pour les grandes tables.

Comme BigTable, HBase est une base de données orientée colonnes.

ZooKeeper

ZooKeeper est un logiciel de gestion de configuration pour systèmes distribués, basé sur le logiciel Chubby développé par Google. ZooKeeper est utilisé entre autres pour l'implémentation de HBase.

Hive

Hive est un logiciel d'analyse de données permettant d'utiliser Hadoop avec une syntaxe proche du SQL. Hive a été initialement développé par Facebook.

Pig

Pig est un logiciel d'analyse de données comparable à Hive, mais qui utilise le langage Pig Latin. Pig a été initialement développé par Yahoo!.

Plusieurs grands noms de l'informatique ont déclaré utiliser Hadoop, comme Facebook et Yahoo.

Une version d'Hadoop est également distribuée par Cloudera, qui propose un service de formation et un support commercial.