Hadoop | |
Développeur | Apache Software Foundation |
---|---|
Environnements | Multiplate-forme, principalement POSIX. |
Type | Architecture distribuée |
Licence | Licence Apache |
Site Web | hadoop.apache.org |
modifier |
Hadoop est un framework Java libre destiné aux applications distribuées et à la gestion intensive des données. Il permet aux applications de travailler avec des milliers de nœuds et des pétaoctets de données. Hadoop a été inspiré par les publications MapReduce, GoogleFS et BigTable de Google.
Hadoop a été créé par Doug Cutting et fait, en 2009, partie des projets de la fondation logicielle Apache.
Hadoop faisait auparavant partie du projet Lucene et de Nutch.
Plusieurs grands noms de l'informatique ont déclaré utiliser Hadoop, comme Facebook et Yahoo.
Le système de fichiers distribué d'Hadoop fait partie de ses composants de base.
Hadoop dispose d'une implémentation complète de l'algorithme de MapReduce.
HBase est une base de données distribuée disposant d'un stockage structuré pour les grandes tables.
Comme BigTable, HBase est une base de données orientée colonnes.
ZooKeeper est un logiciel de gestion de configuration pour systèmes distribués, basé sur le logiciel Chubby développé par Google. ZooKeeper est utilisé entre autres pour l'implémentation de HBase.
Hive est un logiciel d'analyse de données permettant d'utiliser Hadoop avec une syntaxe proche du SQL. Hive a été initialement développé par Facebook.
Pig est un logiciel d'analyse de données comparable à Hive, mais qui utilise le langage Pig Latin. Pig a été initialement développé par Yahoo!.
Une version d'Hadoop est également distribuée par Cloudera, qui propose un service de formation et un support commercial.