Apache Hadoop

Hadoop ist ein Open Source Framework für Big Data. Die in Java geschriebene Software steht unter der Apache-2-Lizenz und hilft bei der Entwicklung skalierbarer, verteilter Anwendungen zur Analyse großer Datenmengen (Big Data) auf der Grundlage des von Google entwickelten MapReduce-Algorithmus. Die Daten werden über die Knoten eines Hadoop-Clusters verteilt redundant gespeichert. Die Analyseprogramme laufen parallel auf allen Knoten und analysieren die jeweils dort vorgehaltenen Daten.

Siehe dazu auch:

• "Stimmungsanalyse in sozialen Netzen mit Apache Mahout und Hadoop" in c't 6/2013, Seite 190
• "Studie: Hadoop wird ähnlich erfolgreich wie Linux" auf heise Developer