Verarbeiten großer verteilter Datenmengen mit Hadoop
Ein neuer Artikel auf heise Developer stellt Apache Hadoop, eine freie Implementierung des MapReduce-Programmiermodells vor, mit dem sich Datenmengen im Giga- und Petabereich effizient verarbeiten lassen.
- Alexander Neumann
Internetfirmen wie Facebook, Google und Yahoo müssen für den Betrieb ihrer Dienste täglich Datenmengen im Giga- und Petabereich speichern und effizient verarbeiten. Den Part der Datenverarbeitung können Googles Programmiermodell MapReduce oder die Open-Source-Nachbildung Apache Hadoop übernehmen, indem sie die Eingabedaten in Teilstücke partitionieren, um sie anschließend als unabhängige Teilaufgaben bearbeiten zu können.
Ein neuer Artikel auf heise Developer führt in das Thema Map/Reduce ein und zeigt insbesondere, wie die freie Apache-Implementierung funktioniert und vor allem, wo sich der Einsatz von Hadoop lohnt.
Siehe dazu auch:
