Verarbeiten großer verteilter Datenmengen mit Hadoop
Ein neuer Artikel auf heise Developer stellt Apache Hadoop, eine freie Implementierung des MapReduce-Programmiermodells vor, mit dem sich Datenmengen im Giga- und Petabereich effizient verarbeiten lassen.
Internetfirmen wie Facebook, Google und Yahoo müssen für den Betrieb ihrer Dienste täglich Datenmengen im Giga- und Petabereich speichern und effizient verarbeiten. Den Part der Datenverarbeitung können Googles Programmiermodell MapReduce oder die Open-Source-Nachbildung Apache Hadoop [1] übernehmen, indem sie die Eingabedaten in Teilstücke partitionieren, um sie anschließend als unabhängige Teilaufgaben bearbeiten zu können.
Ein neuer Artikel [2] auf heise Developer führt in das Thema Map/Reduce ein und zeigt insbesondere, wie die freie Apache-Implementierung funktioniert und vor allem, wo sich der Einsatz von Hadoop lohnt.
Siehe dazu auch:
URL dieses Artikels:
https://www.heise.de/-968753
Links in diesem Artikel:
[1] http://hadoop.apache.org/
[2] https://www.heise.de/hintergrund/Verarbeiten-grosser-verteilter-Datenmengen-mit-Hadoop-964755.html
[3] https://www.heise.de/hintergrund/Verarbeiten-grosser-verteilter-Datenmengen-mit-Hadoop-964755.html
Copyright © 2010 Heise Medien