Benchmarking Spark: Wie sich unterschiedliche Hardware-Parameter auf Big-Data-Anwendungen auswirken
Seite 4: Fazit
Möchte man nicht allzu viel Arbeit in das Tuning der eigenen Spark-Anwendung investieren, lohnt sich der Vergleich unterschiedlicher Hardware-Konfigurationen für das Spark-Cluster. Mit Hilfe des in Spark enthaltenen spark-ec2-Skripts lassen sich die Anzahl der Worker Nodes und die jeweiligen Instanztypen von EC2 einfach hoch- und runterfahren und so für einfache Geschwindigkeitstests nutzen.
Wer seine Anwendung auf gegebene Hardware optimieren muss, findet sowohl in den Spark-Bordmitteln als auch bei einer Reihe von Open-Source-Tools weitreichende Unterstützung. So lasst sich vielleicht auch der eine oder andere Euro sparen, wenn es darum geht, effektiv mit den Rechnerressourcen umzugehen.
Ramon Wartala
ist Diplom-Informatiker und arbeitet als Director Technology für die Online-Marketing-Agentur Performance Media Deutschland GmbH in Hamburg. Er ist seit über 12 Jahren freier Autor und Speaker zum Thema Softwareentwicklung und Data Mining. Nebenbei berät er Firmen im Bereich Big Data und greift dabei am liebsten auf das freie Framework Hadoop zurück.
