Big Data: Cascading 3.0 ergänzt Apache Tez als unterstützte Laufzeitplattform
Nach einer grundlegenden Neugestaltung des Query Planner des Projekts und der Umsetzung von Tez-Support, kann das Team hinter der Entwicklungsplattform die Freigabe der dritten Hauptversion feiern.
- Julia Schmidt
Das Open-Source-Projekt Cascading hat Version 3.0 seiner Plattform zur Entwicklung von Big-Data-Anwendungen veröffentlicht. Ausschlaggebend für den Sprung auf die nächste Hauptversion waren etwa das Neuverfassen des Abfrageplaners sowie die Verbesserung von dessen Programmierschnittstelle. Darüber hinaus ist es Nutzern durch native Unterstützung des Projekts nun wohl möglich, Apache Tez statt Hadoops MapReduce zu verwenden.
Die grundlegende Überarbeitung des Planers war wohl nötig, um ihn zu beschleunigen, und die Tür für die Zusammenarbeit mit anderen Projekten offen zu halten. Entwickler sollen nun zudem eine direkte Möglichkeit haben, MapReduce- und Tez-Jobs nach ihren Bedürfnissen zu optimieren. Nutzer sollten darauf achten, dass die Entwickler im Rahmen der Aktualisierung alle als veraltet gekennzeichneten Methoden entfernt haben und einige API-Änderungen nicht rückwärtskompatibel sind, weshalb eine Anpassung und ein Neukompilieren des Codes vor dem Umstieg nötig sein könnte.
Cascading ist unter der Apache-Lizenz geschützt, der Quellcode ist auf GitHub zu finden. Das Projekt ist primär zum Erstellen von Big-Data-Anwendungen mit Java auf Hadoop gedacht. Allerdings stehen auch Erweiterungen bereit, die den Einsatz von Scala und dem Lisp-Dialog Clojure ermöglichen. (jul)
