Machine-Learning-Anwendungen entwickeln mit RStudio und sparklyr
Im Zusammenspiel mit Apache Spark und Amazons Elastic Map Reduce (EMR) lässt sich eine skalierbare Datenverarbeitungs-Pipeline mit R und RStudio aufbauen.
- Ramon Wartala
Als offenes Datenverarbeitungsframework hat sich in den letzten Jahren Apache Spark in den Bereichen Data Engineering und Data Science etabliert. Eine üppige Auswahl an parallelen Machine-Learning-Algorithmen erlaubt es, damit sowohl lokal mit wenig Daten als auch in großen Clustern ML-Anwendungen zu entwickeln.
R – ein alter Bekannter
Die Programmiersprache R existiert bereits seit den 1990er-Jahren. Version 1.0 erschien im Jahr 2000. R stammt in direkter Linie von der Statistiksprache S ab, deren Wurzeln noch weiter zurückreichen. Die statistischen und analytischen Modelle der Programmiersprache sind besonders bei Anwendern interaktiver Datenanalysen, Statistik und Zeitreihenprognosen beliebt. Schon für die ersten Versionen von Hadoop gab es mit RHadoop und RHive Schnittstellen, um auch von der R-Umgebung aus auf verteilte Dateisysteme und die Computing-Power von Clustersystemen zuzugreifen.
Seit Version 1.4 liefert auch das In-Memory-Framework Spark mit SparkR eine Schnittstelle für R mit. Damit können Fans der Programmiersprache gleich zwischen zwei Tools wählen, wenn sie große Datenmengen mit der Kombination aus Spark und R verarbeiten wollen. Neben SparkR gibt es sparklyr, das von Javier Luraschi und anderen aus dem RStudio-Projekt entwickelt wird. Welches das bessere Framework ist, soll an dieser Stelle nicht beleuchtet werden. Einen guten Überblick über die Vor- und Nachteile beider Frameworks finden Sie hier.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Eigene Domain für zu Hause: Reverse-Proxy auf dem Raspberry Pi einrichten
Günstiges Display samt Einplatinencomputer für Bastelanfänger im Kurztest
Boox Note Air3 C im Test: Hybrid-Tablet mit farbigem E-Paper-Display
OpenCore Legacy Patcher: Wie Sie alte Macs mit jungem macOS aufbrezeln
Funktionsweise von Passkeys im Detail erklärt
Drei KI-Sprechtrainer im Test: Fremdsprache mit KI lernen
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Eigene Domain für zu Hause: Reverse-Proxy auf dem Raspberry Pi einrichten
Günstiges Display samt Einplatinencomputer für Bastelanfänger im Kurztest
Boox Note Air3 C im Test: Hybrid-Tablet mit farbigem E-Paper-Display
OpenCore Legacy Patcher: Wie Sie alte Macs mit jungem macOS aufbrezeln
Funktionsweise von Passkeys im Detail erklärt