Big Data: Google baut Datendienste mit Cloud Dataproc aus
Der Managed Service für Apache Hadoop und Spark lässt sich mit anderen Elementen des Cloud-Angebots des Unternehmens verwenden und soll die Konkurrenzfähigkeit gegenüber den Produkten von AWS und IBM verbessern.
- Julia Schmidt
Google Cloud Dataproc ist nun generell verfügbar, verkündete Googles James Malone. Der Dienst soll Nutzern die Möglichkeit geben, sich mehr auf die Datenverarbeitung konzentrieren zu können und weniger um die Clusterverwaltung kümmern zu müssen. Dabei sollen sich die unter anderem die Betriebskosten senken lassen.
Zum Erstellen, Überwachen und Löschen der Dataproc-Cluster können Anwender auf die Google Developer Console oder das Cloud SDK zurückgreifen. Die nun verfügbare Image-Version 1.0 lässt sich mit Hadoop 2.7.2, Spark 1.6, Hive 1.2.1 und Pig 0.15 verwenden. Durch die Zusammenarbeit mit Googles BigQuery, Bigtable und Cloud Storage kann man mit Dataproc eine Art Datenplattform aufbauen. Außerdem bemüht sich Google derzeit darum, ein Ökosystem für Drittanbieter von Tools und Diensten aufzubauen.
Dataproc war seit September 2015 im Betastadium. In der Zeit ergänzten seine Entwickler unter anderem Funktionen zum Optimieren der Einstellungen, zur Cluster-Versionierung sowie VM-Metadaten und entsprechende Tagging-Optionen. Mit der Freigabe kam nun unter anderem die Option hinzu, selbst definierte Maschinentypen zu nutzen.
Preislich liegt der Dienst bei einem US-Cent pro virtueller CPU im Cluster und Stunde, bei einer Mindestnutzdauer von 10 Minuten und minutengenauer Abrechnung. Ähnliche Big-Data-Angebote finden sich derzeit unter anderem bei AWS und in IBMs Public Cloud. (jul)
