Amazon AWS: Echtzeitdaten, Transfer-Appliance und ein wenig Datenbanken

Auf der diesjährigen re:invent in Las Vegas stellte Amazon eine Appliance zum Transfer großer Datenmengen aus dem Firmennetzwerk in die AWS-Cloud vor. Ein Dienst namens Firehose vereinfacht die Verwaltung verteilter Datenströme in Echtzeit.

In Pocket speichern vorlesen Druckansicht 3 Kommentare lesen
Andy Jassy

Andy Jassy, SVP bei AWS

(Bild: Amazon)

Lesezeit: 3 Min.
Von
  • Rainald Menge-Sonnentag
Inhaltsverzeichnis

Der Fokus von Amazons AWS-Kundenveranstaltung re:invent lag im vergangenen Jahr auf der neuen Datenbank Aurora und der damit versprochenen schnellen Datenverarbeitung. Dieses Mal geht es vor allem darum, wie die großen Datenmengen möglichst effizient ihren Weg in Amazons Cloud-Dienst finden.

Eine Komponente dabei heißt Snowball und ist eine Speicher-Appliance – vereinfacht gesagt die sehr, sehr große Schwester der externen Festplatte: Kunden bestellen einen oder mehrere Snowball-Geräte und bekommen sie dann als Paket geliefert. Das System ist geschlossen und hat nach außen lediglich einen 10-GByte-Netzwerkport und einen Stromanschluss. Der graue Kasten ist stoßfest und gegen physische Manipulationsversuche geschützt.

Der Snowball ist für den Transport großer Datenmengen auf dem Postweg gedacht.

(Bild: Amazon)

Bis zu 50 Terabyte können Kunden auf dem Schneeball ablegen – die 256-Bit-Verschlüsselung erfolgt automatisch. Anschließend geht das Gerät auf dem Postweg zurück. Der komplette Datentransport ist in die Amazon-Konsole eingebunden. Der Kunde verwaltet seine Daten analog zu denen, die er über das Netzwerk übermittelt. Den physischen Transport von Speichermedien in die AWS-Cloud bietet Amazon bereits seit 2009 an. Dazu mussten Kunden jedoch selbst die Hardware kaufen und sich um die Verschlüsselung kümmern.

Während Snowball für große Datenmengen taugt, die sich selten ändern, zielt Amazon Kinesis Firehose auf die Verarbeitung von Echtzeitdaten. 2013 startete Amazon mit Kinesis Streams einen Dienst zur Verarbeitung und Analyse von Datenströmen. Die anschließende Übertragung in Amazon S3, Redshift und Co. erforderte einiges an Eigenarbeit.

Diesen Prozess automatisiert Amazon Kinesis Firehose: Kunden erstellen einen sogenannten Firehose Delivery Stream in ihrer AWS-Konsole, der die Übertragung der Echtzeitdaten zu einem S3 Bucket oder einer Redshift-Tabelle in regelmäßigen Zyklen automatisiert. Amazon will künftig auch weitere Ziele aus dem eigenen Cloud-Portfolio anbieten. Optional werden die Daten vor dem Transport komprimiert und verschlüsselt.

Neben den Neuigkeiten zur Sammlung der Daten, hatte Amazon zwei Ankündigung zu deren Verarbeitung im Programm der re:invent. QuickSight ist ein Business-Intelligence-Tool.

Außerdem bietet Amazon jetzt seinen relationalen Datenbankservice RDS für MariaDB an. Der MySQL-Ableger ist damit die sechste offiziell unterstützte relationale Datenbank neben Aurora, MySQL, Oracle, Microsofts SQL Server und PostgreSQL, Der Dienst bietet bis zu 6 Terabyte Storage bei maximal 30.000 IOPS.

Der MariaDB-Datenbankservice ist in allen AWS-Regionen verfügbar, Firehose derzeit in Europa nur über den irischen Standort. Snowball bleibt zunächst den amerikanischen Standorten West und Standard vorbehalten, aber weitere seien bereits in Planung, wie der Blog zu Snowball berichtet. (rme)