Neue Tabellen-Buckets und Metadaten-Verwaltung für Amazon S3

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

Don’t show this again.

Amazon führt für seinen Cloud-Objektspeicher S3 einen neuen Bucket-Typ für Tabellen ein und stellt im Rahmen der laufenden Anwenderkonferenz "AWS re:invent" in Las Vegas weitere Neuheiten vor. Die "S3 Tables" sind für die Datenanalyse optimiert und sollen Anfragen dreimal schneller verarbeiten können als selbst verwaltete Tabellen. Dabei setzen die Entwickler auf das offene Tabellenformat Apache Iceberg. Solche Formate bieten eine ähnliche Funktionalität wie Datenbanken, bilden eine Abstraktionsschicht über Data Lakes und können so große Datensätze verwalten.

Weil die Buckets das Iceberg-Format nutzen, lassen sich Abfragen mit AWS- und Drittanbieter-Anwendungen ausführen. Dazu können Nutzer auf herkömmliches SQL oder auf Iceberg-spezifische Funktionen zurückgreifen. Außerdem verfügen die Table-Buckets über eine richtlinienbasierte Wartungsfunktion. Mit ihr lassen sich Snapshots verwalten und nicht referenzierte Daten löschen. Eine Integration von S3 Tables mit dem AWS Data Glue Catalog steht als Preview bereit. Anwender können so Daten mit Analysediensten von AWS abfragen, übertragen und visualisieren.

Neue Metadaten-Verwaltung vereinfacht Suche von Dateien

Weiterhin veröffentlichte Amazon eine Preview-Version von S3 Metadata. Der Dienst erfasst Metadaten von Objekten, die in einen Bucket hochgeladen werden und überführt sie in eine abfragbare, schreibgeschützte Tabelle. Zu den gespeicherten Metadaten zählen einerseits systemdefinierte Merkmale, etwa Größe und Herkunft des Objekts. Andererseits lassen sich auch benutzerdefinierte Eigenschaften speichern, zum Beispiel Artikelnummern oder Bewertungen.

Ein Nutzer kann so nach Dateien mit festgelegten Eigenschaften suchen, etwa Logs aus einem bestimmten Zeitraum oder Bilder mit einer bestimmten Dateigröße. Ändern sich Daten innerhalb eines Buckets, schreibt der Dienst die aktualisierten Metadaten innerhalb weniger Minuten in die Tabelle. In dieser lassen sich alle Modifikationen der Daten nachvollziehen. Alle Metadaten-Tabellen legt S3 in einem Tablet-Bucket ab. Neben der Anbindung an die AWS-Analysedienste gibt es eine Integration mit Amazon Bedrock. KI-generierte Videos lassen sich so mit Metadaten verknüpfen, die Aufschluss auf den Erstellungszeitpunkt und das genutzte Modell geben.

S3 erhält Datenverwaltung für Web-Apps

Darüber hinaus stehen ab sofort die S3 Storage Browser für alle Kunden zur Verfügung. Die quelloffene Frontend-Komponente lässt sich in eine Web-Anwendung integrieren und an dessen Bedienoberfläche anpassen. Dort bildet sie eine Schnittstelle zur Datenverwaltung durch ausgewählte Endnutzer, zum Beispiel Mitarbeiter oder Kunden. So können diese innerhalb der Anwendung im Rahmen ihrer Rechte auf Dateien in S3 zugreifen, diese durchsuchen, kopieren und herunterladen. Zum Einsatz kommen kann der Storage Browser in Web-Anwendungen, die in React oder einem darauf aufsetzenden Framework entwickelt wurden. Außerdem müssen AWS Amplify und dessen UI-React-Pakete installiert sein.

Bei Anfragen zum Upload von Objekten setzt Amazon bei S3 auf neue Maßnahmen, welche die Datenintegrität schützen sollen. Die Programmierwerkzeuge von AWS errechnen nun automatisch während der Datenübertragung CRC-basierte Prüfziffern für Uploads. Erst nach Kontrolle der Prüfziffern akzeptiert und speichert S3 die Objekte. Damit soll die Integrität der Daten bei der Übertragung sichergestellt sein. Bei mehrteiligen Uploads gibt es jetzt eine Prüfziffer für das gesamte Objekt. Neben dem bisher genutzten MD5-Verfahren bietet Amazon künftig zur Errechnung der Prüfziffern auch die Algorithmen CRC64NVME, CRC32, CRC32C, SHA-1 und SHA-256 an.

Der Storage Browser für S3 ist bereits in allen Regionen verfügbar, die Prüfsummenberechnung bei der Datenübertragung soll in den kommenden Wochen überall verteilt werden. Auf die neuen Daten-Buckets und die Vorschau von S3 Metadata müssen Kunden deutscher Server noch warten, da die Funktionen bislang nur in den USA bereitstehen. Weitere Informationen zu den Neuerungen der Daten-Buckets, des Storage Browsers, dem Einsatz der Prüfsummen und der Metadata-Preview finden sich in den Ankündigungen von AWS.

(sfe)