AWS macht S3 zum Dateisystem

Inhaltsverzeichnis

Amazon Web Services (AWS) hat mit „S3 Files“ eine neue Funktion vorgestellt, die den Object-Storage-Dienst S3 erstmals direkt als Dateisystem nutzbar macht. Nutzer können S3-Buckets auf EC2-Instanzen, in Containern unter ECS und EKS sowie in Lambda-Funktionen mounten und über gewöhnliche Dateioperationen darauf zugreifen. AWS will damit die bislang strikte Trennung zwischen Object Storage und Dateisystem aufweichen.

Amazon S3 speichert seit zwanzig Jahren Daten als Objekte in sogenannten Buckets. Anders als in klassischen Dateisystemen lassen sich einzelne Objekte nicht direkt bearbeiten – bei jeder Änderung muss das gesamte Objekt ersetzt werden. Das skaliert gut und ist günstig, schließt aber Anwendungen aus, die auf POSIX-kompatible Dateisysteme angewiesen sind.

S3-Buckets als Dateisystem mounten

S3 Files bildet S3-Objekte nun als Dateien und Verzeichnisse ab und unterstützt NFS-Operationen ab Version 4.1 – also Erstellen, Lesen, Aktualisieren und Löschen. Anwendungen greifen über Standard-Dateizugriffe auf die Daten zu, statt die S3-eigene API zu verwenden. Änderungen im Dateisystem synchronisiert der Dienst automatisch zurück in den S3-Bucket; Änderungen am Bucket erscheinen meist innerhalb weniger Sekunden, manchmal aber erst nach einer Minute im Dateisystem.

Mehrere Compute-Ressourcen können gleichzeitig auf dasselbe Dateisystem zugreifen, ohne die Daten zu duplizieren. Das eignet sich für Szenarien wie ML-Trainings oder agentische KI-Systeme, bei denen mehrere Instanzen gleichzeitig auf gemeinsame Daten zugreifen.

Performance: Schneller Cache und direkter S3-Zugriff

Für die Performance kombiniert S3 Files einen schnellen Speicher-Layer mit direktem S3-Zugriff. Häufig genutzte Daten hält der Dienst im schnellen Speicher vor und liefert sie laut AWS mit Latenzen um eine Millisekunde aus. Große Dateien mit sequenziellen Lesezugriffen streamt der Dienst direkt aus S3, um den Durchsatz zu maximieren. Hinzu kommen Prefetching und Byte-Range-Reads, die nur die tatsächlich benötigten Daten übertragen. Nutzer können steuern, ob der schnelle Speicher vollständige Dateien oder nur deren Metadaten vorhält.

Die Konsistenz folgt dem NFS-üblichen Close-to-Open-Modell: Änderungen werden nach dem Schließen einer Datei für andere Clients sichtbar. So eignet sich das Modell insbesondere für kollaborative Workloads.

Sicherheit, Einsatzgebiete und Preise

Technisch baut S3 Files auf Amazon EFS auf. Zugriffsrechte lassen sich sowohl über IAM-Richtlinien als auch über POSIX-Dateirechte mit UID und GID regeln. Die Übertragung erfolgt per TLS 1.3, die Speicherung serverseitig verschlüsselt – wahlweise mit S3-eigenen oder kundenverwalteten KMS-Schlüsseln.

Als typische Einsatzgebiete nennt AWS ML-Pipelines, datenintensive Analysen und KI-Agenten, die auf dateibasierte Werkzeuge und Skripte zurückgreifen. Aber auch alle Anwendungen, die auf klassische Dateisysteme ausgelegt sind, können so auf S3-Daten zugreifen.

S3 Files steht ab sofort in allen kommerziellen AWS-Regionen bereit. AWS berechnet unter anderem den genutzten Speicher im Dateisystem-Layer, Schreib- und kleine Leseoperationen sowie S3-Requests für die Synchronisation zwischen Dateisystem und Bucket. Weitere Informationen finden sich im Blogbeitrag von Amazon.

(fo)