High Performance Computing: File-System Lustre 2.13.0 mit neuen Funktionen freigegeben
Persistent Client Cache und Overstriping sind zwei der wichtigen Neuerungen im Major Release des Open-Source-Dateisystems.
- Matthias Parbel
Lustre 2.13.0 ist nun generell verfügbar. Das vor allem für High Performance Computing (HPC) aber auch Big-Data- und Machine-Learning-Anwendungen ausgelegte parallele Open-Source-Dateisystem bietet in der vorgelegten Version eine Reihe neuer Funktionen – darunter Persistent Client Cache und Overstriping.
Die neue Version wurde Anfang Dezember im Rahmen der Super Computing 2019 von der Non-Profit-OpenSFS (Organisation Open Scalable File Systems, Inc.) angekündigt.
Verbessertes Caching
Der Persistent Client Cache (LU-10092) versetzt Lustre in die Lage, lokalen Speicher auf dem Client – beispielsweise NVMe oder NVRAM – in den Namespace des Dateisystems zu integrieren und direkt zu nutzen. Dadurch können Clients neu erstellte oder bereits vorhandene Dateien in einem lokal gemounteten Cache-Dateisystem wie ext4 zwischenspeichern. Beim Zugriff profitieren die Clients von der höheren Geschwindigkeit des lokalen Speichers. Darüber hinaus werden die Daten transparent in ein globales Filesystem migriert, sobald andere Clients darauf zugreifen.
Zu einer insgesamt besseren Ausschöpfung der Storage Performance durch optimiertes Auslasten der OST (Offline Storage Table) soll das Overstriping (LU-9846) beitragen. In Konfigurationen mit vergleichsweise wenigen Clients beziehungsweise Threads oder aber besonders großen OST ermöglicht Overstriping es, dass Dateien mehrere Stripes einer einzelnen Datei auf jedem OST haben.
Optimierte Storage-Auslastung
In Fällen mit unausgewogener OST-Kapazität – beispielsweise bei Kombinationen kleiner Pools aus Flash-OSTs mit größeren OSTs auf Festplatten – sollen die neuen Self-Extending Layouts (LU-10070) die Flexibilität von Progressive File Layouts (PFL) verbessern. Dateien, die die neuen Layouts verwenden, können in den Flash-Speicher schreiben, bis dieser voll ist, anschließend fließen weitere Daten automatisch in des Festplattenspeicher.
Zu verbesserter Netzwerk-Performance von Lustre soll zudem die neue Option des Multi-Rail Routing (LU-11297) beitragen. LNet-Router gewinnen dadurch eine höhere Belastbarkeit in Konfigurationen mit mehreren Interfaces pro Node und sind darüber hinaus in der Lage, neue Routen automatisch zu erkennen und zu nutzen. Weitere Informationen zu den Neuerungen in Lustre 2.13.0 bieten die Release Notes sowie die Wiki-Site zur neuen Version. Das Dateisystem steht ab sofort zum Download parat. (map)
