Verteiltes Dateisystem Quobyte erhält TensorFlow Plug-in
Um Machine-Learning-Anwendungen direkten Zugriff auf gespeicherte Daten zu verschaffen, bietet das Quobyte Data Center File System eine TensorFlow-Erweiterung.
- Matthias Parbel
Der Anbieter des Quobyte Data Center File System hat die Verfügbarkeit eines TensorFlow Plug-ins für sein verteiltes Dateisystem bekanntgegeben. Die Erweiterung für das Machine-Learning-Framework soll dazu beitragen, das Training von ML-Modellen mit umfassenden Datensätzen in verteilten Umgebungen vom Rechenzentrum bis in die Cloud zu beschleunigen und besser zu skalieren.
(Bild: Quobyte)
Das Plug-in verschafft den mit TensorFlow entwickelten ML-Applikationen direkten Zugriff auf das Quobyte-Dateisystem. Dadurch lässt sich in vielen Fällen der Kernel des Betriebssystems umgehen, sodass die Kontextwechsel im Kernelmodus deutlich reduziert werden und die CPU-Auslastung sinkt. Darüber hinaus können vorhandene GPU-Ressourcen besser ausgelastet werden, was insgesamt zu einer erhöhten Verarbeitungsgeschwindigkeit der ML-Anwendungen führt. Quobyte verspricht einen um bis zu 30 Prozent höheren Durchsatz beim Modelltraining.
Für den Einsatz des TensorFlow-Plug-ins sind keine Anpassungen an den ML-Applikationen erforderlich. Das Quobyte Data Center File System stellt alle erforderlichen Funktionen plattformübergreifend zur Verfügung. Während das Dateisystem und das Plug-in grundsätzlich mit allen Linux-Versionen arbeitet, stellt Quobyte außerdem Unterstützung für eine breite Palette von Zugriffsprotokollen und Clients bereit – darunter auch S3, Hadoop, Windows und NFS. Weitere Details zu dem neuen TensorFlow-Plug-in finden sich in der Ankündigung von Quobyte sowie auf der Website des Unternehmens mit deutschen Wurzeln. (map)
