Machine Learning: TorchServe dient PyTorch 1.5 als neuer Open-Source-Server

Der Cloudanbieter Amazon Web Services (AWS) und Facebook haben gemeinsam mit TorchServe eine Bibliothek zum Bereitstellen von mit PyTorch erstellten Machine-Learning-Modellen (ML). Zusätzlich erweitern sie TorchElastic um eine Integration mit Kubernetes. Beide Neuerungen sind derzeit noch als experimentell gekennzeichnet.

Bislang hatten Entwickler für PyTorch eigene Modellserver-Anwendungen bauen müssen, mit eigens angelegten Docker-Containern, Netzwerkzugang und Orchestrierung – viel Handarbeit. Das neu geöffnete Framework und die dazu passende Library sollen Entwicklern nun den Übergang von Modellen in die Produktionsphase erleichtern.

Über Facebook und AWS zur Open Source mit PyTorch

PyTorch ist ein Open-Source-ML-Framework, das ursprünglich Facebook 2016 ins Leben gerufen hat. Es basiert auf der Torch-Library, die bereits seit 2002 existiert, aber seit 2017 nicht mehr gepflegt wird. Soeben ist PyTorch 1.5 erschienen, das gegenüber PyTorch 1.4 mit der im Januar neu eingeführten Java-Anbindung wenig Neuerungen bringt. Erwähnenswert bei Version 1.5 ist, dass die C++-Frontend-API jetzt für Python fest verwendbar ist. Auch die verteilten RPC-Framework-APIs gelten mit dem neuen PyTorch-Release nun als stabil.

AWS betreibt intern nach eigener Auskunft mehrere Modellserver. Der neue Server, der jetzt der Allgemeinheit als Open Source zur Verfügung gestellt wird, sei den intern verwendeten strukturell nahekommt. Ähnliches gilt für die Library TorchElastic, die nun dynamische Traningssysteme auf verteilten Kubernetes-Clustern ermöglichen soll: Auch sie war zunächst eine interne Entwicklung, die nun geöffnet wird.

Die Beziehung zwischen AWS und Open-Source-Community ist nicht ungetrübt. Allerdings dürften Entwickler im Umfeld von Machine Learning es begrüßen, dass ein interner Modellserver jetzt zur Open Source wird. Als Geldgeber spielte AWS schon länger eine Rolle für quelloffene Projekte, unter anderem durch Beiträge zu Projekten wie TensorFlow und Jupyter Notebooks.

Weitere Details zu PyTorch 1.5 stehen in den Release Notes. Mehr Informationen zum neuen Open-Source-Server TorchServe lassen sich der Ankündigung im AWS-Blog entnehmen. TorchServe steht auf GitHub bereit, dort finden sich auch Anwendungsbeispiele. Ein konkretes Beispiel zum Erstellen eines Modells können Interessierte in einem öffentlichen Jupyter Notebook nachschlagen. Über OpenAI und seine Verwendung von PyTorch hat heise Developer berichtet. (sih)