Machine Learning: Facebook gibt Windows-Entwicklung von PyTorch an Microsoft ab

Facebook hat Version 1.6 von PyTorch veröffentlicht. Das aktuelle Release des Machine-Learning-Frameworks erscheint mit aktualisierten Domain-Bibliotheken, und ein Team von Microsoft übernimmt die Maintenance der Windows-Builds und -Binaries von PyTorch.

Außerdem hat Microsoft angekündigt, der PyTorch-Community künftig auch Support zu den Windows-Builds des Frameworks bereitstellen zu wollen – in den PyTorch-Foren und auf GitHub. Das Unternehmen bekennt sich damit offiziell zur Ownership der Entwicklung und Instandhaltung der PyTorch-Builds für Windows.

Microsoft bietet nativen Windows-Support für PyTorch-Entwickler

Bislang hinkte der Windows-Support für PyTorch stets etwas hinter dem anderer Plattformen wie Linux her, obwohl Windows weiterhin auch in Entwicklerkreisen weit verbreitet ist. Auf Hürden stießen Entwickler, die PyTorch unter Windows nutzen, hauptsächlich durch mangelnde Testabdeckung und dadurch unerwartete Bugs sowie den bislang fehlenden offiziellen Support seitens Microsoft. So beklagten wohl zahlreiche PyTorch-Nutzer in den Foren Probleme beim Installationsprozess des Frameworks unter Windows.

Microsoft reagiert nun darauf und kündigt an, eine breitere Testabdeckung für alle drei Domain-Libraries zu ergänzen. Für TorchVision, TorchText und TorchAudio soll es automatisierte Testing-Möglichkeiten geben, und auch der Installationsvorgang mit pip werde vom Microsoft-Team überarbeitet, heißt es in der Blogmitteilung. Die PyTorch-Community war in Sachen Support bereits in Vorleistung gegangen, ihr Feedback soll seitens Facebook und Microsoft berücksichtigt werden.

Gemeinsam mit dem nativen Support für die Windows-Builds hat Microsoft eine Preview veröffentlicht, die GPU-Unterstützung für Windows Subsystem for Linux (WSL) 2 bereitstellt. Mit WSL sollen Entwickler auf Linux basierende PyTorch-Anwendungen unter Windows verwenden können, ohne Bedarf an Virtuellen Maschinen oder sonstiger Modifizierung. Unter Windows lässt sich PyTorch über das Terminal mit folgendem Befehl installieren: conda install pytorch torchvision cudatoolkit=10.2 -c pytorch. Nutzer, die lieber pip einsetzen, können alternativ auch den Befehl pip install torch torchvision verwenden.

Automatic Mixed Precision für geringere Speicherauslastung

PyTorch 1.6 enthält Automatic Mixed Precision (AMP)-Training als stabiles Feature, die Entwicklung daran hatte maßgeblich NVIDIA vorangetrieben. AMP soll es Nutzern ermöglichen, durch automatisches Mixed-Precision-Training höhere Leistung bei geringerer Speicherauslastung der Tensor-Core-GPUs zu erreichen. Bereits 2018 hatte Nvidia mit Apex ein separates Tool für PyTorch veröffentlicht, das FP32- mit FP16-Arithemtik verbindet und eine AMP-Bibliothek einbindet.

Das PyTorch-Team hat native TensorPipe-Unterstützung ergänzt für Point-to-Point-Kommunikation im Machine Learning, und die Frontend-APIs unterstützen nun komplexe Tensoren. Eine Reihe neuer Features ergänzen das Distributed Data Parallel Training (DDP) und den Remote Procedure Call (RPC). Noch im Beta-Stadium befindet sich ein neues Feature zur Fork/Join-Parallelität im TorchScript-Code: Wenn Nutzer beispielsweise Modelle in einem Ensemble parallel ausführen, dann ermöglicht diese neue Funktionalität es, die Rechenleistung paralleler Architekturen für die Aufgabenebene freizugeben.

Mehr Informationen zu den Features des Release finden sich in der Blog-Ankündigung des PyTorch-Teams. Dass Microsoft die Maintenance der PyTorch-on-Windows-Version übernimmt, lässt sich einem separaten Bogbeitrag entnehmen. Zum Einstieg in Deep Learning mit PyTorch in verschiedenen Entwicklungsumgebungen stellt die Community Tutorials bereit.

(sih)