Machine Learning: PyTorch 1.8.1 hat neuen Profiler im Gepäck

Facebook führt mit der Veröffentlichung von Version 1.8.1 des Machine-Learning-Frameworks PyTorch ein neuen Open-Source-Tool zum Profiling ein. Der PyTorch Profiler soll Entwicklerinnen und Entwickler unterstützen, eine effiziente Performance-Analyse und Fehlerbeheben für größere Deep-Learning-Modelle vorzunehmen. PyTorch bringt native Unterstützung für die Profiler-API.

PyTorch Profiler bringt Übersicht in großen Datensätzen

Das Werkzeug ist im Rahmen einer Zusammenarbeit zwischen Microsoft und Facebook entstanden und bietet Entwicklern die Möglichkeit, bei großen Deep-Learning-Modellen die Übersicht und alle notwendigen Informationen zu erhalten. Gerade bei größeren Datensätzen kann das schnell zur Herausforderung werden. Der torch.profiler sammelt sowohl GPU-Hardware- als auch PyTorch-bezogene Informationen, korreliert sie, führt eine automatische Erkennung von Engpässen im Modell durch und generiert Empfehlungen, wie diese Engpässe behoben werden können.

Bisher fehlte es offenbar an einem geeigneten Werkzeug, das alle notwendigen Informationen in einer Übersicht zusammenführt. Die Standard-Performance-Debugging-Tools liefern zwar Informationen auf GPU-Hardware-Ebene, bilden PyTorch-bezogene Informationen über Operatoren jedoch nicht ab. Daher waren Nutzer darauf angewiesen, die fehlenden Daten über das Kombinieren mehrerer Tools zu erhalten – oder manuell korrelierende Informationen hinzuzufügen, um die Daten sinnvoll nutzen zu können.

Der Autograd Profiler (torch.autograd.profiler), der Informationen über PyTorch-Operationen erfassen kann, war eine Option, lieferte allerdings keine detaillierten Informationen auf GPU-Hardware-Ebene und bot keine Unterstützung für die Visualisierung. Anders ist das nun mit dem PyTorch Profiler, der die gesammelten Informationen in einem TensorBoard darstellt. Nähere Informationen finden sich im Ankündigungsbeitrag auf dem PyTorch-Blog.

(mdo)