Machine Learning: Nvidia gibt TensorRT 2 frei
Die Inferenz-Bibliothek bringt einige Performanceoptimierungen und führt eine Custom Layer API ein, mit der Entwickler ihre eigenen Plug-ins einbinden können.
- Rainald Menge-Sonnentag
Mit TensorRT bietet Nvidia eine Kombination aus Optimierungswerkzeug und Laufzeitumgebung für künstliche neuronaler Netze an. Nun haben die Macher Version 2 der Bibliothek veröffentlicht und gleichzeitig TensorRT 3 angekündigt. Für Entwickler dürfte der interessanteste Aspekt von TensorRT 2 die Custom Layer API sein, über die sie eigene Plug-ins verwenden können, die IPlugin-konform sein müssen.
Die Bibliothek arbeitet ausschließlich mit Nvidias GPUs zusammen und ist sowohl auf Performance als auch Energiebedarf optimiert. Sie ist als Inferenz-Modul ausgelegt, verwendet also bereits trainierte neuronale Netze, um neue Inhalte zu analysieren und so beispielsweise Bildinhalte zu analysieren.
(Bild: Nvidia)
GPU im Vorteil bei Machine Learning
Diese Inferenzen oder Rückschlüsse lassen sich sowohl mit CPUs als auch mit GPUs erstellen, wobei Letztere wie in vielen Bereichen des maschinellen Lernens im Vorteil sind, da die Prozesse vom parallelen Ablauf mehr profitieren als von der Leistung einzelner Prozessorkerne. TensorRT kann Inferenzen sowohl mit 8-bit Integerwerten (Int8) als auch 16-bit Fließkommazahlen (FP16) erstellen.
TensorRT 2 bietet laut Nvidias Messungen eine bis zu 45-fach schnellere Inferenzberechnung mit Int8-Präzision im Vergleich zu CPU-Systemen mit 32-bit-Fließkommazahlen (FP32) bei einer Latenz unter 7 Millisekunden im Zusammenspiel mit ResNet 50. Dabei handelt es sich jedoch um einen Spitzenwert, den beispielsweise die Messung mit GoogLeNet nicht erzielt.
Nvidia hat zudem auf der Entwickler-Site angekündigt, dass die kommende TensorRT-Version 3 mit Volta GPUs zusammenarbeiten wird und damit die Inferenz-Berechnungen um den Faktor 3,5 im Vergleich zur Tesla P100 verbessern soll. TensorRT steht Entwicklern, die am Nvidia Developer Programm teilnehmen, kostenlos zur Verfügung.
AMD versucht mit ROCm eine offene Alternative und einen Gegenpol zu Nvidias Übermacht im Machine-Learning-Umfeld zu schaffen. heise Developer wird in Kürze einen Fachartikel dazu veröffentlichen. (rme)
