Deep Learning: MXNet in Version 1.0.0 mit experimentellen Features
Das Deep-Learning-Framework MXNet bietet in Version 1.0.0 unter anderem Gradientenkompression sowie erweitertes Indexing und lässt sich (experimentell) auf dem Raspberry Pi und NVIDIA Jetson-Boards verwenden.
- Björn Bohn
MXNet, ein quelloffenes Framework für Deep Learning, vollzieht den Sprung auf Version 1.0.0 und bringt neben verbesserter Performance auch eine Reihe an experimentellen Neuerungen mit. MXNet wurde zu Beginn des Jahres in den Apache Incubator miteinbezogen und erhält auch Unterstützung von Amazon, die bei der Entwicklung von Version 1.0.0 beteiligt waren.
MXNet entstand ursprünglich aus der Zusammenarbeit mehrerer Universitäten und ist auf mehrere GPUs und Maschinen skalierbar. Es lässt sich für Deep-Learning-Szenarien sowohl in Cloud-Infrastrukturen als auch im mobilen Bereich verwenden und ist auch in der Wahl der Programmiersprache äußerst flexibel: Schnittstellen und Pakete existieren unter anderem für C++, Python, JavaScript, Scala, Perl und Julia.
Bessere Performance
Version 1.0.0 des Frameworks soll vor allem schneller geworden sein. Das Framework beherrscht jetzt erweitertes Indexing auf Grundlage des Numpy-Standards. Außerdem kann es die Nutzung der Netzwerkbandbreite, die bei der Kommunikation zwischen verschiedenen Knoten im Netzwerk benötigt wird, mit einer Gradientenkompression deutlich reduzieren, ohne die Konversionsrate zu verringern. Dadurch sollen Entwickler ein Netzwerk ungefähr fünfmal schneller trainieren können als bisher.
Wenig überraschend sind einige Verbesserungen von Gluon, einem Interface, welches das Erstellen von Modellen für künstliche neuronale Netze standardisieren soll. Gluon war bereits seit seiner Entstehung ein Teil von MXNet und erhält ebenfalls Änderungen, die die Performance weiter verbessern sollen.
Unterstützungen für neue Umgebungen
MXNet bringt außerdem zahlreiche experimentelle Neuerungen mit, allen voran eine Anbindung an die NVIDIA Collective Communication Library (NCCL). Dabei handelt es sich um eine Bibliothek von Standardkommunikationsroutinen, die für die Verwendung mit NVIDIA GPUs optimiert sind.
Zusätzlich läuft MXNet jetzt auch noch auf einer Reihe anderer Geräte, zumindest auf einer zu testenden Basis. Dazu zählen eine Reihe von ARM-Prozessoren, Raspberry Pi und NVIDIA Jetson TX2 Boards. Eine vollständige Liste der Neuerungen findet sich in den offiziellen Release Notes. (bbo)
