Deep Learning: Videoanalyse mit dem DeepStream SDK 3.0

Mit Nvidias Software Development Kit DeepStream sollen Entwickler skalierbare KI-Applikationen zur Videoanalyse erstellen können. Auf Basis des GStreamer-Frameworks lassen sich die Anwendungen als Pipelines Hardware-beschleunigter Plug-ins aufbauen. Das neueste Release DeepStream SDK 3.0 unterstützt dafür TensorRT 5, CUDA 10 und Turing GPUs. Auch die Flexibilität des SDKs haben die Macher von Nvidia weiter verbessert, sodass sich DeepStream-Applikationen künftig sowohl als Microservices in Containern oder auch als Bestandteil eines größeren Multi-GPU-Clusters deployen lassen.

Neu in Version 3.0 ist die Möglichkeit, mit dem nvstreammux-Plug-in Eingabequellen im laufenden Betrieb hinzuzufügen oder zu entfernen. Dadurch lassen sich Streams auch bei gleichzeitiger Änderung der Auflösung und der Framerate von der Analyse ausschließen oder neu einbinden. Die bei der Analyse der Videoframes von den Plug-ins gewonnenen Metadaten lassen sich direkt in DeepStream-Anwendungen weiterverarbeiten oder auch als Teil einer Message zur externen Untersuchung weiterreichen. Dafür bietet das SDK nun auch die Anbindung an den Message Broker Apache Kafka.

Das Update auf TensorRT 5.0 soll die Inferenzflexibilität des SDKs erhöhen, indem sich benutzerdefinierte Ebenen (Layer) einfügen lassen. Das Inferenz-Plug-in versteht sich darüber hinaus auf neue Modellformate wie ONNX oder auch die vom Transfer Learning Toolkit erzeugten. Einen Leistungsschub verspricht der Einsatz der neuen Turing-GPU-Generation. Gegenüber der Tesla-P4-Plattform sollen DeepStream-Anwendungen auf Tesla T4 bei gleichbleibender Leistungsaufnahme bis zur doppelten Anzahl Streams verarbeiten.

Ein vollständiger Überblick aller Neuerungen im DeepStream SDK 3.0 findet sich in Nvidias Developer-Blog. Das neue Release des Software Development Kit steht ab sofort zum Download bereit. (map)