NPU für den Raspberry Pi 5: Edge-KI-Beschleuniger leistet bis zu 40 Tops

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

Don’t show this again.

Der Raspberry Pi 5 hat einen proprietären PCI-Express-Anschluss, um Erweiterungen anzuschließen. Daran dockt auch der KI-Beschleuniger Raspberry Pi AI HAT+ 2 an. Er ist mit dem KI-Koprozessor Hailo-10H bestückt, der wiederum 8 Gigabyte LPDDR4X-RAM anbindet.

Der Listenpreis des AI HAT+ 2 beträgt wegen der hohen RAM-Preise zunächst 130 US-Dollar. Erfahrungsgemäß dürfte der Preis in Deutschland über 140 Euro liegen.

Vorgänger AI HAT+

Im Juni 2024 hatte Raspberry Pi Plc. den Vorgänger AI HAT+ vorgestellt, den es in zwei Versionen gibt: Entweder mit Hailo-8 und 26 Billionen Operationen pro Sekunde (Tops) oder mit Hailo-8L und 13 Tops.

Der Hailo-10H auf dem AI HAT+ 2 verarbeitet Int8-Datenwerte mit 20 Tops, kann aber auch mit Int4 umgehen und schafft dann 40 Tops. Zum Vergleich: Eine Neural Processing Unit (NPU) mit 40 Int8-Tops fordert Microsoft für Prozessoren für Windows-11-Notebooks, die das Logo „Copilot+“ tragen dürfen. Die NPU im Apple M4 liefert 38 Int8-Tops.

Laut Hailo beträgt die Leistungsaufnahme sowohl bei Hailo-8 als auch Hailo-10H jeweils 2,5 Watt. Beim Hailo-10H kommt aber noch das separate RAM dazu. Raspberry Pi Plc. rät dazu, auf ausreichende Kühlung zu achten.

Modell-Zoo

Laut Raspberry Pi soll ein Raspi 5 mit AI HAT+ 2 bestimmte KI-Sprachmodelle (LLMs) lokal ausführen können. Eher dürfte das System aber für typische Edge-AI-Anwendungen zum Einsatz kommen, etwa die Auswertung von Videobildern.

Die Treiber für die AI HAT+ sind in Raspberry Pi OS integriert. Auch eine per MIPI CSI angeschlossene Kamera von Raspberry Pi lässt sich einbinden.

Außerdem stehen Beispiele von KI-Modellen für die Hailo-Chips zum Ausprobieren bereit sowie als Vorlage für eigene Entwicklungen.

(ciw)