NPU für den Raspberry Pi 5: Edge-KI-Beschleuniger leistet bis zu 40 Tops
Raspberry Pi Plc. bringt das PCI-Express-Modul AI HAT+ 2 für den Raspi 5. Es kombiniert den KI-Chip Hailo-10H mit 8 GByte LPDDR4X-RAM, etwa zur Objekterkennung.
Raspberry Pi AI HAT+2 mit Hailo-10H auf einem Raspberry Pi 5
(Bild: Raspberry Pi)
Der Raspberry Pi 5 hat einen proprietären PCI-Express-Anschluss, um Erweiterungen anzuschließen. Daran dockt auch der KI-Beschleuniger Raspberry Pi AI HAT+ 2 an. Er ist mit dem KI-Koprozessor Hailo-10H bestückt, der wiederum 8 Gigabyte LPDDR4X-RAM anbindet.
Der Listenpreis des AI HAT+ 2 beträgt wegen der hohen RAM-Preise zunächst 130 US-Dollar. Erfahrungsgemäß dürfte der Preis in Deutschland über 140 Euro liegen.
Videos by heise
Vorgänger AI HAT+
Im Juni 2024 hatte Raspberry Pi Plc. den Vorgänger AI HAT+ vorgestellt, den es in zwei Versionen gibt: Entweder mit Hailo-8 und 26 Billionen Operationen pro Sekunde (Tops) oder mit Hailo-8L und 13 Tops.
Der Hailo-10H auf dem AI HAT+ 2 verarbeitet Int8-Datenwerte mit 20 Tops, kann aber auch mit Int4 umgehen und schafft dann 40 Tops. Zum Vergleich: Eine Neural Processing Unit (NPU) mit 40 Int8-Tops fordert Microsoft für Prozessoren für Windows-11-Notebooks, die das Logo „Copilot+“ tragen dürfen. Die NPU im Apple M4 liefert 38 Int8-Tops.
Ein Blog-Beitrag auf raspberrypi.com nennt Anwendungsbeispiele für den AI HAT+ 2, auch in Videos.
Laut Hailo beträgt die Leistungsaufnahme sowohl bei Hailo-8 als auch Hailo-10H jeweils 2,5 Watt. Beim Hailo-10H kommt aber noch das separate RAM dazu. Raspberry Pi Plc. rät dazu, auf ausreichende Kühlung zu achten.
Modell-Zoo
(Bild: Raspberry Pi/Hailo)
Laut Raspberry Pi soll ein Raspi 5 mit AI HAT+ 2 bestimmte KI-Sprachmodelle (LLMs) lokal ausführen können. Eher dürfte das System aber für typische Edge-AI-Anwendungen zum Einsatz kommen, etwa die Auswertung von Videobildern.
Die Treiber für die AI HAT+ sind in Raspberry Pi OS integriert. Auch eine per MIPI CSI angeschlossene Kamera von Raspberry Pi lässt sich einbinden.
Außerdem stehen Beispiele von KI-Modellen für die Hailo-Chips zum Ausprobieren bereit sowie als Vorlage für eigene Entwicklungen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externer Preisvergleich (heise Preisvergleich) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (heise Preisvergleich) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
(ciw)
