Sony bringt weltweit erste Bildsensoren mit KI-Verarbeitungsfunktion

Die neuen Sensoren ermöglichen Edge-AI-Verarbeitung in Hochgeschwindigkeit und erleichtern den Aufbau cloudvernetzter Systeme.

In Pocket speichern vorlesen Druckansicht 22 Kommentare lesen
Sony bringt weltweit erste Bildsensoren mit KI-Verarbeitungsfunktion
Lesezeit: 4 Min.
Von
  • Nico Jurran
Inhaltsverzeichnis

Im Bereich Bildsensoren ist Sony bereits gut aufgestellt (aufgrund der starker Nachfrage hob das Unternehmen jüngst seine Prognose für das laufende Geschäftsjahr an), beim Thema "Künstliche Intelligenz" gibt es jedoch noch Nachholbedarf. Das hat Sony selbst erkannt und versucht künftig, beide Bereiche zu kombinieren. Passend dazu stellte das Unternehmen jetzt die nach eigenen Angaben weltweit ersten Bildsensoren mit integrierter KI-Verarbeitungsfunktion vor.

Die neuen Sensoren ermöglichen Edge-AI-Verarbeitung in Hochgeschwindigkeit und erleichtern den Aufbau cloudvernetzter Systeme.

(Bild: Sony)

Der Pixelchip verfügt über rund 12,3 effektive Megapixel zur Erfassung von Informationen über einen weiten Betrachtungswinkel. Neben der herkömmlichen Bildsensor-Betriebsschaltung ist der Logikchip mit dem DSP (Digitaler Signalprozessor) von Sony ausgestattet, der die KI-Signale verarbeitet, sowie einem Speicher für das KI-Modell. Diese Bauweise macht laut Sony den Einsatz von Hochleistungsprozessoren oder externen Speichern überflüssig und eignet sich daher ideal für Edge-AI-Systeme.

Der große Vorteil dieser Lösung besteht zum einen in der Geschwindigkeit: Die neuen Sensoren namens IMX500 und IMX501 führen die ISP-Verarbeitung und die Highspeed-KI-Verarbeitung (3,1 Millisekunden Verarbeitungszeit für MobileNet V12) auf dem Logikchip aus und schließen den gesamten Prozess in einem einzigen Videobild (bei 30 Bildern pro Sekunde) ab. Dieses Design ermöglicht beispielsweise eine hochpräzise Echtzeitverfolgung von Objekten bei Videoaufnahmen.

Wird ein Video indes mit einem herkömmlichen Bildsensor aufgezeichnet, müssen die Daten für jedes einzelne Ausgabebild hingegen an die KI-Verarbeitung gesendet werden. Durch die dabei zu transferierenden Datenmengen wird es schwer, Echtzeitleistung zu erreichen.

Die Chips geben die extrahierten Informationen zudem als Metadaten aus, was zum einen das Datenvolumen reduziert, zum anderem aber auch dem Datenschutz dient. Ein Beispiel: In einer Überwachungskamera könnte der Bildsensor dank KI erkennen, ob sich eine Person im überwachten Raum befindet. Ist dies der Fall, meldet er dies per Metadaten an das Sicherheitssystem. Eine Übertragung des eigentlichen Videobildes kann dabei entfallen.

Die neuen Sensoren sind gestapelt („stacked“) aufgebaut und bestehen aus einem Pixelchip und einem Logikchip.

(Bild: Sony)

Findet die Auswertung hingegen in der Cloud statt, muss das Bild der Überwachungskamera erst einmal zum Server transferiert werden – und lässt sich auf dem Weg dorthin eventuell abgreifen. Auf Nachfrage stellte Sony klar, dass es in diesem Beispielszenario darum ginge, eine Person als solche zu erkennen, nicht jedoch darum, diese zu identifizieren.

Sonys Lösung unterstützt verschiedene KI-Modelle, die sich auch individuell an die Anforderungen und Bedingungen am Einsatzort des Systems anpassen lassen. Sind beispielsweise mehrere Kameras mit dem Sensor in einem Ladengeschäft installiert, lassen sich laut Entwickler so mit einem einzigen Kameratyp verschiedene Standorte, Bedingungen, Zeiten oder Zwecke abdecken.

Beispiele für den Einsatz von Kameras in einer Ladenumgebung. Alle nutzen den gleichen Sensor, allerdings mit unterschiedlichen KI-Modellen.

(Bild: Sony)

Eine im Eingangsbereich installierte Kamera könnte etwa die Kunden zählen, die das Geschäft betreten. Eine weitere Kamera an einem Regal würde erkennen, wo Waren fehlen. An der Decke installiert, könnte eine dritte Kamera wiederum Wärmebilder erstellen, um Bereiche zu erkennen, in denen viele Ladenbesucher zusammentreffen. Darüber hinaus könnte das KI-Modell in einer Kamera laut Sony neu geschrieben werden, sodass beispielsweise aus einem Modell zur Erkennung von Heatmaps ein Modell zur Ermittlung des Kundenverhaltens wird.

Die Frage, ob sich der Chip auch nutzen ließe, um das Videobild in Echtzeit zu verändern, verneinte Sony. Dies sei aktuell noch Science Fiction.

Sony will die KI-Technik nach eigenen Angaben in weitere Bildsensoren implementieren. Nach Vorstellung des Unternehmens soll der Anteil der Verkäufe in diesem Bereich von aktuell rund 4 Prozent bis zum Jahre 2025 auf satte 30 Prozent gesteigert werden. Die Frage, ob Sonys Roboterhund Aibo in einer kommenden Auflage mit einem solchen Prozessor ausgestattet werden wird, wollte das Unternehmen nicht beantworten.

Typbezeichnung
IMX500 (Nur Chip)
IMX501 (Paket)
Musterauslieferung April 2020 geplant Juni 2020
Musterpreis (ohne Steuer) 10.000 Yen (ca. 85 Euro)
20.000 Yen (ca. 170 Euro)
Technische Daten
Anzahl Pixel (effektiv) 4056 (H) × 3040 (V), ca. 12,3 Megapixel
Bildgröße 7,857 mm (Typ 1/2.3) Diagonale
Elementarzellengröße 1,55 μm (H) × 1,55 μm (V)
Empfindlichkeit (Standardwert F5.6) ca. 250 LSB
Sättigungssignal (Mindestwert) ca. 9610e-
Hauptfunktionen KI-Verarbeitung, ISP, HDR-Aufzeichnung
Ausgabe MIPI D-PHY 1.2 (4 Lane) / SPI
Farbfilter-Array Bayer-Array
Ausgabeformat Bild (Bayer RAW), ISP-Ausgabe (YUV/RGB), ROI, Metadaten
Package (ohne Keramik-LGA) 12,5 mm (H) × 15,0 mm (V)
Bildfrequenz
Full Pixel 60 fps
Video 4K (4056 × 2288 Pixel) 60 fps
1080p (1920 × 1280 Pixel) 240 fps
Vollständige/Video+AI-Verarbeitung 30 fps
Metadatenausgabe 30 fps
Energieversorgung
Analog 2,7 V
Digital 0,84 V
Interface 1,8 V

(nij)