Sony bringt weltweit erste Bildsensoren mit KI-Verarbeitungsfunktion

Inhaltsverzeichnis

Im Bereich Bildsensoren ist Sony bereits gut aufgestellt (aufgrund der starker Nachfrage hob das Unternehmen jüngst seine Prognose für das laufende Geschäftsjahr an), beim Thema "Künstliche Intelligenz" gibt es jedoch noch Nachholbedarf. Das hat Sony selbst erkannt und versucht künftig, beide Bereiche zu kombinieren. Passend dazu stellte das Unternehmen jetzt die nach eigenen Angaben weltweit ersten Bildsensoren mit integrierter KI-Verarbeitungsfunktion vor.

Der Pixelchip verfügt über rund 12,3 effektive Megapixel zur Erfassung von Informationen über einen weiten Betrachtungswinkel. Neben der herkömmlichen Bildsensor-Betriebsschaltung ist der Logikchip mit dem DSP (Digitaler Signalprozessor) von Sony ausgestattet, der die KI-Signale verarbeitet, sowie einem Speicher für das KI-Modell. Diese Bauweise macht laut Sony den Einsatz von Hochleistungsprozessoren oder externen Speichern überflüssig und eignet sich daher ideal für Edge-AI-Systeme.

Geschwindigkeit und Datenschutz

Der große Vorteil dieser Lösung besteht zum einen in der Geschwindigkeit: Die neuen Sensoren namens IMX500 und IMX501 führen die ISP-Verarbeitung und die Highspeed-KI-Verarbeitung (3,1 Millisekunden Verarbeitungszeit für MobileNet V12) auf dem Logikchip aus und schließen den gesamten Prozess in einem einzigen Videobild (bei 30 Bildern pro Sekunde) ab. Dieses Design ermöglicht beispielsweise eine hochpräzise Echtzeitverfolgung von Objekten bei Videoaufnahmen.

Wird ein Video indes mit einem herkömmlichen Bildsensor aufgezeichnet, müssen die Daten für jedes einzelne Ausgabebild hingegen an die KI-Verarbeitung gesendet werden. Durch die dabei zu transferierenden Datenmengen wird es schwer, Echtzeitleistung zu erreichen.

Die Chips geben die extrahierten Informationen zudem als Metadaten aus, was zum einen das Datenvolumen reduziert, zum anderem aber auch dem Datenschutz dient. Ein Beispiel: In einer Überwachungskamera könnte der Bildsensor dank KI erkennen, ob sich eine Person im überwachten Raum befindet. Ist dies der Fall, meldet er dies per Metadaten an das Sicherheitssystem. Eine Übertragung des eigentlichen Videobildes kann dabei entfallen.

Findet die Auswertung hingegen in der Cloud statt, muss das Bild der Überwachungskamera erst einmal zum Server transferiert werden – und lässt sich auf dem Weg dorthin eventuell abgreifen. Auf Nachfrage stellte Sony klar, dass es in diesem Beispielszenario darum ginge, eine Person als solche zu erkennen, nicht jedoch darum, diese zu identifizieren.

Wählbares KI-Modell

Sonys Lösung unterstützt verschiedene KI-Modelle, die sich auch individuell an die Anforderungen und Bedingungen am Einsatzort des Systems anpassen lassen. Sind beispielsweise mehrere Kameras mit dem Sensor in einem Ladengeschäft installiert, lassen sich laut Entwickler so mit einem einzigen Kameratyp verschiedene Standorte, Bedingungen, Zeiten oder Zwecke abdecken.

Eine im Eingangsbereich installierte Kamera könnte etwa die Kunden zählen, die das Geschäft betreten. Eine weitere Kamera an einem Regal würde erkennen, wo Waren fehlen. An der Decke installiert, könnte eine dritte Kamera wiederum Wärmebilder erstellen, um Bereiche zu erkennen, in denen viele Ladenbesucher zusammentreffen. Darüber hinaus könnte das KI-Modell in einer Kamera laut Sony neu geschrieben werden, sodass beispielsweise aus einem Modell zur Erkennung von Heatmaps ein Modell zur Ermittlung des Kundenverhaltens wird.

Die Frage, ob sich der Chip auch nutzen ließe, um das Videobild in Echtzeit zu verändern, verneinte Sony. Dies sei aktuell noch Science Fiction.

Pläne

Sony will die KI-Technik nach eigenen Angaben in weitere Bildsensoren implementieren. Nach Vorstellung des Unternehmens soll der Anteil der Verkäufe in diesem Bereich von aktuell rund 4 Prozent bis zum Jahre 2025 auf satte 30 Prozent gesteigert werden. Die Frage, ob Sonys Roboterhund Aibo in einer kommenden Auflage mit einem solchen Prozessor ausgestattet werden wird, wollte das Unternehmen nicht beantworten.

Typbezeichnung	IMX500 (Nur Chip)	IMX501 (Paket)
Musterauslieferung	April 2020	geplant Juni 2020
Musterpreis (ohne Steuer)	10.000 Yen (ca. 85 Euro)	20.000 Yen (ca. 170 Euro)
Technische Daten
Anzahl Pixel (effektiv)	4056 (H) × 3040 (V), ca. 12,3 Megapixel
Bildgröße	7,857 mm (Typ 1/2.3) Diagonale
Elementarzellengröße	1,55 μm (H) × 1,55 μm (V)
Empfindlichkeit (Standardwert F5.6)	ca. 250 LSB
Sättigungssignal (Mindestwert)	ca. 9610e-
Hauptfunktionen	KI-Verarbeitung, ISP, HDR-Aufzeichnung
Ausgabe	MIPI D-PHY 1.2 (4 Lane) / SPI
Farbfilter-Array	Bayer-Array
Ausgabeformat	Bild (Bayer RAW), ISP-Ausgabe (YUV/RGB), ROI, Metadaten
Package (ohne Keramik-LGA)	12,5 mm (H) × 15,0 mm (V)
Bildfrequenz
Full Pixel	60 fps
Video	4K (4056 × 2288 Pixel) 60 fps 1080p (1920 × 1280 Pixel) 240 fps
Vollständige/Video+AI-Verarbeitung	30 fps
Metadatenausgabe	30 fps
Energieversorgung
Analog	2,7 V
Digital	0,84 V
Interface	1,8 V

(nij)