Sony bringt weltweit erste Bildsensoren mit KI-Verarbeitungsfunktion
Die neuen Sensoren ermöglichen Edge-AI-Verarbeitung in Hochgeschwindigkeit und erleichtern den Aufbau cloudvernetzter Systeme.
![Sony bringt weltweit erste Bildsensoren mit KI-Verarbeitungsfunktion](https://heise.cloudimg.io/width/610/q85.png-lossy-85.webp-lossy-85.foil1/_www-heise-de_/imgs/18/2/8/9/3/8/7/4/shutterstock_1385868245-432b7e695d0eceb6.jpeg)
- Nico Jurran
Im Bereich Bildsensoren ist Sony bereits gut aufgestellt (aufgrund der starker Nachfrage hob das Unternehmen jüngst seine Prognose für das laufende Geschäftsjahr an), beim Thema "Künstliche Intelligenz" gibt es jedoch noch Nachholbedarf. Das hat Sony selbst erkannt und versucht künftig, beide Bereiche zu kombinieren. Passend dazu stellte das Unternehmen jetzt die nach eigenen Angaben weltweit ersten Bildsensoren mit integrierter KI-Verarbeitungsfunktion vor.
(Bild: Sony)
Der Pixelchip verfügt über rund 12,3 effektive Megapixel zur Erfassung von Informationen über einen weiten Betrachtungswinkel. Neben der herkömmlichen Bildsensor-Betriebsschaltung ist der Logikchip mit dem DSP (Digitaler Signalprozessor) von Sony ausgestattet, der die KI-Signale verarbeitet, sowie einem Speicher für das KI-Modell. Diese Bauweise macht laut Sony den Einsatz von Hochleistungsprozessoren oder externen Speichern überflüssig und eignet sich daher ideal für Edge-AI-Systeme.
Geschwindigkeit und Datenschutz
Der große Vorteil dieser Lösung besteht zum einen in der Geschwindigkeit: Die neuen Sensoren namens IMX500 und IMX501 führen die ISP-Verarbeitung und die Highspeed-KI-Verarbeitung (3,1 Millisekunden Verarbeitungszeit für MobileNet V12) auf dem Logikchip aus und schließen den gesamten Prozess in einem einzigen Videobild (bei 30 Bildern pro Sekunde) ab. Dieses Design ermöglicht beispielsweise eine hochpräzise Echtzeitverfolgung von Objekten bei Videoaufnahmen.
Wird ein Video indes mit einem herkömmlichen Bildsensor aufgezeichnet, müssen die Daten für jedes einzelne Ausgabebild hingegen an die KI-Verarbeitung gesendet werden. Durch die dabei zu transferierenden Datenmengen wird es schwer, Echtzeitleistung zu erreichen.
Die Chips geben die extrahierten Informationen zudem als Metadaten aus, was zum einen das Datenvolumen reduziert, zum anderem aber auch dem Datenschutz dient. Ein Beispiel: In einer Überwachungskamera könnte der Bildsensor dank KI erkennen, ob sich eine Person im überwachten Raum befindet. Ist dies der Fall, meldet er dies per Metadaten an das Sicherheitssystem. Eine Übertragung des eigentlichen Videobildes kann dabei entfallen.
(Bild: Sony)
Findet die Auswertung hingegen in der Cloud statt, muss das Bild der Überwachungskamera erst einmal zum Server transferiert werden – und lässt sich auf dem Weg dorthin eventuell abgreifen. Auf Nachfrage stellte Sony klar, dass es in diesem Beispielszenario darum ginge, eine Person als solche zu erkennen, nicht jedoch darum, diese zu identifizieren.
Wählbares KI-Modell
Sonys Lösung unterstützt verschiedene KI-Modelle, die sich auch individuell an die Anforderungen und Bedingungen am Einsatzort des Systems anpassen lassen. Sind beispielsweise mehrere Kameras mit dem Sensor in einem Ladengeschäft installiert, lassen sich laut Entwickler so mit einem einzigen Kameratyp verschiedene Standorte, Bedingungen, Zeiten oder Zwecke abdecken.
(Bild: Sony)
Eine im Eingangsbereich installierte Kamera könnte etwa die Kunden zählen, die das Geschäft betreten. Eine weitere Kamera an einem Regal würde erkennen, wo Waren fehlen. An der Decke installiert, könnte eine dritte Kamera wiederum Wärmebilder erstellen, um Bereiche zu erkennen, in denen viele Ladenbesucher zusammentreffen. Darüber hinaus könnte das KI-Modell in einer Kamera laut Sony neu geschrieben werden, sodass beispielsweise aus einem Modell zur Erkennung von Heatmaps ein Modell zur Ermittlung des Kundenverhaltens wird.
Die Frage, ob sich der Chip auch nutzen ließe, um das Videobild in Echtzeit zu verändern, verneinte Sony. Dies sei aktuell noch Science Fiction.
Pläne
Sony will die KI-Technik nach eigenen Angaben in weitere Bildsensoren implementieren. Nach Vorstellung des Unternehmens soll der Anteil der Verkäufe in diesem Bereich von aktuell rund 4 Prozent bis zum Jahre 2025 auf satte 30 Prozent gesteigert werden. Die Frage, ob Sonys Roboterhund Aibo in einer kommenden Auflage mit einem solchen Prozessor ausgestattet werden wird, wollte das Unternehmen nicht beantworten.
Typbezeichnung |
IMX500 (Nur Chip) |
IMX501 (Paket) |
Musterauslieferung | April 2020 |
geplant Juni 2020 |
Musterpreis (ohne Steuer) |
10.000 Yen (ca. 85 Euro) |
20.000 Yen (ca. 170 Euro) |
Technische Daten | ||
Anzahl Pixel (effektiv) | 4056 (H) × 3040 (V), ca. 12,3 Megapixel | |
Bildgröße | 7,857 mm (Typ 1/2.3) Diagonale | |
Elementarzellengröße | 1,55 μm (H) × 1,55 μm (V) | |
Empfindlichkeit (Standardwert F5.6) |
ca. 250 LSB |
|
Sättigungssignal (Mindestwert) | ca. 9610e- | |
Hauptfunktionen |
KI-Verarbeitung, ISP, HDR-Aufzeichnung |
|
Ausgabe | MIPI D-PHY 1.2 (4 Lane) / SPI | |
Farbfilter-Array | Bayer-Array | |
Ausgabeformat | Bild (Bayer RAW), ISP-Ausgabe (YUV/RGB), ROI, Metadaten | |
Package (ohne Keramik-LGA) | 12,5 mm (H) × 15,0 mm (V) | |
Bildfrequenz | ||
Full Pixel | 60 fps | |
Video |
4K (4056 × 2288 Pixel) 60 fps 1080p (1920 × 1280 Pixel) 240 fps |
|
Vollständige/Video+AI-Verarbeitung | 30 fps | |
Metadatenausgabe | 30 fps | |
Energieversorgung | ||
Analog |
2,7 V |
|
Digital |
0,84 V |
|
Interface |
1,8 V |
(nij)