Snap bringt Tools mit generativer KI für Augmented Reality in Video-Chats

Snap, das Unternehmen hinter der Social-Media-App Snapchat, hat neue Tools für Spezialeffekte per Augmented Reality (AR) in Video-Darstellungen angekündigt. Diese nutzen generative Künstliche Intelligenz, sodass etwa innerhalb Snapchats Hintergründe oder KI-Haustiere selten jedes Mal gleich aussehen sollten. Mit technischen Funktionen dieser Art möchte sich Snap von anderen sozialen Plattformen abheben und gegenüber der deutlich mehr genutzten Konkurrenz etwa von Meta Platforms aufholen.

Die sogenannte "GenAI Suite" ist Teil von Lens Studio, mit dem sich eigene Webcam-Avatare für Videokonferenzen erstellen lassen. Dieses Programm liegt nun in der Version 5.0 vor und steht Nutzern wie Entwicklern zur Verfügung. AR-Entwickler können dies für KI-gestützte Bildgenerierung nicht nur für Snapchat, sondern auch für andere Apps oder Websites anbieten. Snap selbst arbeitet etwa mit Microsoft zusammen und hat letztes Jahr Snap-Lenses in Microsoft Teams verfügbar gemacht, wodurch AR-Filter von Snap als Kamera-Effekte in Videokonferenzen genutzt werden können.

Diese AR-Funktionen hat das Unternehmen jetzt um generative KI erweitert. Bislang ist die GenAI Suite nur ein Prototyp, aber Snap hat nach eigenen Angaben die GenAI-Techniken so weit optimiert, dass die KI-Modelle auf Mobilgeräten in Echtzeit laufen können. Das umfasst KI-generierte Hintergründe, virtuelle Haustiere, Snapchat-Träume (Selfie-Fantasiebilder) und Kamerafunktionen mit KI-generierten AR-Modellen.

Snaps Lens Studio 5.0 mit KI-Unterstützung

Lens Studio 5.0 bekommt zudem einen KI-Assistenten, der Entwickler bei der Generierung von Inhalten zur Seite steht, sollen diese Fragen haben. Die neue Version der Developer-Umgebung soll auch den zeitlichen Aufwand für die Entwicklung von AR-Effekten deutlich reduzieren. Snaps Chefentwickler Bobby Murphy erklärte laut Reuters, dass dies mit Lens Studio 5.0 nun innerhalb von Stunden statt Wochen möglich sei und komplexere Modelle erlaubt. 3D-Modelle etwa müssen nicht mehr komplett neu erstellt werden, bevor sie für AR genutzt werden können.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.

YouTube-Video immer laden YouTube-Video jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Zuvor wurde AR in Videos lediglich für einfache Effekte genutzt, etwa um einer Person einen Hut aufzusetzen. Jetzt werden die Möglichkeiten laut Murphy deutlich realistischer. So würde sich der Hut nun mit dem Kopf mitbewegen und die Darstellung passt sich geänderter Beleuchtung an, sollte etwa das Licht gedimmt werden. Zudem können Köpfe komplett durch Modelle ersetzt werden, die sich den Kopfbewegungen des Originals anpassen.

Snap: Ganzkörper-AR im Video noch schwierig

Snap plant, Augmented Reality auch für den gesamten Körper einsetzen zu können, statt dies wie aktuell auf Gesicht und Kopf zu beschränken. Dies ist nach Ansicht von Murphy allerdings momentan sehr schwierig zu generieren. Snap experimentiert damit bereits seit einiger Zeit und veröffentlichte Anfang 2023 eine "Shopping Suite" als SaaS für Augmented-Reality-Anproben. Dieser Software-as-a-Service zielt aber auf Business-Kunden.

Diese können die von Snap entwickelten Tools nutzen, mit denen Endverbraucher unter anderem Kleidung und Schuhe virtuell anprobieren können. Alle angebotenen Technologien sollen helfen, bessere Kaufentscheidungen zu treffen. Denn schlussendlich führen Fehlkäufe online nicht nur zu Frust bei den Kunden, sondern auch zu zahlreichen Rücksendungen, was nicht nur schlecht für die Umwelt ist, sondern auch Mehrkosten verursacht.

Neben der Integration der Snap-Kamerafunktionen in Microsoft Teams hat die Firma diese Spezialeffekte kürzlich auch auf Skype übertragen. Snaps Camera-Kit ermöglicht damit Augmented Reality bei Video-Chats auch in diesem Instant-Messaging-Dienst.

(fds)