„Vibe Coding XR“: Gemini generiert VR-Apps in unter einer Minute
Google stellt mit Vibe Coding XR einen KI-Workflow vor, mit dem sich aus Prompts VR-Apps für Android XR direkt im Browser generieren und testen lassen.
Eine Collage aus KI-generierten VR-Prototypen.
(Bild: Google)
Googles interne Forschungseinheit hat einen KI-Workflow vorgestellt, der beim Prototyping immersiver Anwendungen helfen soll. Nutzer beschreiben per Textprompt oder natürlicher Sprache, was sie erstellen möchten, und Gemini generiert daraus in unter einer Minute funktionsfähige, physikbasierte WebXR-Anwendungen für Android XR. Mit einem entsprechenden Headset erfolgen Eingabe, Generierung und anschließendes Testen und Iterieren vollständig im Browser.
Der Workflow setzt auf das KI-Werkzeug Gemini Canvas und das von Google Research eigens entwickelte Open-Source-Framework XR Blocks (Github). Während Gemini laut Google die Rolle eines XR-Designers übernimmt und bewährte Vorgehensweisen für XR-Entwicklung befolgt, stellt XR Blocks die Bausteine und Infrastruktur bereit, die aus generiertem Code lauffähige XR-Anwendungen machen. Der Workflow soll Entwicklern und Laien damit ermöglichen, neue Benutzeroberflächen, 3D-Interaktionen und räumliche Visualisierungen schnell und unkompliziert auszuprobieren.
Videos by heise
Gute Idee für eine (noch) kleine Plattform
Google Research illustriert den Ansatz anhand mehrerer Beispiele: Ein per Prompt erzeugter Mathe-Tutor visualisiert Eulers Polyedersatz anhand dreidimensionaler Körper, ein Physik-Labor ermöglicht das Ausbalancieren von Gewichten auf einer Waage, und ein Chemie-Szenario simuliert verschiedene Verbrennungsprozesse. Die Beispiele kombinieren räumliche Interaktion, physikalisches Verhalten und visuelle Darstellung und zeigen, welche Arten von XR-Prototypen sich mit dem Workflow umsetzen lassen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Einen großen Haken hat die Sache jedoch: Der Workflow ist offenbar auf das Betriebssystem Android XR und damit kompatible Headsets beschränkt. Derzeit gibt es nur ein Gerät dieser Art: das bisher einzig in den USA und Südkorea verfügbare Samsung Galaxy XR. Es ist jedoch zu erwarten, dass künftig weitere Geräte auf Basis von Android XR erscheinen, darunter Project Aura. Bis es soweit ist, können Nutzer die Anwendungen auch am Desktop erstellen und mithilfe eines integrierten Simulators testen, sagt Google.
Während Vibe Coding, also das promptbasierte Programmieren, mittlerweile viele Bereiche der Softwareentwicklung abdeckt, ist das Spezialfeld der XR-Entwicklung noch wenig erschlossen und stellt entsprechende Ansätze vor besondere Herausforderungen, etwa bei der Integration räumlicher Interaktion und Gerätesensorik. Neben Google arbeitet vor allem Meta an KI-Werkzeugen für die XR-Entwicklung: Auf der GDC 2026 stellte das Unternehmen unter anderem agentische KI-Workflows für Unity und KI-gestützte Iteration für Horizon OS in den Vordergrund.
(tobe)
