Stability AI macht aus Fotos 3D-Modelle samt Kamerafahrt
Stable Virtual Camera soll aus 2D-Bildern 3D-Ansichten machen, die dann immersive Videos ermöglichen.
Stable Virtual Camera bietet verschiedene Kamerafahrten an.
(Bild: Stability AI)
Stability AI spricht von einer "multi-View Video Generation mit 3D Kamera Kontrolle". Gemeint ist ein KI-Modell, das Fotos in 3D-Modelle umwandeln kann. Diese wiederum kann man rundherum anschauen, was eine immersive Ansicht ermöglicht. Noch handelt es sich bei Stable Virtual Camera um eine Research Preview.
Um die 3D-Videos zu erstellen, nutzt Stability AI ein Diffusion-Modell. Das sind KI-Modelle, bei denen mittels eines Rauschens Bilder Punkt für Punkt erzeugt werden. Als Eingabe dient wahlweise ein einzelnes Foto oder bis zu 32 Bilder. Die generierten Videos gibt es mit verschiedenen Kamerapfaden, etwa "dynamisch", "Spirale", "Dolly Zoom", "Schwenken" und mehr. Der Anbieter spricht im Blogbeitrag von "realistischer Tiefe und Perspektive – ohne komplexe Rekonstruktionen und Szenen-abhängigen Optimierungen".
Videos by heise
Das Konzept hinter dem Modell entspringt den Bedürfnissen von digitalen Kameras beim Filmemachen und bei 3D-Animationen. Nur sei dank KI deutlich weniger Input und Arbeit notwendig.
Stable Virtual Camera für Forschende
Zunächst ist Stable Virtual Camera nur für Forschende unter einer nicht-kommerziellen Lizenz auf Higging Face oder über Github verfügbar. Auch die Gewichte sind veröffentlicht. Laut Stability AI schlägt das neue Modell vergleichbare Modelle wie ViewCrafter und CAT3D in einigen Benchmarks. Stability AI betont dabei vor allem die neue Bildsynthese. Allerdings sagt der Anbieter auch, bestimmte Inhalte könnten zu schlechterer Qualität führen, etwa wenn Menschen, Tiere oder dynamische Texturen, wie Wasser, gezeigt werden sollen. Auch gäbe es hin und wieder flackernde Artefakte, besonders bei unregelmäßig geformten Objekten.
Nach einigen Querelen rund um die Spitze von Stability AI soll das KI-Unternehmen wieder auf sicheren Füßen stehen. Der Mitgründer und Investor Emad Mostaque soll Stability finanziell geschädigt haben. Einige Gründer und Mitarbeiter verließen das Unternehmen daraufhin. Nun gibt es neue Investoren, im Aufsichtsrat sitzt mit James Cameron jemand, der sich mit dem Bedarf im Filmgeschäft auskennt.
(emw)
