Vom Text zum Bild: So funktioniert Stable Diffusion
Das frei verfügbare Stable Diffusion generiert aus Texten realitätsnahe und detailreiche Bilder. Wir erklären, wie die KI arbeitet.
(Bild: KI-generiert mit Stable Diffusion von JĂĽrgen Schuck ; bearbeitet von Mac & i)
- JĂĽrgen Schuck
"Erzeuge ein Foto, auf dem eine Maus Fahrrad fährt." Es reicht, einen solchen Satz auf der Webseite einzutragen, schon erstellt Stable Diffusion das kuriose Motiv. In der Onlineversion nutzt der KI-Dienst hierfür seine neuesten und leistungsfähigsten Modelle. Ausgewählte frühere Fassungen stehen anderen Entwicklern als Open Source zur Verfügung.
- Stable Diffusion kombiniert ein Diffusionsmodell mit einem Textencoder, um aus Texten realistische Bilder zu erzeugen.
- Das Diffusionsmodell entfernt schrittweise Rauschen aus einem zufälligen Bild, bis ein klares Bild entsteht.
- Modell und Encoder lernen durch Training die Korrelation zwischen Bildern und Texten.
Das zugrunde liegende Verfahren, Diffusion, ist der aktuelle Goldstandard, um hochauflösende Bilder mithilfe künstlicher Intelligenz zu erzeugen. Es generiert aus zufälligen Pixelwerten gestochen scharfe Bilder. Welche Inhalte dabei entstehen, ergibt sich ebenfalls zufällig aus den Bildelementen, die im Trainingsmaterial des Modells enthalten waren. In Kombination mit einem zusätzlichen Modell, das Text- und Bildinhalte korreliert, entstehen Systeme wie Stable Diffusion, die Bilder mit definierbaren Inhalten anstelle zufälliger erzeugen.
Die mit Diffusion erreichbare Bildqualität erfordert zwar einen großen Rechenaufwand, liegt jedoch deutlich über der von anderen Verfahren. So gibt es mit den frühen Bildgeneratoren von DeepMind und NVIDIA, BigGAN und GauGAN, zwar generative neuronale Netzwerke (GAN) mit einer ebenso hohen Qualität bei vergleichsweise geringem Rechenaufwand. Für die Hersteller sind diese aber mit einem Risiko verbunden, denn sie können bei deren vorausgehendem Training der zugrunde liegenden Modelle unvermittelt zusammenbrechen.
Das war die Leseprobe unseres heise-Plus-Artikels "Vom Text zum Bild: So funktioniert Stable Diffusion". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
