Machine imagines Music: KI komponiert neue Wagner-Musik, Uraufführung in Dresden
Die Singakademie Dresden wagt mit TU Darmstadt und Aleph Alpha ein Experiment: Am 20. November führt der Chor die KI-Komposition "Meistersinger reloaded" auf.
"Machine imagines music": mit Stable Diffusion erstellt von Chorleiter Michael Käppler
- Silke Hahn
Am Abend des 20. November 2022 führt die Singakademie Dresden in der Lukaskirche ein Konzert auf, dessen Programm neben Wagner, Schubert, Draeseke und Zemlinsky von einem namenlosen Komponisten stammt. Bei dem Anonymus handelt es sich nicht um einen unbekannten Meister des 19. Jahrhunderts, sondern um eine zeitgenössische Maschine, deren künstliches neuronales Netz mit Musik der Romantik trainiert wurde und die ein Feintuning auf den Werken Richard Wagners erfuhr.
Michael Käppler, Leiter der Singakademie Dresden und Dirigent, betreibt seit rund einem Jahr ein Musikprojekt, für das er die Technische Universität Darmstadt und das Heidelberger KI-Start-up Aleph Alpha als Partner gewinnen konnte. Sein Projekt "Meistersinger reloaded" bietet neben sinnlich-kultureller Anregung ein technisches und intellektuelles Fundament. Am Nachmittag vor der Uraufführung geht eine wissenschaftliche Podiumsrunde aus den Bereichen Musik, Technik und Machine Learning sowie Mathematik der Frage nach, ob Maschinen komponieren können: Drei Experten und eine Expertin diskutieren öffentlich mit dem Chorleiter.
Wer nicht vor Ort war, kann das Ereignis als Videoaufzeichnung nachvollziehen. Von der Uraufführung der KI-Komposition gibt es auf YouTube einen Mitschnitt, ebenso von der Paneldiskussion zur Frage: "Können Maschinen komponieren?".
Ein zweisprachiger Konzertbericht steht auf der Website von Hessian.AI bereit: "Zukunftsmusik: Singakademie Dresden hat KI-Komposition uraufgeführt" sowie "Future Music: AI Composition 'Meistersinger Reloaded' was premiered in Dresden".
KI-Kommentar zu Wagner: Können Maschinen komponieren?
Ursprung des Projekts war die Frage, wie sich ein so problematischer Komponist wie Wagner in der heutigen Zeit aufführen lässt. Dirigent Käppler wollte "die Wagner'sche Musik mal anders brechen – mit einem KI-Kommentar zu Wagner", erklärte er gegenüber heise Developer. Dafür wandte er sich an verschiedene Universitäten und Fachleute und fand in Kristian Kersting einen begeisterten Mitstreiter. Kersting ist Professor für Machine Learning und Künstliche Intelligenz an der TU Darmstadt, dort leitet er das hessische KI-Forschungszentrum.
Er vernetzte den Musiker mit seiner TU-Kollegin Prof. Iryna Gurevych, Studierenden, hessian.AI und für Research sowie Engineering mit der Forschungsabteilung des Heidelberger Start-ups Aleph Alpha, die das Projekt dann als Team erarbeiteten. Für Aleph Alpha waren unter anderem Jonas Andrulis und der KI-Forscher Koen Oostermijer mit dem Bauen der KI befasst – der Löwenanteil der Arbeit lief auf dem Heidelberger KI-System. Kerstings Doktorand Wolfgang Stammer erstellte parallel einen neuen Transformer.
Aleph Alpha ist vor allem bekannt für sein mehrsprachiges, multimodales KI-Basismodell Luminous, das Texte und Bilder im Kontext begreift. Für das Forschungsteam des Heidelberger KI-Unternehmens galt es in dem Projekt, die Modellierung von Daten und Zusammenhängen in dem künstlichen neuronalen Netz so zu verändern, dass die KI, die sonst darauf geeicht ist, eine Unterhaltung zu führen oder Informationen zu finden, stattdessen Harmonien und Musik erzeugt, die zudem einem bestimmten Stil folgen.
Da die Struktur von Musik anders funktioniert als die von Sprache, waren Anpassungen nötig: Unter anderem musste das Forschungsteam die Art, wie Worte oder Noten relativ zueinander positioniert sind, so erweitern, dass sich zeitliche Dauer und Intervalle mathematisch in die Sprache der KI übersetzen ließen. In der etwa dreiminütigen Komposition stecken ein ganzes Jahr Arbeit und die Beiträge zahlreicher Mitstreiter.
Nicht nachplappern, sondern Neues schaffen im Wagner-Stil
Laut Michael Käppler fütterten sie ein Transformermodell mit Musik der romantischen Epoche, vor allem mit Klaviermusik. Das Training fand auf verschiedenen Datasets statt. Käppler trainierte auf Basis von YouTube-Audio und einem Transkriptionsmodell von Google Magenta selbst einen Datensatz mit romantischer Klaviermusik und nannte ihn "Great Romantic Piano Dataset" (GRPDS). Darin sind rund 12.000 MIDI-Dateien (MIDI steht für Musical Instrument Digital Interface) mit einer Gesamtlänge von 1900 Stunden enthalten. Der Dirigent ergänzte im Gespräch, dass sich dieser Datensatz noch stark erweitern ließe. Zusätzlich haben er und seine Partner auch unter anderem GiantMIDI-Piano verwendet, einen auf GitHub verfügbaren Datensatz von ByteDance – dem chinesischen Internet-Technologieunternehmen, das unter anderem hinter TikTok steht. Der Datensatz lieferte das Signal, mit dem das Team weiterarbeitete.
Auf diesen größeren Datensätzen lernte das Modell nicht nur die harmonischen Regeln, sondern auch die Feinheiten der Komposition und den Aufbau eines Meisterwerks. Nachdem die KI die Regeln der Musik insgesamt verstanden hatte, brachte das Projektteam ihr den spezifischen Stil und Charakter der Werke Wagners näher – dafür führte das Research-Team gemeinsam mit dem Dirigenten Käppler ein Feintuning auf den Werken Wagners durch. Wäre das Modell ausschließlich mit Wagner trainiert worden, hätte es diesen auswendig gelernt und wäre nicht in der Lage gewesen, über bekannte Stücke hinaus Neues zu schaffen (der technische Fachbegriff hierfür lautet Overfitting).
"Es gilt, die Balance zu finden zwischen einem Modell, das nachplappert und einem, das nur wagnerspezifische Musik findet", erläuterte Käppler das Vorgehen. Als Hörbeispiel zeigte er der Developer-Redaktion eine der zahlreichen KI-Kompositionen, die im Projekt entstanden sind und nicht zum Orchesterstück ausgearbeitet wurden: Die ersten 15 Sekunden stammen original aus Hans von Bülows "Meistersinger-Paraphrase", der Rest ist das Werk der Maschine (der Link führt zum Hörbeispiel).
"Hier ist ein gehöriger Menschenanteil eingeflossen"
Wichtig ist ihm dabei die Transparenz, also offenzulegen, welche Anteile am Werk menschengemacht sind und welche von dem künstlichen neuronalen Netz stammen. Bei der vor dem Konzert geplanten Podiumsdiskussion wird neben Käppler und Kersting die empirische Musikwissenschaftlerin Miriam Akkermann (Juniorprofessorin an der TU Dresden) unter anderem über das Post-Processing sprechen. Laut Käppler hat das Projekt das KI-System Klaviermusik komponieren lassen, die Orchesterausarbeitung hat der Musiker selbst gemacht – also das Transponieren und Umstellen der Lagen für verschiedene Instrumente: "Hier ist ein gehöriger Menschenanteil eingeflossen, und mir ist wichtig, das auch offenzulegen und damit transparent umzugehen", so Käppler (hier gibt es einen Audioteaser von "Meistersinger reloaded" zum Reinhören – ab dem Piepton endet der Audioprompt und die KI führt Wagners Komposition weiter).
Ein verwandtes Projekt wäre Beethoven X – nicht das gleichnamige Kryptocurrency-Portal, sondern ein aufwendiges Projekt zum Fertigstellen von Beethovens zehnter Symphonie mithilfe von KI von Expertenteams der Universitäten Harvard, Cambridge und Rutgers, gesponsert von unter anderem der Deutschen Telekom. Die Dresdner Kooperation für Meistersinger reloaded kam mit deutlich geringeren Personal- und Finanzressourcen aus. Zwei bis vier Personen arbeiteten hauptsächlich an dem Projekt, und das längerfristige Ziel ist es, nicht nur ein Ergebnis zu präsentieren, sondern auch den Workflow offenzulegen.
Komponierende Automaten: schaurig schön
Der komponierende Automat wirft Fragen auf: Die einen mögen an E.T.A. Hoffmanns schaurigen Sandmann denken – an dem Sigmund Freud seine Definition des Unheimlichen festmachte, da es uns Menschen zwar fasziniert, aber auch zu gruseln beginnt, wenn mechanische Gegenstände beseelt oder Lebewesen allzu automatenhaft wirken. Andere werden abwinken und die Originalität von Maschinenkunst grundsätzlich infrage stellen.
Ganz unberührt dürfte es keinen lassen, wenn eine neue Form der Automatisierung nun zunehmend in Bereiche vordringt, die bisher als ureigene Domänen des Menschen galten und mit Gefühlen zu tun haben, so wie eine ausdrucksstarke Komposition und das Kunstschaffen. Was bedeuten komponierende Maschinen für unsere Kreativität?
Podiumsgespräch und Konzert: mitreden und wirken lassen
Am 20. November um 15 Uhr stellt sich das Kooperationsprojekt der Singakademie Dresden mit der TU Darmstadt und Aleph Alpha in einer Podiumsdiskussion vor (der Link führt zur Aufzeichnung) und erörtert die Grenzlinien zwischen maschinellem Lernen und menschlicher Kreativität. Ob Menschen als Kunstschaffende ersetzbar werden – oder ob die neuen Fähigkeiten eher eine neue Partnerschaft zwischen Mensch und Maschine begründen, diskutiert folgendes Quartett: neben Michael Käppler und Kristian Kersting der Mathematiker Christfried Brödel, der nicht nur Leiter der Neuen Bach-Gesellschaft Leipzig ist, sondern auch einen Hintergrund in zeitgenössischer Musik hat sowie der Darmstädter KI-Masterstudent und klassische Perkussionist Matthias Lang.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Als Moderatorin führt Miriam Akkermann von der TU Dresden die Gesprächsfäden zusammen. Für Aleph Alpha wird stellvertretend Koen Oostermijer vor Ort sein. Das Podium findet im Gemeindehaus in der Einsteinstraße 2 in Dresden statt, gegenüber der Lukaskirche. Der Eintritt ist frei und die Teilnahme unabhängig vom Konzertbesuch – die Gesprächsrunde wird aufgezeichnet und soll im Nachgang veröffentlicht werden.
"Machine imagines music. German romantic period, oil painting on canvas. The genius of Richard Wagner watching the scene", erstellt mit Stable Diffusion
(Bild: via Nightcafé)
"KI-Systeme können nicht nur helfen, neue Medikamente zu finden, sie können viel mehr. Sie können Muse für uns sein und helfen, Lieder zu komponieren, Gedichte zu schreiben, oder Bilder zu malen. Sie kann uns kreativer machen – und ich sehe auch keinen Grund, warum Maschinen nicht irgendwann mal selber kreativ sein können.
Auf jeden Fall bringt das Thema KI und Kunst uns Forscher in den Austausch mit den Bürgerinnen und Bürgern. Und das ist einfach toll. Danke an die Singakademie für die Zusammenarbeit!"
– Kristian Kersting gegenüber heise Developer zur Motivation des Projekts
Ab 17 Uhr mündet der Abend in ein Konzert in der Dresdner Lukaskirche, in dem neben Werken von Franz Schubert, Richard Wagner, Felix Draeseke und Alexander Zemlinsky auch Meistersinger reloaded von "Anonymus" zur Uraufführung kommt. Das Programm ist auf der Website der Singakademie einsehbar. Das Konzert wird nach heutigem Informationsstand weder gestreamt noch aufgezeichnet. Hintergrund dafür sind rechtliche Fragen: Insgesamt werden 130 Musikerinnen und Musiker an der Aufführung beteiligt sein, die einer Aufzeichnung zustimmen müssten, und die Aufzeichnung wäre vorab dem Verlag der aufgeführten Stücke zu melden. Eine auszughafte Dokumentation beispielsweise nur der KI-Komposition "Meistersinger reloaded" kommt möglicherweise zustande. Hierzu steht heise Developer mit dem künstlerischen Leiter in Kontakt.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Wer Interesse hat und es sich einrichten kann nach Dresden zu kommen, kann Karten für das Konzert im Vorverkauf erwerben. Das genaue musikalische Abendprogramm "Kunstglaube und Glaubenskunst" sowie Details zur Podiumsdiskussion lassen sich der Website der Singakademie Dresden entnehmen. Tickets für das Konzert sind zwischen 7 und 20 Euro erhältlich (zzgl. Vorverkaufsgebühr, sonst an der Abendkasse).
Videoaufzeichnungen der Paneldiskussion und der Uraufführung des KI-komponierten Stücks sind nun eingebettet.
(sih)