Wie ein Algorithmus aus Texten Töne macht

US-Wissenschaftler haben ein Verfahren entwickelt, mit dem ein Computer aus den Inhalten von Literatur recht interessant klingende Musik erstellen kann.

Die Künstlerin Hannah Davis hat sich für ihre Masterarbeit an der New York University ein ganz besonderes Projekt ausgedacht: Sie hat zusammen mit dem kanadischen Computerwissenschaftler Saif Mohammad ein Programm entwickelt, das aus Literatur automatisch eine passende Musikuntermalung machen kann. Das Projekt namens TransPose soll Pianostücke ausspucken, die die emotionale Grundstimmung eines Textwerkes widerspiegeln. Ausprobiert hat Davis ihre Software unter anderem an "Alice im Wunderland", "A Clockwork Orange", "The Road", "Anne of Green Gables", "Peter Pan" oder "Der kleine Prinz".

Technisch funktioniert TransPose mit Hilfe einer Wortliste. Diese wurde in Kleinarbeit über den Crowdsourcing-Dienst Mechanical Turk erstellt. Hierbei mussten Freiwillige rund 14.000 Worte aus dem Englischen mit acht verschiedenen Gefühlen wie "Freude", "Trauer", "Furcht" oder "Ekel" korrelieren. Dabei orientierten sich Davis und Mohammad an der Gefühlsliste nach dem amerikanischen Psychologen Paul Ekman, die aus sechs universellen Emotionen besteht. Ergänzt wurde dies durch "Vertrauen" und "Erwartung".

Das Vorkommen der zu den Emotionen korrelierten Worte und ihre Beziehungen untereinander wird von der Software in einem aufwendigen Verfahren mit Hilfe der Skriptsprache Python analysiert und zur Berechnung einer Gefühlsgrundstimmung verwendet. Über die Semantik des Textes werden dann auch musikalische Elemente wie Tonarten, Tempi und sogar Tonleitern bestimmt. "Emotion Density Data" nennen die Forscher die gewonnenen Informationen aus der Literatur. Eingeordnet werden die Stücke nach "Höchster Emotion", "Zweihöchster Emotion", Grundoktave, Tempo und Tonart.

Jedes von TransPose komponierte Stück besteht aus drei Melodien, erklärt Davis Die erste basiert auf der Gesamtzahl der Emotionen im Buch, die zwei zusätzlichen orientieren sich wiederum an den zwei am häufigsten vorkommenden Emotionen. Positive Gefühle erhöhen die Oktave, negative Gefühle senken sie ab. Das Tempo wiederum setzt sich aus dem Verhältnis von aktiven und passiven Emotionen zusammen. Notenlängen haben wiederum mit der Anzahl vorhandener Emotionen zu tun, ebenso die Tonhöhen. Eingesprenkelt werden hier und da außerdem dissonante Noten, die bei einem variierten Gefühlsbild zum Einsatz kommen.

In der Praxis hört sich das dann recht unterschiedlich an. Aus "Peter Pan" wird so ein eher fröhliches Werk, aus dem "Herz der Finsternis" ein angsterfülltes Musikstück. "A Clockwork Orange" präsentiert sich recht dissonant. Wirklich perfekt klingt das alles allerdings noch nicht: Hier und da sorgt der Automatismus auch für ein höllisches Geklimper. Man merkt, dass es sich noch um ein Prototypsystem handelt, was Davis und Mohammed auch offen zugeben.

Das Tempo der Stücke hängt zudem vom Gefühlsinhalt ab, was nicht sonderlich subtil wirkt. So erreicht etwa "A Clockwork Orange" 170 Beats per Minute, während das vergleichsweise gefühlsarme "The Road" mit 42 Beats per Minute auskommt. Immerhin wird bei TransPose stets das gesamte Buchwerk als Grundlage genommen, grundsätzlich fehlen sollte also nichts.

Davis' Paper zu TransPose zufolge ist das Projekt sowieso noch nicht fertig: Als nächstes soll versucht werden, Aktivitäten in einem Buch zu erfassen und diese dann musikalisch umzusetzen. Damit würde die Software nicht nur allein auf Gefühlsbegriffen aufbauen, die ja nur einen Indikator für den Inhalt von Literatur darstellen. "Wir werden außerdem untersuchen, welche Auswirkungen Texteigenschaften wie die Länge eines Romans oder der Schreibstil auf die generierte Musik haben."

Geplant sei außerdem, Notenmodelle, ähnliche wie man sie von Sprachmodellen kennt, aus bestehenden Musikstücken zu erfassen und dise dann zu nutzen, um die Musik von TransPose zu verbessern. Hier sehe man interessante Möglichkeiten, so Davis. (bsc)