Ohne Regisseur: KI-Drohne erstellt selbstständig cineastische Filmsequenzen

Inhaltsverzeichnis

Wissenschaftler der Carnegie Mellon University (CMU) in Pittsburgh im US-Bundesstaat Pennsylvania haben eine autonome Drohne entwickelt, die selbstständig ohne Drehbuch cineastische Filmsequenzen aus der Luft aufnehmen kann. Eine Künstliche Intelligenz (KI) ermittelt die optimale Kameraposition, um die Schauspieler möglichst gut in Szene zu setzen.

Die KI-Drohne der CMU findet sich in unbekannten Umgebungen selbstständig zurecht. Das System setzt dabei auf optische Erkennungsverfahren über eine Kamera und Abstandssensoren, um Kollisionen etwa mit Bäumen oder anderen Gegenständen zu verhindern. Ansonsten konzentriert sich das System auf seine Aufgabe, Schauspieler oder Objekte ansprechend und nach den Regeln der Filmkunst in Szene zu setzen. "Die Drohne positioniert sich selbstständig, um die wichtigsten Aspekte einer Szene aufzunehmen. Sie versteht selbstständig den Kontext der Szene und weiß wo sich Schauspieler und Hindernisse befinden. Sie entscheidet dann selbst, welche Kameraperspektiven die visuell interessanteste Szene ergeben. Dabei berücksichtigt sie die Sicherheit, um nicht abzustürzen", sagt PhD-Student Rogério Bonatti, Betreuer des Projekts am Institut für Robotik an der MCU.

KI lernt Filmkunst

Dazu wurde die KI per Deep Reinforcement Learning (DLR) angelernt, um ihr beizubringen, was Filmkunst ist. Diese subjektiven Gesichtspunkte mathematisch zu beschreiben, sei zu schwierig, heißt es von den Forschern. Deshalb haben sie zunächst eine Untersuchung durchgeführt, in der Probanden auf einem fotorealistischen Simulator verschiedene Szenen aus wechselnden Kameraperspektiven vorgespielt wurden. Die Probanden bewerteten anschließend die Szenen nach einem Punktesystem, wie visuell ansprechend und künstlerisch interessant sie die Sequenzen empfanden. Mit den Ergebnissen lernten die Forscher dann die Künstliche Intelligenz an. Statt langweiliger Szenen aus einem Blickwinkel, wie sie herkömmliche Kameradrohnen im Verfolgungsmodus aufnehmen, variieren die Aufnahmepositionen und Distanzen zum Schauspieler oder Objekt. Dadurch kommen abwechslungsreichere und interessantere Aufnahmen zustande.

Filmstil von Regisseuren nachahmen

Sebastian Scherer, Professor am MCU-Institut für Robotik, sieht in Zukunft noch weitergehende Möglichkeiten der neuen Technik. Ziel der weiteren Forschungsarbeit sei es, weitere Parameter zu ermitteln, um den Filmstil bekannter Regisseure oder Genre nachzuahmen.

Bonatti sieht aber noch zusätzlichen Verbesserungsbedarf. So soll die Drohne lernen, wie sie sich effizienter an die Bewegungsabläufe der Schauspieler und Objekte anpassen kann. Außerdem soll die Drohne mittels LiDAR eine Umgebungskarte erstellen, um sich so sicherer bewegen zu können.

Nach Ansicht von Bonatti sind die Anwendungsmöglichkeiten vielfältig und nicht nur auf Filme oder Sportaufnahmen beschränkt. Bereits jetzt würden Drohnen von Regierungsinstitutionen und der Polizei zur Überwachung von Menschenansammlungen und den Verkehr eingesetzt. So wie die Drohne künstlerische Aufnahmeprinzipien gelernt hat, könnte sie genauso Prinzipien für Überwachungsaufnahmen lernen. Bisher werden solche Drohnen von Spezialisten gesteuert, was von ihnen viel Aufmerksamkeit abverlange.

Kein Ersatz für professionelle Drohnenpiloten

Ersetzen wolle man professionelle Drohnenpiloten durch das System aber nicht. "Es wird immer einen Markt für professionelle Experten geben", sagt Bonatti. Im Bereich des Films könne die Drohne die Filmgestaltung aber vereinfachen, sodass sich die Menschen auf andere Dinge konzentrieren können, die ihnen wichtig sind.

Details ihrer Arbeit will das Forscherteam auf der International Conference on Intelligent Robots and Systems (IROS) vorstellen, die vom 4. bis 8. November 2019 in Macau in China stattfindet. Die Forschungsarbeit, die von Yamaha Motor finanziert wird, soll im Journal of Field Robotics publiziert werden. (olb)