SwarmGPT: Wie Laien Drohnenschwärme mit LLMs kontrollieren können

Wissenschaftler der Technischen Universität München (TUM) haben das System SwarmGPT entwickelt, um mit Large Language Models (LLMs) Drohnenschwärme in einer Choreografie passend zu einem Musikstück anzusteuern. Was vor rund 15 Jahren per Hand noch Monate dauerte, können nun selbst Laien mit SwarmGPT in wenigen Minuten erledigen.

Drohnenchoreografien leicht erstellt

Die Entwicklung einer Choreografie für einen Drohenschwarm erfolgt über ein Webinterface, das die Forscher unter der Leitung von Angela Schoellig, Professorin für Robotik an der TUM, erstellt haben. Zunächst wird ein Musikstück eingegeben, zu dem die Drohnen in der Luft "tanzen" sollen. Das Musikstück wird an ein KI-Sprachmodell gesendet, das die Informationen auswertet und daraus eine Choreografie für bis zu zwölf Drohnen erstellt.

Die Forscher verwenden dazu ChatGPT. Das LLM ist von Haus aus dafür geschaffen, Texte zu generieren, kann aber auch Choreografien erstellen. ChatGPT weiß aber nichts über Drohnen, deren physikalische Eigenschaften und vor allem ihre physikalischen Grenzen hinsichtlich der Drohnenflugbahnen. Fehler können also in den Choreografien enthalten sein. Die werden deshalb von den Forschern nochmals überprüft. Das geschieht zunächst virtuell auf einem simulierten Flugfeld. Gefällt die erstellte Choreografie, wird sie auf die echten Drohnen übertragen. Die Forscher nutzen dazu Crazyflie Mini-Drohnen, die Open Source sind und etwa 42 g wiegen.

Zusätzlich haben die Forscher einen Sicherheitsfilter implementiert. Der Filter sorgt dafür, dass die Drohnen niemals in der Luft zusammenstoßen – es sei denn, er wird deaktiviert. Der dahinterliegende Algorithmus basiert auf einer effizienten Verteilungsoptimierung. Er analysiert die einzelnen Flugbahnen der Drohnen, die ihre Flugbahninformationen miteinander austauschen können und nimmt gegebenenfalls eine Neuplanung vor, sodass sich keine Drohnen zur gleichen Zeit am selben Ort befinden.

Schnelles Ergebnis

Die TUM-Forscher probierten SwarmGPT innerhalb von drei Monaten mit mehr als 30 Choreografien aus. Dabei nutzten sie zwischen sechs und zwölf Drohnen. Eine sichere Choreografie zu Songs von 30 Sekunden Länge und sechs Drohnen kann mit dem System in etwa fünf Minuten erstellt werden. Die Rechendauer, die ChatGPT benötigt, hänge von der Anzahl der verwendeten Drohnen ab. Prinzipiell sei das System aber beliebig skalierbar, sagt Schoellig.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.

YouTube-Video immer laden YouTube-Video jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Die Forschungsergebnisse haben die Forscher der TUM in der dazugehörigen Studie "AMSwarm: An Alternating Minimization Approach for Safe Motion Planning of Quadrotor Swarms in Cluttered Environments", die in Proceedings 2023 IEEE International Conference on Robotics and Automation (ICRA) erschienen ist, zusammengefasst.

Die Wissenschaftler gehen allerdings noch einen Schritt weiter und haben ermittelt, ob auch Roboter mit SwarmGPT angesteuert werden können. Bei Robotern, die per Sprachsteuerung Objekte greifen, Kabel verlegen oder Türen öffnen sollen, liege die Erfolgsrate zwischen etwa 63,5 und 80 Prozent. Bei der Verwendung in anderen Szenarien sei auf das System also nicht ausreichend Verlass. Das wollen Schoellig und ihre Mitforschenden jedoch ändern. Sie geht davon aus, dass das System nach Anpassungen besser laufen wird. Roboter – egal ob einfache Saugroboter zu Hause oder industrielle Roboter – könnten dann per Sprachanweisung für bestimmte Aufgaben umprogrammiert werden. Experten- oder Programmierwissen werden dazu dann nicht benötigt.

(olb)