Generative KI erstellt Choreografien für fliegende Roboter
Schwärme von Drohnen zu Musik fliegen zu lassen, soll künftig einfacher werden. Forschende der TUM haben dazu eine Lösung mit ChatGPT entwickelt, die Vorschläge für Choreografien macht und die Geräte sicher steuert.
Foto: Astrid Eckert / TU Muenchen
Inhaltsverzeichnis
Drohnen-Shows zaubern immer öfter anstelle von Feuerwerken bunte Bilder in die Nachthimmel auf aller Welt. Schwärme der fliegenden Roboter folgen dann meist im Takt einer begleitenden Musikshow der vorgegeben Choreografie. Oft sind die Bewegungsmuster der Schwärme dabei sehr aufwendig inszeniert und müssen zeitaufwendig erstellt werden. Das soll sich mithilfe generativer KI jetzt ändern. Forschende an der Technischen Universität München (TUM) sprechen deshalb von SwarmGPT.
Entwickelt wird die Lösung im Labor von Angela Schoellig. Die Professorin ist Leiterin des Lehrstuhls für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme der TUM und zudem Direktorin im Munich Institute of Robotics and Machine Intelligence (MIRMI). Ihr Team setzt ChatGPT ein, um Choreografien für Drohnenschwärme passend zur jeweiligen Musik zu entwickeln. Ein zusätzlicher Sicherheitsfilter verhindert, dass die Flugroboter in der Luft zusammenstoßen. Damit beweisen die Forschenden, dass Large Language Models (LLMs) wie ChatGPT in der Robotik grundsätzlich zum Einsatz kommen können.
Wie werden die Shows mit fliegenden Robotern erstellt?
Bei der Lösung der TUM erfolgt das über eine grafische Bedienoberfläche: Zunächst wird darüber ein Musiktitel ausgewählt. Anschließend wird das System per Texteingabe dazu aufgefordert, dazu eine Choreografie vorzuschlagen. Prompts heißen solche Anweisungen. Über einen weiteren Prompt im ChatGPT-Tool werden dann zusätzliche Anweisungen an den Drohnenschwarm geben, ehe ein Algorithmus überprüft, ob diese Flugbahnen machbar sind. Auf dem Bildschirm im Labor (Learning Systems and Robotics Lab) ist dann ein simuliertes Flugfeld zu erkennen, auf dem sechs Drohnen im Kreis fliegen, passend zur Musik. Gefällt die Choreografie der Person am Bediengerät, loggt sie sich erneut im System ein und wenig später heben sechs handtellergroße Drohnen vom Boden des Robotik-Labs ab.
Das Labor besitzt eine Grundfläche von 40 m² und ist 3 m hoch. Sechs an der Decke angebrachte Kameras überwachen die fliegenden Roboter.
Zur Orientierung sind auf dem Boden mit Isolierband Kreuze markiert. Sie kennzeichnen die Startpositionen der Drohnen. Hat der Rechner nun die Choreografie verifiziert, kann der Flug beginnen. 200-mal pro Sekunde detektieren die Kameras die Position der mit vier Propellern und Motoren ausgestatteten Quadrocopter. Das System gleicht sie mit der erwünschten Position ab.
So werden die mit ChatGPT generierten Dohnen-Shows sicher
Im Learning Systems and Robotics Lab sind die Flugshows, die mit bis zu neun Drohnen realisiert werden, heute nach Aussagen der Forschungsteams zu 100 % sicher. Ohne den speziellen Sicherheitsfilter gehe dagegen nur jede vierte Flugshow unfallfrei über die Bühne. Für ihren „Tanz der Flugroboter“ hat Lehrstuhlleiterin Schoellig deshalb ChatGPT mit dem Sicherheitsfilter kombiniert. „Das KI-Tool ChatGPT wurde primär dafür geschaffen, um Texte zu generieren, doch es kann auch Choreografien vorschlagen“, sagt die Professorin. „Allerdings weiß es zunächst nichts über die Eigenschaften von Drohnen und über physikalische Grenzen für die Flugbahnen. Klar ist also, dass ChatGPT Fehler macht“, erklärt sie.
Diese Lücke schließt nun der zusätzliche Sicherheitsalgorithmus, indem er die Flugbahnen für die vorgeschlagene Choreografie exakt so umplant, dass die Drohnen in der Luft nicht miteinander kollidieren. Selbst ein diagonaler Flug zweier sich entgegenkommender Drohnen könne damit sicher umgesetzt werden. Das für den Einsatz von mehreren Flugrobotern konzipierte Gesamtkonzept aus ChatGPT und Sicherheitsfilter nennt Schoellig SwarmGPT. Das Tool generiert einerseits die Abläufe in der Luft und dient andererseits als Schnittstelle zwischen Roboter und Mensch, der keinerlei Expertenwissen benötigt. Das zeigt die Forschungsgruppe auch in einem Video:
Welchen Quantensprung bewirkt ChatGPT für die Robotik?
Welche Erleichterungen generative KI für solche Flugshows bewirkt, wird in einer kleinen Zeitreise deutlich: Als Angela Schoellig vor knapp 15 Jahren mit ihrer Forschung an Drohnen begann, wurden Choreografien manuell entwickelt. Bis die ersten sechs Choreografien für die sechs Drohnen entwickelt waren und funktionierten, vergingen mehr als drei Jahre. „ChatGPT hat hier einen Quantensprung bewirkt“, zeigt sie sich heute überzeugt. In den letzten drei Monaten experimentierten die Forschenden mit über 30 Choreografien für bis zu neun Drohnen. Um heute eine sichere Choreografie für einzelne etwa 30 s lange Musikclips mit drei Drohnen zu entwickeln, benötigen die Forschenden gerade einmal etwa 5 min. Je mehr Drohnen hinzukommen, umso länger muss ChatGPT rechnen – entsprechend länger dauert der Vorschlag für eine Choreografie. Das ist für Shows mit größeren Schwärmen ein Thema. Doch: „Das Konzept ist skalierbar“, sagt die Professorin.
Stellt sich die Frage, ob mit einer solchen ChatGPT-Schnittstelle künftig auch andere Roboter einfacher bedient werden können. Laut den Forschenden liegt die Erfolgsrate für Roboter, die über Sprachsteuerung Dinge greifen, bisher nur bei 63 %. Beim Verlegen von Kabel seien es 56 % und beim Öffnen von Türen 80 %. Auf den Einsatz in anderen Robotikszenarien sei also bis jetzt eher wenig Verlass. Dennoch sieht Schoellig hier großes Potenzial: „Ich gehe davon aus, dass unser Ansatz auch mit anderen Szenarien immer besser funktionieren wird.“ Saug- und industrielle Roboter könnten sich demnächst womöglich einfach durch Sprachanweisung umprogrammieren lassen, ohne Experten- und Programmierwissen.
