Das rettende Ohr: Rettungsdrohnen der Zukunft orten Hilferufe

Inhaltsverzeichnis

Die International Emergency Drone Organization (IEDO), ein Verein für Drohneneinsätze durch Rettungskräfte, in dem Ersthelfer weltweit ihre Erfahrungen austauschen, gründete sich im Juni 2018. Im IEDO-Jahresbericht 2020 ist viel von Kameraunterstützung durch fliegende Drohnen die Rede, von Infrarotaufnahmen, von Bildstabilisierung und von Flugsuchmustern. Es steht dort aber auch, dass der Einsatz von Mikrofonen auf Rettungsdrohnen heute nicht möglich sei.

Macarena Varela, Forscherin am Fraunhofer-Institut für Kommunikation, Informationsverarbeitung und Ergonomie (FKIE), beweist mit ihren Versuchen derzeit das Gegenteil. Ihre mit Mikrofon-Arrays ausgestatteten Flugdrohnen blenden Wind- und Rotorgeräusche aus und nehmen dann akkurat Signale aus der Umgebung auf. Varelas Entwicklungsziel sind Drohnen, die zum Beispiel in Katastrophengebieten Hilferufe, Klatschen oder Klopfen automatisch erfassen und die Position der Geräuschquelle orten.

Eine Frage des Gewichts

In den ersten Forschungsansätzen setzte Varela mit ihrem Team auf fahrbare Systeme, kleine unbemannte Kettenfahrzeuge, die die Aufbauten aus mehreren analogen Mikrofonen und einem Bordrechner tragen können. Auch mit Mikrofonkonfigurationen für den Einsatz an Helikoptern experimentierten die Forscher. Schon bei diesen Ansätzen war klar, dass zunächst ein Bandpassfilter die Wind- und Antriebsgeräusche ausfiltern muss, bevor die akustischen Sensordaten Signale sicher erkennen lassen.

Und es zeigte sich, dass das Gewicht nicht unerheblich ist: Ein 2018 zusammengestelltes Array aus acht Kondensatormikrofonen ergab einen Aufbau von 50 cm × 90 cm und wog zusammen mit der Rechnereinheit mehr als 10 kg.

In dem Moment aber, in dem Kollegen am Institut in einer Studie die digitalen MEMS-Mikrofone (Micro electro-mechanical systems) eingehend untersuchten, erkannte Varela die Chance. Die kleinen digitalen Mikrofone benötigen wenig Energie und keine weitere Signalkonvertierung. Im Gegensatz zu den analogen Mikrofonen ihrer bisherigen Versuchsaufbauten, die größer und schwerer waren und eine stärkere Energieversorgung sowie eine Digitalisierung der Aufnahme erforderten, konnte Varela mit MEMS-Technik viel leichtgewichtigere Systeme aufbauen. Damit ist eine Erkennung von Schallsignalen mit kleinen Drohnen im Flug möglich.

Schrittweise erweiterten die Forscher ihre Mikrofonkonfigurationen auf 16, 32 und inzwischen 64 MEMS-Mikrofone. Für deren Anordnung besannen sie sich auf eine Entwicklung ihres Instituts aus der Radarortung: das Crow’s Nest Array (CNA). Der Name bezieht sich auf den Ausguck am höchsten Mast alter Segelschiffe, das sogenannte Krähennest. Von dort aus hat ein Beobachter freie Sicht in alle Richtungen, und auch Sensoren in CNA-Konfiguration sollen Signale aus allen Richtungen gleich gut erkennen. Zuvor hatten die Forscher ihre Mikrofone auf einer Linie platziert. In dieser Anordnung konnten die Messergebnisse aber beispielsweise keine Auskunft darüber geben, ob ein Schallereignis von vorn oder von hinten ertönt.

64 Mikrofone auf Handballgröße

In der CNA-Anordnung sind die Sensoren kugelförmig verteilt. Die eingesetzten MEMS-Mikrofone arbeiten omnidirektional, das heißt, sie nehmen Schall aus allen Richtungen auf. Per Beamforming lässt sich in der CNA-Anordnung eine Herkunftsrichtung des Schalls ermitteln, indem man die mikrosekundengenau erfassten Ankunftszeitpunkte bei den einzelnen Mikrofonen in Beziehung zueinander setzt und den Zeitversatz auswertet. Damit ergibt sich die Peilung, die aufgrund der Kugelform in jede Richtung des Raumes mit der gleichen Genauigkeit funktioniert. Das bedeutet für eine Drohne mit einem solchen Mikrofon-Array, dass sie in jeder Fluglage die Richtung eines erkannten Geräusches sauber bestimmen kann, sie muss dafür nicht exakt waagerecht in der Luft liegen.

Heute lässt sich das Team um Varela die ausgefeilte CNA-Konfiguration von 64 MEMS-Mikrofonen samt Trägerstrukturen aus faserverstärktem Kunststoff mit integrierten Leiterbahnen von einem industriellen Dienstleister fertigen, der sich an einer Vorlagenzeichnung orientiert. Dieser Aufbau umfasst im Durchmesser nur noch etwa 15 cm und wiegt zusammen mit einer FPGA-Karte (Field Programming Gate Array) als Recheneinheit weniger als 1,5 kg. Das Gesamtgewicht glauben die Forscher noch auf etwa ein Kilogramm drücken zu können.

Die Peilung gelingt mit dieser Konfiguration heute mit einer Winkelgenauigkeit von unter einem Grad. Das Verfahren der Schallortung durch Mikrofone im Crow’s Nest Array lassen sich die Forscher derzeit patentieren.

Nebengeräusche ausgefiltert

Den Rotorenlärm, der aufgrund seiner Tonlage und Lautstärke an den Nerven der Beobachter zerrt, kann ein Bandpassfilter vor der Geräuschdetektion effizient ausblenden. Diese Störgeräusche, aber auch Windrauschen bestimmt der Bordrechner binnen weniger Millisekunden und füttert dann den Filter mit den dazugehörigen Frequenzen. Allerdings hat sich gezeigt, dass die Geräuschkulisse unter der Drohne sehr veränderlich ist. Die Drohne erzeugt unterschiedlichen Lärm, je nachdem ob sie zum Beispiel hovert, also dicht über dem Boden schwebt, oder höher fliegt, ob sie beschleunigt oder in eine Windböe gerät. Die Ausfilterung des Drohnenlärms muss das System daher mehrfach in der Sekunde korrigieren. Insbesondere für den Einsatz im Katastrophenfall ist es wichtig, den Filter in Echtzeit anzupassen.

Derzeit optimieren die Forscher dieses System GPS-gesteuert. Das heißt, dass sie die Anpassungsintervalle verkürzen, wenn die Drohne ihre Position und noch mehr, wenn sie ihre Geschwindigkeit ändert. Auch bei Lageänderungen muss das System den Bandpassfilter kurzfristig anpassen. Bei stabiler Fluglage und konstanter Flugbewegung verlängert sich das Intervall dagegen.

Schreie erkennen

Entscheidend ist außerdem die sichere Erkennung von Zielgeräuschen. Eine künstliche Intelligenz soll dabei unterstützen, Hilferufe oder Impulsgeräusche wie etwa Klatschen und Klopfen abzugrenzen von Vogelstimmen oder einem plätschernden Bach. Derzeit bauen die Forscher eine Datenbank auf, mit Beispielen für typische Alarmsignale, Hilfeschreie und andere Impulsgeräusche, die sich durch eine schnell ansteigende Intensität auszeichnen. Dazu greifen sie auf öffentliche Datenbanken wie etwa die der DCASE-Challenge zurück (Detection and Classification of acoustic Scenes and Events), nehmen aber auch selbst Geräusche auf, vor allem bei Rufen und Schreien können sich die Mitglieder des Teams nach Leibeskräften einbringen.

Das Ziel ist es, mit diesen Soundbeispielen eine robuste künstliche Intelligenz zu trainieren, die menschliche Notsignale von anderen Geräuschen der Umgebung unterscheiden kann. Außerdem soll auch diese Geräuscherkennung in Echtzeit ablaufen. Neben unterschiedlichen Klatsch- und Klopfgeräuschen sollte die Datenbank dazu wenigstens 500 unterschiedliche Beispiele für Hilfeschreie umfassen, schätzen die Forscher.

Für die Zukunft plant Varela, in ihren Aufbau auch noch ein Mikrofon für höhere Frequenzen mit aufzunehmen. Das könnte helfen, erkannte Geräusche genauer zu klassifizieren. Bereits mit dem bisherigen System gelang es, Notsignale von Personen auf Entfernungen von mehr als hundert Meter zu erkennen und anzupeilen.

Suchtreffer aufs Tablet gefunkt

Für Rettungskräfte vermag das System bereits heute die Drohnendaten (Breiten- und Längengrad plus Flughöhe) vor einem Kartenhintergrund auf einem Tablet-Computer anzuzeigen. Derzeit verbinden sich Drohne und Tablet per WLAN. Zusätzlich kann die Drohne schon die Peilung von Schallquellen übermitteln. Daraus lassen sich dann mit mehreren Peilungen konkrete Standorte lokalisieren.

Sobald wie geplant eine KI onboard die Schallquellen klassifiziert, kann sich die Drohne auf Notsignale konzentrieren. Sie soll dann nur noch die Peilung ausgewählter Suchtreffer weiterleiten und kann auch das Ergebnis der KI-Klassifikation übermitteln, also ob es sich zum Beispiel um einen Schrei oder ein Klopfen handelt. Es ist sogar denkbar, dass die KI mit der Zeit noch genauere Ergebnisse heraushört, etwa ob eine Frau oder ein Mann um Hilfe gerufen hat.

Zusätzlich denken die Forscher daran, ihr akustisches System mit anderen Sensorsystemen wie etwa Kameras für sichtbares Licht oder Infrarotaufnahmen zu kombinieren. Die automatische Peilung eines Hilferufs kann dann auch dazu dienen, die Kameras auf die entsprechende Stelle auszurichten. Es ist auch denkbar, dass sich mehrere Drohnen gegenseitig unterstützen und durch ihre Peilungen eine Geräuschquelle schneller orten.

Derzeit sind die Fraunhofer auf Partnersuche für ihre akustischen Suchdrohnen. Nach den Tests in realer Einsatzumgebung endet die Arbeit des Forschungsdienstleisters, erläutert Dr. Kai Nürnberger. Das Team hat mittlerweile Kontakt etwa zum THW und zu internationalen Netzwerken wie dem IEDO und Drone Responders. Man hofft, auf deren Testgeländen Versuche starten zu können und gegebenenfalls auch Zugriff auf eine Datenbank mit Soundfiles typischer Notsignale von Hilfesuchenden zu bekommen.

Fliegende Lecksucher

Parallel suchen die Fraunhofer noch Partner aus der Industrie, um ihre Prototypen serienreif umzusetzen. Ein Vorteil soll dabei sein, dass die verwendeten MEMS-Mikrofone Standardbauteile sind, die heute millionenfach in Smartphones zum Einsatz kommen und in Massenproduktion entstehen. Damit ließe sich das konzipierte Mikrofon-Array zu vergleichsweise geringen Kosten herstellen. Nürnberger schätzt, dass schon in einem Jahr ein einsatzfähiger Prototyp am Start stehen kann. Binnen zwei Jahren wäre es möglich, ein fertiges System für die Serienproduktion herzustellen.

Über die Einsatzmöglichkeiten im Rettungseinsatz hinaus sieht Nürnberger noch ganz andere Chancen, Geräusche mit akustischen Sensoren statisch oder mobil an fliegenden Drohnen zu detektieren. Diese Mikrofon-Arrays könnten Vandalismus an Geldautomaten erkennen oder herannahende Drohnen im Sperrbezirk eines Flughafens lokalisieren.

Eine weitere Anwendung, die erst durch einen akkuraten Bandpassfilter möglich wird, ist die automatisierte Suche per Drohne nach Gaslecks in industriellen Anlagen. In diesem Bereich sind oft Inspektionsteams unterwegs, um einem Druckluftabfall oder einem Gasaustritt nachzuspüren. Eine automatisierte Drohne mit darauf ausgerichteter akustischer Sensorik könnte Anlagen turnusmäßig abfliegen und Lecks schneller erfassen. Prinzipiell ist die Geräuscherkennung in geschlossenen Räumen und Hallen sogar leichter zu verwirklichen, da dort keine Windeffekte einzuberechnen sind.

Letztlich könnten akustisch ausgestattete Suchdrohnen jedes beliebige Zielgeräusch detektieren und darauf ausgerichtet im Automatikmodus ihre Routine-Suchrunden fliegen und Monitoring-Aufgaben wahrnehmen. Dazu müssen lediglich die gesuchten Geräusche sowie die typischen Umgebungsgeräusche bekannt sein.

c’t 23/2021

In c’t 23/21 lernen Sie die Tricks der Hacker kennen. Mit den passenden Tools knacken Sie vergessene Passwörter, finden Sicherheitslücken in Ihrem Netz und entschlüsseln Word-Dokumente. Außerdem analysieren wir, was Wordpress so einzigartig macht und helfen beim Einstieg und der Suche nach geeigneten Themes und Plug-ins. Die c't 23/21 finden Sie ab dem 22. Oktober im Heise-Shop und am gut sortierten Zeitschriftenkiosk.

(agr)