Steuern mit allen Sinnen

Der folgende Text ist der Print-Ausgabe TR 04/2009 entnommen. Das Heft kann online nachbestellt werden.

Die Wahrnehmungskanäle des Menschen ergänzen sich nicht nur, sondern verstärken einander. Die Erforschung des Phänomens kann dabei helfen, Autounfälle zu verhindern, realistischere Flugsimulatoren zu bauen und die Informationsflut besser zu bewältigen.

Ein Abend im Restaurant "The Fat Duck" ist in jedem Fall ein außergewöhnliches Erlebnis. Besonders wenn der Gast ein Gericht namens "Sound of the Sea" bestellt. Dann bekommt er in einer Art Schatzkiste verschiedene Meeresfrüchte serviert, die auf einem sandstrandähnlichen Bett aus Stärke-Extrakt liegen. Und einen iPod mit Kopfhörern. Nein, "The Fat Duck" ist kein Kinder-Erlebnisrestaurant, sondern ein mit drei Sternen gekröntes Feinschmeckerlokal im kleinen Städtchen Bray bei London. Indem sein Chef Heston Blumenthal Gourmets beim Genuss der Meeresfrüchte mit dem Geräusch von Wellen beschallt, will er ihr Geschmacksempfinden zusätzlich verstärken. Im Fat Duck essen also Augen und Ohren mit – und die Gäste sind begeistert. Das ganze Arrangement bringe die "Sinne richtig in Schwung", kommentiert eine Besucherin.

Ersonnen hat Blumenthal das Konzept gemeinsam mit Charles Spence. Spence leitet das Crossmodal Research Laboratory an der Oxford University, sein Forschungsgebiet ist die multisensorische Wahrnehmung: die Fähigkeit des Gehirns, Informationen von allen Sinnessystemen auszuwerten, um ein möglichst genaues und reichhaltiges Bild von der Umwelt zu kreieren. "Wir wollen wissen, wie diese verschiedenen Sinnesinformationen verarbeitet und zu einem Gesamteindruck integriert werden", sagt Spence.

In seinem Labor ergründet er nicht nur, wie Hören, Sehen, Fühlen, Riechen, Schmecken zusammenarbeiten und sich gegenseitig beeinflussen, sondern vor allem, wie sich das in konkrete Anwendungen umsetzen lässt. Ein besseres Verständnis der multisensorischen Wahrnehmung werde sich gravierend auf die Gestaltung verschiedenster Dinge auswirken, von Haushaltsgeräten und Mobiltelefonen über Autos bis hin zu den Orten, an denen wir arbeiten und leben, prophezeit Spence. Aus seiner Sicht keine allzu gewagte Prognose, denn schon jetzt erhält sein Institut einen Großteil der Fördergelder aus der Industrie, unter anderem von Toyota und Unilever. "Viele Firmen erkennen, wie wichtig es ist, das Wahrnehmungssystem zu verstehen, um ein optimales Produkt herzustellen", sagt er.

Damit hinkt die Industrie der Wissenschaft nur um wenige Jahre hinterher. Zwar erforschen Neurowissenschaftler und Physiologen schon seit ewigen Zeiten die Sinne, aber stets nur isoliert. "In der wirklichen Welt werden fast immer mehrere Sinne gleichzeitig stimuliert", meint Charles Spence. "Deshalb kommt es einem fast verrückt vor, dass die Wissenschaft gedacht hat, man könnte die menschliche Wahrnehmung begreifen, indem man die Sinnessysteme isoliert betrachtet."

Dass sich dies jetzt ändert, zeigte sich vergangenes Jahr auf dem International Multisensory Research Forum in Hamburg. Über 200 Wissenschaftler verschiedener Fachrichtungen – Hirnforscher, Biologen, Mediziner, aber auch Kybernetiker, Ingenieure, Computerexperten und Spezialisten für künstliche Intelligenz – tauschten dort vier Tage lang ihr Wissen über das Zusammenspiel der Sinne und potenzielle Anwendungen aus. Mit von der Partie war auch Mark Wallace. Der Leiter des Multisensory Research Laboratory der Vanderbilt University in Nashville registriert eine "Explosion" des Forschungsgebiets, in dem er zu den führenden Köpfen gehört. Wallace arbeitet viel mit Barry Stein zusammen, dem "Vater der Multisensorik". Bereits vor über 20 Jahren fand Stein gemeinsam mit Alex Meredith multisensorische Hirnareale, deren Neuronen auf Reize von verschiedenen Sinnessystemen ansprechen. "Eigentlich eine sensationelle und wegweisende Entdeckung, nur hat ihnen lange niemand zugehört", sagt Wallace. "Hätte man das gleich ernst genommen, wäre die Forschung heute ein gutes Stück weiter."

Etwa bei der Frage, wo und wie im Gehirn die Sinne verschmelzen. Die klassische Modellvorstellung glaubt, dass die "einzelnen Sinnessysteme quasi getrennte, eigenständige Abteilungen sind, die erst ganz zum Schluss im assoziativen Kortex, der höchsten Verarbeitungsebene des Gehirns, zusammengeführt werden", sagt Wallace. Inzwischen gibt es aber Belege dafür, dass die sensorische Integration bereits viel früher geschieht. So stellten Forscher des Londoner University College fest, dass die Aktivität in der Sehrinde von Probanden, die einen kurzen Lichtblitz direkt neben ihrer Hand erblicken, ansteigt, wenn sie an ihren Fingern zusätzlich Tastreize wahrnehmen. Und Wallace fand in den Randgebieten von Hirnarealen, die eigentlich als spezifisch für einen bestimmten Sinn angesehen wurden, Nervenzellen, die auch auf andere sensorische Reize ansprechen.

"Input von mehreren Sinnen macht die Wahrnehmung schneller und präziser", sagt Wallace und nennt als Beispiel eine Cocktail-Party. Schaut man einem Sprecher auf den Mund, wird das Gesagte trotz des akustischen Wirrwarrs im Raum klarer und deutlicher, denn die Bewegungen der Lippen liefern für das Verständnis wertvolle Zusatzinformationen. Wie Hirnscans zeigen, steigt sowohl die Aktivität des Seh- als auch des Hörsystems, wenn visuelle und akustische Signale gleichzeitig eintreffen. Selbst Reize, die für sich allein unter der Wahrnehmungsschwelle liegen – etwa ein extrem leiser Ton oder ein sehr schwacher Lichtblitz –, werden erkannt, wenn sie gemeinsam auftreten, berichtet Wallace. Im Gehirn kommt es also zu einem Synergie-Effekt zwischen Hören und Sehen – die sogenannte "multimodale Verstärkung".

Solche Erkenntnisse interessieren auch das US-Militär. So bekam Wallace vor einigen Jahren eine Anfrage der Defense Advanced Research Projects Agency, die für das Verteidigungsministerium Forschungsprojekte durchführt. "Zu dieser Zeit gab es sehr viele Unfälle mit Kampfflugzeugen", erinnert sich Wallace. Bei der Analyse stellten die Militärs fest, dass bei den Piloten ein Informationslimit erreicht war – bedingt durch immer komplexere Kontrollsysteme, die fast ausschließlich an den Sehsinn appellierten. Sein Auftrag lautete, ein Cockpit zu bauen, das visuelle, auditorische und taktile Reize verbindet, "damit mehr Informationen vermittelt werden können, ohne die Kampfpiloten zu überfordern". Eine spannende Aufgabe, meint der Forscher. Abgelehnt hat er trotzdem: "Ich mag es nicht, Geld von der Regierung zu bekommen."

Auch ohne ihn treibt das Militär das Projekt weiter voran. So wurde im Forschungslabor der Air Force eine Technologie mit dem Namen Sord (Spatial Orientation Retention Device) entwickelt und getestet. Teil des Systems ist eine Weste mit bis zu 64 eingenähten vibrierenden Elementen, mit denen sich Brustkorb, Rücken und Seiten der Piloten gezielt anregen lassen. Ein von der Nasa übernommenes 3-D-Audio-System erlaubt es zudem, Soundquellen beliebig im Raum zu platzieren. Zusätzlich werden noch Symbole ins Visier des Helms eingeblendet. "Sord liefert dem Piloten ergänzende Informationen zur Fluglage, die es ihm erlauben, auch unter desorientierenden Bedingungen weiterzufliegen", erklären die Wissenschaftler der Air Force. Mark Wallace beschäftigt sich indessen lieber mit einem Grundprinzip der multisensorischen Integration, der Zeitregel. Sie besagt, dass zwei Sinnesreize nur dann als zusammengehörig erkannt werden, wenn sie mehr oder weniger gleichzeitig eintreffen.

Wenn ein Kind zum Beispiel Lesen lernt, muss es das, was es hört, mit dem, was es sieht, schnell und akkurat verknüpfen – also etwa die geschriebene Buchstabenfolge "H-u-n-d" mit dem Klang des Wortes "Hund". Genau hier hat Wallace eine Ursache der weitverbreiteten Lese-Rechtschreib-Schwäche ("Dyslexie") ausgemacht: "Menschen mit Dyslexie kombinieren optische und akustische Informationen über einen sehr langen Zeitraum", erklärt Wallace. "Weil in diesem Zeitfenster aber zwei oder drei verschiedene visuelle und auditorische Ereignisse stattfinden können, gibt es bei ihnen Konfusion darüber, welche sie miteinander verbinden sollen." Um Abhilfe zu schaffen, hat sein Team ein spezielles Wahrnehmungstraining entwickelt. Das Prinzip ist simpel: Die Teilnehmer müssen beurteilen, ob zwei Reize – ein Ton- und ein Lichtsignal – simultan stattfinden, und bekommen sofort ein Feedback, ob ihre Einschätzung richtig war. Auf diese Weise sollen sie ihr Bewusstsein für das Problem schärfen. Schon eine Stunde Training verschmälert laut Wallace das Fenster, in dem zwei Stimuli als zusammengehörig eingeordnet werden, deutlich.

Charles Spence hat noch eine wesentlich größere Zielgruppe im Visier als die Millionen Patienten mit Lese-Rechtschreib-Schwäche – die Milliarden Autofahrer. Auch bei ihnen ist – ähnlich wie bei Jetpiloten – die Informationsverarbeitung via Sehsinn bis an den Rand der Kapazitäten gefordert, wie zahlreiche Untersuchungen belegen. Bereits heute benutzen einige Hersteller deshalb nichtvisuelle Reize. Bei Citroën etwa warnt ein vibrierender Sitz vor dem Verlassen der Fahrspur. Doch auch solche Systeme appellieren wieder nur an einen einzigen Sinn. Spence setzt hingegen auf die Kombination von akustischen und taktilen Reizen: "Das menschliche Gehirn hat sich so entwickelt, dass Ereignisse, die gleichzeitig über verschiedene Sinne eintreffen, als besonders wichtig erachtet werden und deshalb maximale Aufmerksamkeit wert sind."

Die beiden Ereignisse in Spences Warnsystem sind ein Hupton und ein im Bauchbereich vibrierender Sicherheitsgurt. Tests im Fahrsimulator ergaben: Verglichen mit einem rein akustischen Signal verkürzt die multisensorische Warnung die Reaktionszeit um bis zu 200 Millisekunden. Schon dadurch ließe sich die Zahl der Auffahrunfälle um 10 bis 15 Prozent reduzieren, meint Spence. In spätestens zehn Jahren, hofft der Sinnesforscher, werden multisensorische Warnsysteme in Autos Standard sein.

probeflug auf dem industrieroboter Wer zu Heinrich Bülthoff will, sollte ein Navigationssystem haben. Das Max-Planck-Institut für biologische Kybernetik liegt am hintersten Ende einer kleinen Seitenstraße am Stadtrand von Tübingen. Bülthoff ist Direktor der Abteilung Wahrnehmung, Kognition und Handlung, einer rund 70-köpfigen, bunt gemischten Truppe von Biologen, Informatikern, Physikern, Mathematikern und Psychologen. Sie untersucht multisensorische Verarbeitung in einer weltweit wohl einzigartigen Forschungseinrichtung – dem Cyberneum. In dem vor drei Jahren eröffneten Gebäude auf dem Max-Planck-Campus wird mit modernsten Virtual-Reality-Technologien gearbeitet.

Mit der VR-Technik lassen sich künstliche Welten bauen, die der Realität sehr nahe kommen. Anders als in der wirklichen Welt ist es aber ohne Weiteres möglich, die Umgebungsbedingungen gezielt zu verändern – etwa indem bestimmte sensorische Reize ein- oder ausgeblendet werden. Das Cyberneum sei das perfekte Instrument, um menschliche Sinneswahrnehmungen unter natürlichen Bedingungen zu verstehen, meint Bülthoff und öffnet die Tür zu einer etwa 15 mal 15 Meter großen Halle mit mindestens sieben Meter hohen schwarzen Wänden. In der Mitte steht ein riesiger, ziemlich martialisch aussehender Industrieroboter, wie er auch in der Autofertigung eingesetzt wird. An seinem Ende ist ein Schalensitz montiert, ein gekrümmter Monitor füllt das gesamte Gesichtsfeld aus, zwischen den Knien befindet sich ein Steuerknüppel. Anders als mit klassischen Flugsimulatoren, die sich zwar in alle Richtungen kippen lassen, dabei aber immer fest auf dem Boden bleiben, kann der "Robocoaster" Beschleunigung deutlich besser nachbilden und zur Not auch mal den Piloten auf den Kopf stellen.

"Probeflug?", fragt Bülthoff. Warum nicht. Techniker Michael Kerger zieht den Sechspunktgurt stramm und erklärt die Aufgabe. Sie lautet, vor einer längs auf dem Bildschirm zu sehenden Wand auf der Stelle zu fliegen – zu hovern, wie Helikopterpiloten sagen. "Den Knüppel ganz sanft bewegen", gibt Kerger einen letzten Tipp und zieht die Treppe weg. In rasanter Geschwindigkeit kreist der Roboterarm nach links. Zum Glück ist der Anschlag gebremst. Vorsichtig zurück – stopp – zu weit – gegenlenken – aah! Wieder rauscht der Arm mit 4,5 Metern pro Sekunde gen links. Nach einer Weile geht es besser. Doch auch der Schwierigkeitsgrad steigt, denn plötzlich springt die virtuelle Mauer ein Stück nach rechts. Hinfliegen, Position halten – Sidestep-Manöver heißt das. Im diesem Fall ist es eher ein wildes Hin- und Herpendeln. "Pilot induced oscillation durch Überkontrollieren", ruft Bülthoff. "Sie bewegen die Steuerung zu hektisch, sodass der Heli nicht abgefangen wird, sondern wieder in die andere Richtung beschleunigt." Das sei bei Anfängern typisch, ließe sich aber lernen.

Welche Sinne für die Hover-Kontrolle wie wichtig sind, ist noch unklar. Fest steht: Das visuelle System spielt eine zentrale Rolle. So haben selbst erfahrene Helikopterpiloten bei schlechter Sicht Probleme, ihr Fluggerät auf der Stelle zu halten. Neben dem Sehsinn helfen bei der Stabilisierung aber auch das Gleichgewichtsorgan im Innenohr sowie Sensoren der Haut, die Beschleunigung anhand des Drucks von Sitz und Gurt auf den Körper erkennen. Wenn die Forscher Störsignale auf die Bewegungsfühler geben, etwa indem sie durch eine Gegenbewegung des Sitzes dessen Anpressdruck ändern, können sie Rückschlüsse auf das Zusammenspiel der einzelnen Sinnesorgane ziehen.

Ihre Erkenntnisse möchten die Forscher auch nutzen, um bessere Flug- und Fahrsimulatoren und entsprechende Trainingsmethoden zu entwickeln: "Wenn wir wissen, wie die Sinnessysteme interagieren, wissen wir auch, wie wir ihnen am besten ein realistisches Szenario vorgaukeln", sagt Bülthoff. In einem gerade anlaufenden Projekt soll der Roboterarm Notfälle im Flugverkehr simulieren. Zunächst sei das allerdings noch Grundlagenforschung, sagt Heinrich Bülthoff.

Doch die Wissenschaftler vom MPI haben noch weitere Anwendungen in der Pipeline. Etwa ein Mensch-Maschine-Interface, das sich nicht wie üblich auf Auge und Ohren beschränkt, sondern zusätzlich mit taktilen Reizen arbeitet. "Wir müssen deutlich mehr Informationen multisensorisch darreichen, weil dadurch die Verarbeitungsgeschwindigkeit steigt und die Aufnahmekapazität zunimmt", sagt Wallace. "Anders können wir den zunehmenden Informations-Overload gar nicht managen." Einige Handyhersteller sind gerade dabei, den Tastsinn für sich zu entdecken. Sie entwickeln Touchscreens, die ein haptisches Feedback geben. "Dadurch steigt die Benutzerfreundlichkeit deutlich", sagt Bülthoff. "Über das Fühlen mit den Fingern bekommt man eine zusätzliche Positionsinformation, die es erleichtert, die Tasten auf dem Display zu lokalisieren."

Doch führt das Ganze nicht irgendwann zu einer multisensorischen Inflation, bei der gedankenlos eingesetzte Warnsysteme irgendwann auch die anderen Wahrnehmungskanäle überladen, so wie heute schon oft den Sehsinn? Bülthoff sieht die Aufgabe der Multisensorik-Forschung vor allem darin, genau dies zu vermeiden: Es gehe darum herauszufinden, wie man Warnsysteme richtig einsetzt, ohne dass sie ablenken oder zu falschen Reaktionen führen.

Wenn man die Prinzipien der multisensorischen Interaktion wirklich versteht, könnte man das durchaus auch für autonome Robotersysteme nutzen. Nur ist das doch sehr junge Forschungsgebiet davon noch ein gutes Stück entfernt. "Um eine robuste Wahrnehmung zu erzeugen, kombiniert und integriert unser Gehirn permanent Informationen von verschiedenen Sinnessystemen", sagt Bülthoff. Dass das Denkorgan zu dieser kognitiven Höchstleistung fähig sei, mache die Überlegenheit der natürlichen über die künstliche Intelligenz aus. (bsc)