Der sehende Bildschirm

Wissenschaftler am MIT entwickeln ein kostengünstiges Rechnerdisplay, das einen optischen Sensor enthält, der Gesten des Benutzers erkennen kann.

In Pocket speichern vorlesen Druckansicht
Lesezeit: 4 Min.

Spätestens seit dem Erfolg von Apples iPhone setzen sich neue Bedienformen jenseits von klassischer Tastatur und Maus für kleine und große Computer immer mehr durch. Die derzeit beliebteste Variante hört auf den Namen Multitouch: berührungsempfindliche Bildschirme für PC oder Smartphone, die mehrere Finger gleichzeitig erkennen können und erstaunlich natürlich wirkende Gesten verstehen. Mit einem Wisch wird da beispielsweise gescrollt, eine Kneifgeste zoomt Bilder oder Websites heran und bei manchem Actionspiel ersetzt der Daumen auf dem Schirm den guten, alten Joystick.

Das Problem der fortschrittlichen Multitouch-Technik ist allerdings, dass sie sich für stationäre und nicht tafelförmige Geräte ergonomisch gesehen nur schlecht eignet. Müsste er den lieben langen Tag auf seinem Bildschirm herumfingern, bekäme der Benutzer schnell eine Art computerisierte Form des Tennisarms. Es ist schlicht unbequem, ständig die Extremitäten anzuheben – genau deshalb hatte sich ja auch durchgesetzt, dass der Bildschirm schräg vor dem User positioniert ist, während Tastatur und Maus flach auf dem Schreibtisch liegen.

Wissenschaftler am MIT Media Lab um den Forscher Matt Hirsch wollen das Problem nun lösen, indem sie die Finger- und Handgestenerkennung von der Oberfläche des Displays auf den Bereich vor ihm verlagern. Das Forschungsprojekt mit dem Namen "BiDi Screen" – die Abkürzung steht für "bidirektionalen Bildschirm" –, kombiniert einen handelsüblichen Flüssigkristallbildschirm (LCD) mit einem optischen Sensorfeld, das den gesamten Bereich vor dem Display abdeckt. Sogar Objekte, die direkt vor den Bildschirm gestellt werden, sind erkennbar, die Position im Raum wird gleich miterfasst. Durch seine Bidirektionalität kann der BiDi Screen aber auch ganz normal mittels Multitouch bedient werden, wenn der Nutzer seine Finger auf ihn legt.

Im Gegensatz zu früheren Forschungsarbeiten, die den optischen Sensor in Form einer Kamera hinter den Bildschirm setzten oder diese in die Display-Umrandung einbauten, soll der BiDi Screen die Gestenerfassung wesentlich direkter integrieren – und vor allem flacher. Dabei greifen die Forscher auf bereits verfügbar moderne LCDs zurück, die neben den zur Anzeige notwendigen Bildpunkten (Pixels) auch Lichtsensoren enthalten. Diese von Herstellern wie Sharp oder Planar angebotenen Komponenten dienen eigentlich als leichter herzustellender Ersatz für kapazitive Touchscreens, wie man sie aus dem iPhone kennt.

Sie sind jedoch nicht dazu gedacht, Finger und Gesten zu erkennen, wenn sich der Bediener vom Bildschirm entfernt – das Bild, das die Lichtsensoren aufnehmen, verschwimmt nach wenigen Zentimetern. Für eine genaue Erfassung ist es nicht mehr brauchbar. Hier greift nun die Erfindung von Hirsch und seinem Team: Die Forscher trennen Lichtsensoren und Pixel wieder auf und bringen einige Zentimeter (später Millimeter) "Luft" zwischen beide. So lässt sich das Licht modulieren, das die Sensorschicht erreicht – nach dem Modell einer Lochkamera. Es entstehen Hunderte unterschiedlicher Bilder aus verschiedenen Perspektiven, aus denen sich Position und Tiefe einer Hand oder eines anderen Objektes vor dem Bildschirm berechnen lassen. Berühren muss man das Display dazu nicht mehr, der BiDi-Prototyp erkennt alles, was sich im Bereich von 50 Zentimetern vor ihm befindet.

Die Idee, Gesten nicht mehr auf dem Bildschirm, sondern im Raum davor zu erfassen, ist keineswegs neu. So experimentiert die Computerspielebranche in Form der Gerätehersteller Sony und Microsoft mit entsprechenden Technologien. Beim so genannten "Projekt Natal", das im nächsten Jahr auf den Markt kommen soll, erkennt die Xbox-Konsole über einen 3-D-Kameraaufsatz, was ein Spieler gerade tut. Das gelingt auch, wenn er einige Meter entfernt auf dem Sofa sitzt. Das virtuelle Abbild auf dem Bildschirm macht dann alle Bewegungen mit, etwa eine in die Luft vollführte Fecht- oder Boxgeste. Im Vergleich zum BiDi Screen ist diese Technologie allerdings eher grob: "Solche Erkennungssysteme haben immer auch einen toten Winkel", meint der Forscher Hirsch. (bsc)