Microsofts erweiterte Realität

Microsoft-Wissenschaftler haben eine neue Software präsentiert, die in Echtzeit computergenerierte Informationen über eine digitalisierte Ansicht der realen Welt legen kann. Die Anwendung aus dem Bereich der "Augmented Reality" (AR), zu Deutsch: erweiterte Realität, läuft derzeit auf einem tragbaren Rechner mit Kamera, soll aber bald auf Handys übertragen werden.

Michael Cohen, leitender Forscher bei Microsoft Research im amerikanischen Redmond, glaubt, dass der Ansatz künftigen Smartphones eine weitere Dimension hinzufügen könnte: "Stellen Sie sich vor, Sie stehen auf der Straße, halten das Gerät hoch und würden die Daten eines Restaurants angezeigt bekommen, über das die Kamera gerade schwenkt - komplett mit Menü und Bewertungen durch andere Nutzer." Ein AR-Handy könnte auch einen Busfahrplan und eine ungefähre Ankunftszeit der nächsten Linie darstellen, wenn man das Gerät auf eine Straße richtet. "Das Mobiltelefon wird damit zu einem echten Informationsportal."

Cohen und seine Kollegen zeigten die AR-Technik auf dem "TechFest", einer jährlich stattfindenden Minimesse der Forschungsabteilung des Softwareriesen. Ihr Programm analysiert Aufnahmen einer Kamera, gleicht diese mit Bildern in einer Datenbank ab und legt dann Zusatzinformationen über das Realbild auf dem Display. Die Forscher sehen diverse Anwendungsmöglichkeiten auch im beruflichen Bereich - so könnten Bauingenieure mit einem AR-Handy beispielsweise die Strom- und Wasserleitungen, die in einer Straße verlegt wurden, "sehen". Auf dem TechFest durften die Besucher mit dem Prototypen eine Schnitzeljagd veranstalten und mussten einen virtuellen Goldschatz auffinden, der sich auf dem Gelände versteckte.

Forschung im AR-Bereich wird schon seit mehr als zehn Jahren betrieben, allerdings brauchte man bei früheren Prototypen noch schwere Display-Brillen und einen Rucksack voller Hardware. Seit einiger Zeit werden stattdessen auf Handys und Mini-Laptops mit Kameras als Brücke in die AR-Welt verwendet - die Geräte sind inzwischen leistungsfähig genug, um die notwendige Rechenarbeit zu leisten, die notwendig ist. Forscher bei Nokia und an der Columbia University arbeiten ähnlich wie Microsoft an entsprechenden Systemen und ein japanisches Start-up namens Tonchidot versucht gerade, aus der Idee ein erstes Produkt zu machen.

Die meisten AR-Systeme müssen ihre Position im Raum genau festlegen können, um verlässlich zu arbeiten. Einige nutzen dazu GPS-Satellitenempfänger oder verwenden eine Triangulierung mittels mehrerer WLAN-Signale. Die Ausrichtung wird wiederum über einen Beschleunigungssensor und einen digitalen Kompass ermittelt. Microsofts AR-Prototyp wählt einen anderen Ansatz: Die verwendete Software konzentriert sich darauf, Objekte innerhalb einer von der Kamera erfassten Szene mittels fortschrittlicher Bilderkennungsalgorithmen zuzuordnen. Auf dem TechFest fand die Demonstration unter dafür idealen, kontrollierten Bedingungen statt - dementsprechend verwendeten die Forscher weder GPS noch WLAN zur Positionsbestimmung und setzen voll auf die Bilderkennung.

Der Abgleich gespeicherter Informationen in einer Datenbank mit realen Objekten ist eine Herausforderung - besonders, wenn sie unabhängig von Aufnahmewinkel und Lichtbedingungen funktionieren soll. Cohen und sein Kollege Simon Winder, leitender Forschungsingenieur bei Microsoft, haben deshalb mehrere Algorithmen entwickelt, die die Aufgabe einzelbildweise erledigen. Das ist in Echtzeit mit einem Videosignal bereits möglich.

Bei der Entwicklung ihrer Software legten die Forscher vorab fest, welche Parameter und Charakteristika dem System am meisten helfen, Objekte zu erkennen. Dabei kam maschinelles Lernen zum Einsatz, über das sich schnell passende Eigenheiten erfassen und speichern ließen.

Für ihre Demonstration knipsten Cohen und sein Team zunächst die Konferenzhalle, in der das TechFest stattfand. Die Bilder wurden dann mit einer Bilderkennungssoftware analysiert und die wichtigsten Bereiche in einer Datenbank abgelegt. Dazu verwendeten die Forscher einen Laptop mit eingebauter Kamera.

"Es dauert minimal eine Zehntelsekunde, bis die Software ein Bild erkannt und mit der Datenbank abgeglichen hat", sagt Cohen. Bei der Demonstration zauberten die Software-Entwickler eine Spur aus digitalen Bläschen auf das Display, dem der Nutzer folgen musste, um den virtuellen Goldschatz zu entdecken.

Noch handelt es sich bei Microsofts AR-Vorhaben um ein reines Forschungsprojekt. Laut Cohen gibt es dementsprechend noch viel Verbesserungsbedarf. Die Parameter, die zur Erkennung physischer Objekte verwendet werden, könnten beispielsweise noch genauer sein, erklärt er. All das diene aber nur der Optimierung, das Grundprinzip funktioniere.

Eine weitere Herausforderung liegt darin, herauszufinden, wie ein solches System unter Echtbedingungen, also nicht in einer kontrollierten Umgebung, funktionieren kann. Kari Pulli, Forscher bei Nokia, sagt, dass die derzeit hauptsächlich nachgefragte praktische AR-Anwendung im Bereich von Museen liege - als virtueller Tourguide. "Das ist einfach, weil sich die Umwelt nicht verändert." Nun gehe es darum, ein solches System auch in freier Natur, etwa in einer Innenstadt, praktikabel zu machen. Pulli glaubt, dass beispielsweise die Kartendienste von Google, Microsoft oder Navteq dabei helfen könnten.

Microsoft-Forscher Cohen hofft unterdessen, dass die von seinem Team entwickelten Bilderkennungsalgorithmen auch in anderen Bereichen nutzbar sind - etwa im Spiele- und Roboterbereich. Konkrete Produkte erwartet er in nächster Zeit aber nicht. (bsc)