BMWs Vision iNEXT kommt mit erweiterter Gestensteuerung

BMW präsentiert auf dem MWC das System BMW Natural Interaction, das die übliche Sprachsteuerung im Fahrzeug um eine Gesten- und Gesichtserkennung erweitert. Dank BMW Natural Interaction soll der Fahrer Sprache, Gesten und Blicke gleichzeitig und in vielseitiger Kombination miteinander nutzen können, um mit dem Fahrzeug zu interagieren. Die verbesserte Gestenerkennung erreicht das System durch IR-Sensoren, die den gesamten vorderen Fahrzeugbereich ausleuchten und insbesondere die Bewegungen von Händen und Fingern dreidimensional erfassen können. So ist es möglich, präzise Richtungsvektoren zu ermitteln und Aktionen per Fingerzeig ausführen zu lassen.

Kamera und IR-Sensor im Innenraum

Eine im Kombiinstrument verbaute High-Definition-Kamera registriert zusätzlich die Kopf- und Blickrichtung des Fahrers. Alle vom Fahrer multimodal ans Fahrzeug übermittelten Funktionen werden zusammengeführt und von einer künstlichen Intelligenz ausgewertet. Ein Fingerzeig auf ein Seitenfenster und der Befehl "öffnen" lässt die Scheibe heruntergleiten.

Bild 1 von 10

BMW MWC (10 Bilder)

Zudem ist ein digitaler Assistent an Bord, der Sprach- und Gestensteuerung kombiniert. So soll es möglich sein, während der Fahrt beispielsweise auf ein Restaurant am Straßenrand zu zeigen und zu fragen, um was es sich dabei handelt. Das System soll dem Fahrer dann etwa den Namen, eine Kundenbewertung mitteilen und eine Tischreservierung per Sprachbefehl erlauben.

Hierfür setzt BMW mehrere Techniken und Dienstleister ein. In der ersten Stufe kommen die POI-Daten des eigenen Kartendienstes Here Maps zum Einsatz. Für Funktionen wie Speisekarten, Tischreservierungen und Nutzerbewertungen greift man auf externe Dienstleister zurück wie Yelp und OpenTable zurück, erklärte BMW auf Nachfrage von heise online.

Dem Problem, dass das Zeigen auf ein Gebäude aus dem Fahrzeug heraus nur durch Kameras keine hundertprozentige Genauigkeit liefert, will BMW mit der Kombination aus Zeigegesten und der Verknüpfung von Semantik begegnen. Fragt der Fahrer etwa, welches Restaurant sich neben dem Fahrzeug befindet, sortiert die KI alle POIs in der Umgebung, die nicht in die Kategorie "Restaurant" fallen automatisch aus, um die Trefferquote zu erhöhen.

Verarbeitung lokal und in der Cloud

Die Sprach- und Gestenerkennung soll laut BMW lokal im Fahrzeug erfolgen und auf KI zurückgreifen. Komplexe Sprachbefehle leitet das Fahrzeug an die BMW-Server weiter, wo eine Online-Erkennung durchgeführt wird. Theoretisch ist das KI-System in der Lage, sich an Gesten und Sprachen des Fahrers spezifisch anzupassen – zumindest für die Version zur Markteinführung ist das aber nicht geplant.

Die Präsentation von Natural Interaction erfolgt im Rahmen einer Mixed Reality Experience auf dem BMW-Stand. Mit Hilfe einer VR-Brille nebst entsprechender Kulisse wird der Passagier auf einen virtuellen Trip im Vision iNEXT geschickt. Das virtuelle Fahrzeug erkennt dabei Gesten und Befehle des Fahrers und gibt im automatisierten Fahrmodus sogar Auskunft über die Gebäude, die man während der Fahrt durch die virtuelle Stadt passiert. Die "ersten Funktionsumfänge" von BMWs Natural Interaction sollen ab 2021 im Elektroauto Vision iNEXT erstmals verfügbar sein. (sha)