GDC Next: Wie Kinect 2.0 Spieler scannt
Ende dieses Monats erscheint die nächste Generation der 3D-Kamera Kinect. In Los Angeles demonstrierte Microsoft, was die verbesserten Sensoren über Spieler alles herausfinden können.
Ben Lower, Developer Community Manager bei Microsoft, konnte bei seinem Vortrag nicht still hinter dem Mikrofon stehenbleiben. Schließlich gab er den Zuhörern auf der GDC Next in Los Angeles einen Überblick über die neueste Kinect-Generation, die auf der am 22. November erscheinenden Xbox One zur Bewegungssteuerung und Gesichtserkennung eingesetzt wird. Eine Version für Windows soll 2014 folgen.
Kinect 2.0 (9 Bilder)
Rumhüpfen
Man muss jetzt zum Spielen nicht mehr das Sofa verrücken: Kinect 2.0 erkennt bis zu sechs Personen schon ab einem Abstand von 50 Zentimetern bis zu einer Entfernung von 4,5 Metern. Wegen seiner Weitwinkel-Optik kann das System auf die Kippautomatik der gegenwärtigen Generation verzichten.
Die Farbkamera zeichnet Bilder im 1080p-Format mit 30 Frames pro Sekunde auf, der Infrarot-Sensor registriert 512 × 424 Bildpunkte – rund dreimal so viele wie der Vorgänger. Die Software-Module erkennen, wer der Spieler ist, ob er zur Kamera oder zur Seite schaut, welchen Gesichtsausdruck er dabei macht, ob er sitzt oder sich bewegt und welche Position seine Hände haben.
Die verbesserte Erkennung soll neue Anwendungen ermöglichen, wie Ben Lower demonstrierte. Er führte auf der GDC Next vor, wie man mit wenigen Schritten sein Abbild in eine Wüstenlandschaft versetzt – "Green Screen ohne den Green Screen" nennt er das.
Während an die Xbox One nur eine Kinect-Kamera angeschlossen werden kann, werde man mit der Windows-Version bis zu sechs Kameras mit einem PC koppeln können, die Bewegungen von bis zu 36 Personen scannen. Aufgrund der hohen Datenmenge benötigt jede Kamera allerdings ihren eigenen USB-Controller. Im Pilotprojekt Playoke filmt die Software bis zu 36 Spieler in einem Fitnessstudio, wie sie vorgegebene Tanzsschritte nachturnen. Das System sei für professionelle Tanz- und Fitnessstudios gedacht.
Knotenpunkte
Um Begriffsneuschöpfungen nicht verlegen, nennt Microsoft die neuen Kamerafähigkeiten NUI Evolution - wobei NUI für New User Interface steht. Die Personenerkennung der Kamera verpasst dem digitalen Skelett des Benutzers 22 Knotenpunkte.
"Wir haben die Hüftgelenke etwas tiefer und damit anatomisch korrekter gesetzt", erklärt Ben Lower. "Dadurch erkennt Kinect besser, wenn man sich zur Seite lehnt. Außerdem gibt es einen neuen Gelenkpunkt für den Hals, wodurch jetzt auch Bewegungen wie ein Schulterzucken erkannt werden."
Kinect kriegt außerdem mit, in welche Richtung sich die jeweiligen Extremitäten drehen, beziehungsweise welche Muskeln dabei zum Einsatz kommen. Die Kinect-Kamera soll sogar den Pulsschlag des Spielers erkennen. Bei einer Live-Demo klappte das allerdings nicht, nur ein einziges Mal schlug die Kurve aus. "Wenn das jetzt funktionieren würde, würdet ihr einen deutlich erhöhten Puls sehen", lacht Ben Lower.
Herz und Hand
Dank verbesserter Erkennung von Daumen und Fingerspitzen sollen Spieler nicht mehr gezwungen sein, ihre Arme windmühlengleich vor dem Fernseher hin- und herzuschwingen. Zum Aktivieren von Kinect reicht es, in die Kamera zu schauen, die Hand in die "Steuerungszone" zu bewegen und die Handfläche wie zum Gruß in Richtung Kamera zu öffnen. Kinect könne HD-Scans der Gesichter aufnehmen, benötigt dafür aber einiges an Rechenleistung, sodass Lower den Entwicklern riet, die Funktion bei rechenintensiven Spielen nicht die ganze Zeit zu aktivieren.
Andere Gesten löst die Kamera ebenso feiner auf: Bewegt man die Hand in Richtung Bildschirm, kann man Menüpunkte durch ein "Drücken" auswählen. Gescrollt und gezoomt wird mit der geschlossenen Faust. "Durch kleine Handgelenksbewegungen sind Aktionen wie Wischen, Schießen, Peitschen, Schlagen oder Werfen möglich", sagt Ben Lower.
Mit dem Visual Gesture Builder (VGB) kann man Kinect eigene Gesten beibringen. Dazu nimmt der VGB die Bewegungen mehrfach auf und destilliert daraus die grundlegende Geste. Lower demonstrierte dies anhand von Lenkradbewegungen: Eine Kollegin hatte die entsprechende Geste zuvor 20 mal aufgenommen, sodass Kinect sie in verschiedenen Variationen korrekt erkannte und am Bildschirm anzeigte, ob nun nach rechts oder links gesteuert wurde.
Für Windows steht inzwischen das Kinect SDK 1.8 zum kostenlosen Download bereit. Diese Entwicklungsumgebung unterstützt bei der Digitalisierung von Personen jetzt auch die Farberkennung und texturiert sie korrekt. Kinect für Windows soll zudem neben C++, C# und Visual Basic auch per HTML5 und Javascript in Web-Apps angesteuert werden können. Eine Einführung in die Programmierung von Kinect gibt es auf heise Developer: Workstation auf Tuchfühlung - Einführung in die Kinect-Programmierung (hag)
