Die Branchen, die vom Einsatz von Virtual-Reality- und Mixed-Reality-Szenarien profitieren können, sind vielfältig – angefangen bei Automotive und Fertigung über Gesundheitsindustrie und Education bis hin zur Spieleentwicklung. Die Technologien dazu entwickeln sich derzeit stetig weiter und eröffnen so immer wieder neue Ansätze und Geschäftsfelder, insbesondere im Zusammenspiel mit anderen Technologien wie Künstlicher Intelligenz, Cloud Services oder Internet of Things.
Microsoft hat auf dem Mobile World Congress Ende Februar in Barcelona eine Reihe neuer Angebote und Technologien vorgestellt, die insbesondere für Entwickler viele neue Möglichkeiten mit sich bringen: Azure Kinect Developer Kit, Azure Spatial Anchors, Azure Remote Rendering und HoloLens 2.
Azure Kinect Developer Kit: Modelle für maschinelles Sehen und Hören realisieren
Einige erinnern sich vielleicht noch an die Microsoft Kinect, die für Xbox und Windows unter anderem eine Bewegungssteuerung ermöglichte. Mit dem Azure Kinect Developer Kit (DK) wurde nun eine Weiterentwicklung dieses Angebots vorgestellt, das nur noch halb so groß wie Kinect für Windows v2 ist und deutlich mehr Funktionalität mit sich bringt. Azure Kinect DK wurde mit dem Ziel entwickelt, die wichtigsten KI-Sensoren von Microsoft in einem einzigen Gerät zusammenzufassen.
Azure Kinect DK ist ein PC-Peripheriegerät und Entwicklungskit mit erweiterten KI-Sensoren für verschiedene Modelle im Bereich maschinelles Sehen und Spracherkennung. Es kombiniert einen Tiefensensor und eine räumliche Mikrofonanordnung mit einer Videokamera und einem Lagesensor – das alles in einem kleinen Gerät mit mehreren Modi, Optionen und SDKs.
Kernstück sind der für die Microsoft HoloLens 2 entwickelte Time-of-Flight-Tiefensensor, eine hochauflösende RGB-Kamera sowie sieben kreisförmig angeordnete Mikrofone, mit denen hochmoderne Bildverarbeitungs- und Sprachlösungen auf Basis von Microsoft Azure entwickelt werden können. Das soll Anwendungen ermöglichen, die die Welt nicht nur erkennen, sondern sie auch verstehen, etwa Menschen, Orte und Dinge in der Umgebung.
Für Entwickler werden verschiedene SDKs und APIs zur Verfügung stehen, mit denen sich unterschiedliche Szenarien realisieren lassen. Das Sensor SDK soll Sensorzugriff auf Tiefenkamera, RGB, Beschleunigungssensor und Gyroskop, Gerätekalibrierungsdaten und Synchronisierungssteuerung bieten. Das Body Tracking SDK, welches ebenfalls in Kürze verfügbar sein soll, hat verschiedene Funktionen im Bereich Instanzsegmentierung, 2D-Keypoints, 3D-Verbindungen und -Landmarks sowie Erfassung und Erkennung mehrerer Personen und deren Bewegungen im Angebot.
Hinzu kommen die Vision APIs, die Zugriff auf erweiterte Algorithmen für die Bildverarbeitung und Informationsgewinnung wie OCR (Optical Character Recognition) oder Bildkategorisierung bieten. Über das Speech Service SDK erhalten Entwickler schließlich Zugriff auf Features wie Spracherkennung, Sprachübersetzung und Absichtserkennung.
Wo kann das Azure Kinect DK eingesetzt werden?
Ein gutes Beispiel für den Einsatz des Azure Kinect DK ist Ocuvera aus dem Gesundheitsbereich. Dort wird die Technologie dazu verwendet, zu verhindern, dass Patienten in Krankenhäusern stürzen. Allein in den USA gibt es jedes Jahr über 1 Million Krankenhauspatienten, die von Stürzen betroffen sind, ganze 11.000 Stürze davon sind tödlich. Mit Azure Kinect können die Auslöser für einen Sturz ermittelt werden. Durch Scannen des Krankenzimmers und der Bewegungen darin, kann dann im Falle des Falles rechtzeitig eine Krankenschwester benachrichtigt werden.
Azure Spatial Anchors: Eine virtuelle Welt auf verschiedenen Geräten sehen
Neben den zwei Hardware-Produkten Azure Kinect DK und HoloLens 2 hat Microsoft auch zwei neue Azure-Dienste vorgestellt. Mit dem Cloud-Dienst Azure Spatial Anchors können Entwickler mit Mixed-Reality-Plattformen arbeiten, um Räume wahrzunehmen, spezielle Punkte (Points of Interest) zu bestimmen und diese von unterstützten Geräten abzurufen. Diese genauen Punkte werden als räumliche Anker bezeichnet. Unterstützt werden derzeit Microsoft HoloLens, iOS-basierte Geräte, die Support für ARKit bieten, und Android-basierte Geräte, die Support für ARCore bieten.
Die Einsatzmöglichkeiten der Azure Spatial Anchors sind vielfältig. Beispielsweise können sich dadurch zwei Personen, die sich an einem Ort befinden, jeweils mit ihrem Gerät in eine Multi-User-VR-Anwendung einloggen. Dies könnte beispielsweise ein virtuelles Schachspiel sein, dass dann beide Personen über ihr Gerät vor sich auf einem Tisch sehen.
Spatial Anchors können auch miteinander verknüpft werden, sodass Szenarien möglich werden, bei denen man verschiedene Aufgaben in einer bestimmten Reihenfolge erledigen muss. Wenn dann ein Ankerpunkt meldet, dass die Aufgabe erledigt wurde, gibt der nächste Ankerpunkt seine Aufgabe frei. Diese Funktion eignet sich nicht nur für den Einsatz in Spielen, sondern könnte auch für Unternehmen interessant sein, zum Beispiel um bestimmte Reihenfolgen oder Arbeitsabläufe einzuhalten.
Ein drittes exemplarisches Szenario wäre das Hinterlassen von virtuellem Content in realen Umgebungen. Dies könnte eine Notiz auf einer Maschine sein oder eine Anmerkung in einem Konferenzraum, die man dann über eine VR-Anwendung sehen kann.
Azure Remote Rendering: Hochwertige 3D-Modelle für mobile Geräte
In Szenarien, in denen jedes Detail zählt – zum Beispiel in der industriellen Werksverwaltung, bei der Designprüfung für komplexe Ressourcen wie LKW-Motoren oder bei der medizinische Planung – können mittels 3D-Visualisierung alle Details deutlich sichtbar gemacht werden. Sie hilft Designern, Ingenieuren, Ärzten und vielen anderen dabei, komplexe Informationen besser zu verstehen und darauf reagieren zu können.
Um mit hochwertigen 3D-Modellen auf mobilen Geräten und Mixed-Reality-Headsets interagieren zu können, müssen die 3D-Modelle für die Ausführung auf dem Zielgerät allerdings häufig reduziert oder vereinfacht werden. In Szenarien wie Design-Überprüfungen oder medizinischer Planung ist jedoch jedes Detail von Bedeutung und die Vereinfachung von Ressourcen kann zum Verlust wichtiger Informationen führen, die für wichtige Entscheidungen erforderlich sind. Der Cloud-Dienst Azure Remote Rendering setzt hier an und rendert hochwertige 3D-Inhalte in der Cloud und überträgt sie ohne Verluste an die Endgeräte.
HoloLens 2: Verbesserungen bei Immersion und Tragekomfort
Die Mixed-Reality-Brille HoloLens gehört mit Sicherheit zu den bekanntesten Angeboten von Microsoft im Bereich Virtual Reality und Mixed Reality. Mit HoloLens 2 wurde jetzt die zweite Generation vorgestellt. Im Vergleich zur Vorgängerversion bietet HoloLens 2 ein mehr als doppelt so großes Sichtfeld, einen deutlich verbesserten Tragekomfort durch einen optimierten Schwerpunkt und eine überarbeitete und intuitivere Interaktion mit Hologrammen. Auf Basis von Kundenfeedback wurde die Mixed-Reality-Brille unter anderem in diesen drei Kernbereichen weiterentwickelt:
Immersion: Bei der neuen HoloLens-Version sehen Hologramme lebendiger und realistischer aus. Verglichen mit dem Vorgänger hat das Gerät ein mehr als doppelt so großes Sichtfeld, während die Auflösung von 47 Pixeln pro Sichtgrad beibehalten wurde. Möglich wurde diese Leistungssteigerung durch ein neues Anzeigesystem, das nur sehr wenig Energie verbraucht.
Darüber hinaus wurde auch die Interaktion mit Hologrammen grundlegend überarbeitet: Dank eines neuen Time-of-Flight-Tiefensensors, integrierter Künstlicher Intelligenz und semantischer Analyse wird der Umgang mit Hologrammen ähnlich intuitiv wie mit Objekten in der realen Welt.
Zudem wurde die HoloLens 2 mit Eyetracking-Sensoren ausgestattet – diese ermöglichen beispielsweise eine biometrische Authentifizierung per Iriserkennung via Windows Hello. Durch diesen Schritt kann ein Gerät, zum Beispiel in Unternehmen, auch von mehreren Personen einfach und sicher genutzt werden.
Tragekomfort: Die HoloLens 2 besitzt einen ausgewogenen Schwerpunkt, damit das Gerät auch bei längerer Nutzung angenehm zu tragen ist. Durch die Verwendung von Kohlenstofffasern ist das Gerät zudem leichter als der Vorgänger. Durch einen neuen Mechanismus passt sich das Gerät beim Aufsetzen komfortabel jeder Kopfform an – das „Dial-in-Fit“-System erlaubt dabei auch das Tragen über einer Brille.
Schnelle Einsatzbereitschaft: Dank bestehender Mixed-Reality-Programme von Microsoft wie Dynamics 365 Remote Assist und Dynamics 365 Layout sowie neuer Anwendungen wie Dynamics 365 Guides erhalten Unternehmen ein vielfältiges Angebot an Services für verschiedene Branchen und Szenarien, die Unternehmen im Rahmen der fortschreitenden Digitalisierung einen echten Mehrwert liefern. Nicht zuletzt profitieren Firmen von dem umfangreichen Mixed Reality Partner-Ökosystem, welches kontinuierlich erweitert wird.
Microsoft HoloLens 2 wird im Laufe des Jahres zunächst in den USA, Japan, China, Deutschland, Kanada, Großbritannien, Irland, Frankreich, Australien und Neuseeland zu einem Preis von 3.500 US-Dollar verfügbar sein. Vorbestellungen sind ab sofort möglich.
