SignAll stellt Entwicklern SDK für Gebärdensprache mit MediaPipe zur Verfügung

Inhaltsverzeichnis

SignAll, ein Startup-Unternehmen hat ein Software Development Kit (SDK) freigegeben, womit Entwickler die Eingabe von Gebärdensprache in ihren Anwendungen ermöglichen können. Das Unternehmen bietet seit Kurzem eine interaktive Lern-App im App Store an, mit der Nutzer das Gebärden üben können und direktes Feedback erhalten.

MediaPipe als Grundlage

SignAll hat sich der Arbeit an Techniken zur Übersetzung von Gebärdensprache verschrieben. Ziel ist es, die Übersetzung von Gebärdensprache allgemein verfügbar zu machen, sowohl in der Kommunikation zwischen Gehörlosen und Hörenden als auch zwischen Gehörlosen und Computern. Die Produkte von SignAll, die in den USA sowohl im Kommunikations- als auch im Bildungsbereich zum Einsatz kommen, arbeiten mit einem komplexen Multi-Kamera-Setup und Handschuhen mit farbigen Markern. Gebärdensprache lebt jedoch nicht allein von der Bewegung der Hände, sondern schließt die Mimik und den Körper als Ganzen mit ein. Die genaue Verfolgung der Hände gilt laut Google seit langem als großes Hindernis in der ersten Verarbeitungsebene, der Computer Vision.

Google habe nach eigenen Angaben mit der Veröffentlichung des Cross-Plattform-Frameworks MediaPipe eine Grundlage zur Entwicklung von Software zur Erkennung von Gebärdensprache und die Integration in eigene Anwendungen gelegt. MediaPipe dient zur Verarbeitung von Daten wie Audio- und Videostreams über eine ML-Perception-Pipeline. Es ist vor allem auf das Prototyping ausgelegt. Mit MediaPipe hatte SignAll die Möglichkeit, ihr Angebot nicht nur ohne zusätzliche Handschuhe, sondern auch mit Verwendung von nur einer Kamera anzubieten.

Wie funktioniert die Gebärdenerkennung?

SignAlls Software verwendet mehrere Layer zur Erkennung der Gebärdensprache. Jede dieser Schichten verarbeitet mehr und mehr komplexer werdende Daten. Der Low-Level-Layer extrahiert Hand-, Körper- und Gesichtsdaten aus 2D- und 3D-Kameras. In der ersten Implementierung erkennt diese Schicht die Farben der Handschuhe und erzeugt 3D-Handdaten. Die Entwickler hinter SignAll haben diese Schicht durch MediaPipe Hands ersetzt (ergänzt durch MediaPipe Pose und MediaPipe Face Mesh), was dazu führt, dass die Software ohne Handschuhe oder spezielle Beleuchtung genutzt werden kann.

SignAll greift zur Erfassung der Daten auf mehrere Kameras mit Tiefensensoren zurück, die in der realen Welt kalibriert werden. Die Kameras sind in Position und Ausrichtung so positioniert, dass sie die Hände im Fokus und keine Hand beim Gebärden unbeobachtet bleibt.

Mit der Integration von MediaPipe Pose und MediaPipe Face Mesh werden auch die Daten über die Position der Hände und die Mimik erfasst.

Weitere Informationen

Das SignAll SDK funktioniert mit den Plattformen Android, Windows 10, Linux, iOS und macOS. Es benötigt lediglich ein Endgerät mit einer Frontkamera, die mindestens eine Auflösung von 640x480x Pixel und 30 fps aufweisen muss. Nähere Informationen zum SDK finden sich im Beitrag auf dem Google Developers Blog sowie auf der Produktwebseite. Wer mehr Informationen wie Dokumentation, API-Dokumentation und Beispielen interessiert ist, kann sich mit dem Start-up in Verbindung setzen.

(mdo)