KI-Brille übersetzt Zeichensprache on the Fly
Mithilfe eines Raspberry Pi Zero und cloudbasierter KI kann eine 3D-gedruckte Brille Zeichensprache in gesprochenes Wort übersetzen.
![Eine weiße, 3D-gedruckte Brille vor orangem Hintergrund. In der Mitte zwischen den Linsen ist eine Kamera zu sehen.](https://heise.cloudimg.io/width/610/q85.png-lossy-85.webp-lossy-85.foil1/_www-heise-de_/imgs/18/4/5/7/8/6/2/9/Brille-KI-6b4c0fd3259a0324.jpeg)
[Link auf https://www.hackster.io/DkMt/sign-language-translator-spectacle-b7fab5]
- Daniel Schwabe
Maker Nekhil hat eine Brille gebaut, die Zeichensprache in gesprochene Sprache übersetzt. Für die Bilderkennung wird in dem Projekt ein Raspberry Pi Kamera Modul 3 verwendet. Diese Kamera bietet eine Auflösung von 4608 auf 2592 Pixel bei 12 Megapixeln. Die Bilder der Kamera werden über das Internet an den Cloud-Service Viam weitergeleitet. Als Herzstück basiert die Brille auf einem Raspberry Pi Zero 2 W, der mit einem Quadcore-Prozessor aus Cortex-A53-Kernen ausgestattet ist, die mit 1 GHz getaktet werden. Außerdem werden 512 MB LPDDR2-SDRAM genutzt.
Viam kann eingesetzt werden, um eigene Projekte mit cloudbasierten Services, wie KI-Datenverarbeitung etc. auszustatten. Dort werden die Daten von einem KI-Modell verarbeitet, das die Zeichen in einzelne Buchstaben übersetzt. Das verwendete KI-Modell heißt asl-letters-yolov8 und ist dafür erstellt worden, um die Buchstaben in der American Sign Language zu erkennen.
Die Buchstaben werden dann über einen Text-to-Speech-Service (Text-zu-Sprache) von Google in gesprochene Sprache umgewandelt und lokal mit einem über ein PAM8403-Modul verstärkten und mit einer USB-Soundkarte angeschlossenen Lautsprecher ausgegeben.
Eine Demo der Brille in Aktion gibt es auf Nekhils YouTube-Kanal.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Für die Zukunft ist geplant, die Fähigkeiten der Brille von einzelnen Buchstaben hin zu komplexeren Elementen der Zeichensprache zu erweitern.
Wer mehr darüber erfahren möchte, wie Maker medizinische Hilfsmittel optimieren, findet dazu Informationen in unserem Artikel.
(das)