Open Source: Zeitgesteuerte Kamera mit KI-Überwachung

Auf Basis eines ESP32-S3 hat Maker Hiroshi Nakajima eine Fotokamera mit Zeitsteuerung und AI-Funktionen gebaut. Ausgestattet ist das Projekt mit einer OV5640-ESP-32-Kamera, die bis zu 2592 × 1944 Pixel große Aufnahmen machen kann. Nakajima nutzt kein fertiges ESP-Board, sondern hat ein eigenes entworfen, auf dem alle Bauteile platziert werden.

Eingepasst wird die Technik in ein 3D-gedrucktes Gehäuse. Mit einem integrierten Schaltkreis für kabelloses Laden kann der eingebaute 1100-mAh-Akku geladen werden.

Die WiFi-Funktionalität des ESP32 wird genutzt, um die Kamera ins Netzwerk zu bringen. Über eine Weboberfläche können Einstellungen des Aufnahmeintervalls der Fotos und der Standby-Phasen gemacht werden. Beispielsweise kann die Kamera zu einer bestimmten Uhrzeit aus dem Schlafmodus aufwachen, ein Foto schießen und dann bis zur nächsten programmierten Uhrzeit wieder in den Energiesparmodus gehen. Auch Aufnahmen in bestimmten Intervallen sind möglich. Diese Aufnahmen werden dann im eingebauten 64-Gigabyte-Speicher abgelegt.

Analyse mit ChatGPT

Die geschossenen Bilder lassen sich dann mit OpenAIs ChatGPT analysieren. Dafür werden sie über das Internet an OpenAIs-Service geschickt und auf ein bestimmtes Merkmal hin untersucht. Nakajima hat die Kamera entworfen, um sofort über einen Sturz seines Vaters informiert zu werden, damit er Hilfe holen kann.

Dafür werden die Bilder mit einem Prompt (einer Anweisung für die KI) versehen. Beispielsweise "If there is somebody, add 'NOTICE' in the reply and reason. If there is nobody, just reply 'NONE'". Erkennt die KI nun jemanden auf dem Bild, bekommt die Kamera "Notice" zurückgespielt. Daraufhin wird das Bild zu einem Imagehoster hochgeladen und der Link zu diesem Bild per LINE (ein Messenger) verschickt. Dadurch wird eine Benachrichtigung ausgelöst und man kann direkt nachschauen, was auf dem Bildausschnitt zu sehen ist.

Open-Source-Design

Auf der Projektseite hat Hiroshi Nakajima noch eine Liste von anderen Anwendungsfällen bereitgestellt – beispielsweise als Haustierüberwachung oder Sicherheitssystem. Auf dieser Seite sind auch detaillierte Schritte zum Nachbau der Kamera zu finden. Auf der GitHub-Seite des Projekts sind KiCad- und STL-Dateien sowie Code und Schaltpläne bereitgestellt.

Wer zu Hause einen Nistkasten hat, und diesen kontrollieren möchte, kann sich dazu Informationen in unserem Artikel zur Nistkasten-Anwesendheitskontrolle holen.

(das)