AI Smart Drone Controller auf Basis des ESP32-S3

Kunde

Ein Hersteller von Consumer-Drohnen, der seine bestehende Flight-Controller-Plattform um KI-gestützte Hindernisvermeidung und Subjektverfolgung erweitern möchte.

Herausforderung

Hinzufügen von Echtzeit-Objekterkennung und -verfolgung zu einer Drohne mit begrenzter Nutzlast (unter 250g für Kamera und Recheneinheit) und ohne Internetverbindung.

Produktkonzept & Architektur

Ein ESP32-S3 fungiert als Vision-Coprozessor und kommuniziert über UART (MAVLink-Protokoll) mit dem vorhandenen STM32F7 Flight Controller. Eine OV5640 5MP-Kamera erfasst 1080p-Video.

Technische Lösung

Der ESP32-S3 führt ESP-DL mit einem INT8-quantisierten YOLO-Nano-Modell (320KB) zur Personen- und Hinderniserkennung mit 30fps aus. Die Bounding-Box-Koordinaten werden in GPS-relative Offsets umgerechnet und als MAVLink-Positionsziele an den Flight Controller gesendet.