Contrôleur de drone intelligent IA basé sur ESP32-S3

Client

Un fabricant de drones grand public ajoutant l'évitement d'obstacles et le suivi de sujet alimentés par IA à sa plateforme de contrôleur de vol existante.

Défi

Ajouter la détection et le suivi d'objets en temps réel à un drone ayant une charge utile limitée (moins de 250g caméra+calcul) et devant fonctionner sans connectivité internet.

Concept produit et architecture

Un ESP32-S3 agit comme coprocesseur de vision, communiquant avec le contrôleur de vol STM32F7 existant via UART (protocole MAVLink). Une caméra OV5640 5MP capture une vidéo 1080p.

Solution d'ingénierie

L'ESP32-S3 exécute ESP-DL avec un modèle YOLO-Nano quantifié en INT8 (320KB) pour la détection de personnes/obstacles à 30fps. Les coordonnées des boîtes englobantes sont converties en décalages relatifs au GPS et envoyées au contrôleur de vol comme cibles de position MAVLink.

Résultat

Détection d'objets 1080p à 30fps. Latence d'inférence de 20ms. Poids total <40g.