Controlador de dron inteligente con IA basado en ESP32-S3

Cliente

Un fabricante de drones de consumo que añade evitación de obstáculos y seguimiento de sujetos con IA a su plataforma de controlador de vuelo existente.

Desafío

Añadir detección y seguimiento de objetos en tiempo real a un dron con carga útil limitada (menos de 250g en total para cámara y cómputo) y que debe operar sin conectividad a internet.

Concepto del producto y arquitectura

Un ESP32-S3 actúa como coprocesador de visión, comunicándose con el controlador de vuelo STM32F7 existente mediante UART (protocolo MAVLink). Una cámara OV5640 de 5MP captura video en 1080p.

Solución de ingeniería

El ESP32-S3 ejecuta ESP-DL con un modelo YOLO-Nano cuantizado a INT8 (320KB) para detección de personas y obstáculos a 30fps. Las coordenadas del cuadro delimitador se convierten en desplazamientos relativos al GPS y se envían al controlador de vuelo como objetivos de posición MAVLink.

Resultado

Detección de objetos en 1080p a 30fps. Latencia de inferencia de 20ms. Peso total <40g.