Controlador de Drone Inteligente com IA baseado no ESP32-S3

Cliente

Um fabricante de drones de consumo adicionando desvio de obstáculos com IA e rastreamento de alvo à sua plataforma de controlador de voo existente.

Desafio

Adicionar detecção e rastreamento de objetos em tempo real a um drone com payload limitado (menos de 250g no total entre câmera e computação) e que deve operar sem conectividade com a internet.

Conceito do Produto e Arquitetura

Um ESP32-S3 atua como co-processador de visão, comunicando-se com o controlador de voo STM32F7 existente via UART (protocolo MAVLink). Uma câmera OV5640 de 5MP captura vídeo em 1080p.

Solução de Engenharia

O ESP32-S3 executa o ESP-DL com um modelo YOLO-Nano quantizado em INT8 (320KB) para detecção de pessoas/obstáculos a 30fps. As coordenadas das bounding boxes são convertidas em deslocamentos relativos ao GPS e enviadas ao controlador de voo como alvos de posição MAVLink.

Resultado

Detecção de objetos em 1080p a 30fps. Latência de inferência de 20ms. Peso total <40g.