ESP32-S3 기반 AI 스마트 드론 컨트롤러

클라이언트

소비자용 드론 제조사가 기존 비행 컨트롤러 플랫폼에 AI 기반 장애물 회피 및 피사체 추적 기능을 추가하려 했습니다.

과제

제한된 탑재량(카메라+컴퓨팅 총 250g 미만)을 가진 드론에 실시간 객체 감지 및 추적을 구현해야 했고, 인터넷 연결 없이도 작동해야 했습니다.

제품 개념 및 아키텍처

ESP32-S3가 비전 코프로세서 역할을 하며, UART(MAVLink 프로토콜)를 통해 기존 STM32F7 비행 컨트롤러와 통신합니다. OV5640 5MP 카메라가 1080p 비디오를 캡처합니다.

엔지니어링 솔루션

ESP32-S3는 ESP-DL을 실행하며, INT8 양자화된 YOLO-Nano 모델(320KB)을 사용해 30fps로 사람/장애물을 감지합니다. 바운딩 박스 좌표는 GPS 상대 오프셋으로 변환되어 MAVLink 위치 타겟으로 비행 컨트롤러에 전송됩니다.

결과

30fps 1080p 객체 감지. 20ms 추론 지연 시간. 총 중량 40g 미만.