ESP32-S3ベースのAIスマートドローンコントローラ

クライアント

既存のフライトコントローラプラットフォームにAI搭載の障害物回避と被写体追跡機能を追加する民生用ドローン製造メーカー。

課題

ペイロードが限られ（カメラ＋コンピューティングで合計250g未満）、インターネット接続なしで動作するドローンに、リアルタイムの物体検出と追跡を実装すること。

製品コンセプトとアーキテクチャ

ESP32-S3がビジョンコプロセッサとして機能し、既存のSTM32F7フライトコントローラとUART（MAVLinkプロトコル）で通信。OV5640 5MPカメラが1080pビデオをキャプチャ。

エンジニアリングソリューション

ESP32-S3はESP-DLを実行し、INT8量子化されたYOLO-Nanoモデル（320KB）で人物/障害物検出を30fpsで実現。バウンディングボックス��標をGPS相対オフセットに変換し、MAVLink位置ターゲットとしてフライトコントローラに送信。

結果

30fpsの1080p物体検出。推論レイテンシ20ms。総重量40g未満。