AnyLanguageModelからオンデバイスAgent Harnessへ：RK3588 + ESP32-S3 異種協調のエンジニアリング実践

はじめに：オンデバイスエージェントのハードウェアエンジニアリング課題

AnyLanguageModel 1.0はAppleプラットフォーム上でのローカルモデルランタイムの実現可能性を示しましたが、その核心アイデア—モデル推論をハードウェアリソースから分離し、軽量なHarnessを通じてメモリ、電力、タスクスケジューリングを管理する—は、組み込み異種プラットフォームにも同様に適用できます。IDHにとっての真の課題は、限られたRAM/Flash、厳しい電力予算、マイクロシャーシの放熱（≤38°C）制約の下で、LLMと音声対話をAIコンパニオン人形、導波管メガネ、スマートバッジにスムーズに展開する方法にあります。

本記事では、Rockchip RK3588とEspressif ESP32-S3の異種アーキテクチャを例に、エンドクラウドストリーミング協調パイプラインの設計ポイントを分析し、再利用可能なAgent Harnessリファレンス実装を提供します。

異種アーキテクチャの選択：RK3588 + ESP32-S3の分業哲学

チップ仕様と役割分担

| チップモデル | コアリソース | 役割 | 主な制約 | |---------|---------|------|---------| | RK3588 | 4×A76 + 4×A55、6TOPS NPU、8GB LPDDR4X | ローカルLLM推論、音声認識、意図理解 | 消費電力3-5W、アクティブ冷却または大型ヒートスプレッダが必要 | | ESP32-S3 | デュアルコアXtensa LX7 @240MHz、512KB SRAM、8MB PSRAM | 低消費電力オーディオフロントエンド、センサーハブ、ウェイクワード検出 | 消費電力<100mW、冷却不要 | | nRF5340 | デュアルコアCortex-M33、1MB Flash、512KB RAM | BLE/Thread接続、超低消費電力スタンバイ | メガネのテンプルなど省スペースシナリオに適合 | | JieLi JL7016 | 専用オーディオDSP、低消費電力Bluetooth | オーディオコーデック、ノイズリダクション | コスト重視の人形シャーシ |

エンジニアリング推奨：AIコンパニオン人形には、RK3588 + ESP32-S3の組み合わせを推奨します。RK3588は高負荷推論を処理し、ESP32-S3は音声キャプチャと前処理を行います。両者はUART/SPIまたはWi-Fi 6を介して協調します。製品形態が導波管メガネの場合、RK3566（低消費電力版）とnRF5340を組み合わせて全体の消費電力とサイズを削減できます。

メモリとストレージの予算

• RK3588：INT4量子化された1B-3Bパラメータモデル（例：Qwen1.5-1.8B-Chat）を実行するには約1.5-2.5GBのメモリが必要です。システムとモデル用に4GBを確保し、残りをオーディオバッファリングとネットワークスタックに割り当てることを推奨します。モデルファイルはeMMC（≥32GB）に保存され、起動時にNPU専用メモリにロードされます。
• ESP32-S3：ウェイクワードモデル（例：WakeNet）は<200KB RAMを占有します。32KBのオーディオリングバッファ（16kHz、16bit、モノラル、約1秒）を推奨します。PSRAMは音声特徴抽出の中間結果を保存するために使用されます。

量子化スキームと推論最適化

INT4/INT8混合量子化戦略

• LLM本体：AWQ（Activation-aware Weight Quantization）INT4量子化を採用し、RK3588 NPU上で15-20トークン/秒の生成速度を実現（1.8Bモデル）。精度損失は2%以内に抑えられます（FP16比）。
• 音声認識モデル：INT8量子化されたストリーミングConformerまたはWhisper-tinyを使用し、NPU上でリアルタイムファクター（RTF）<0.3を達成。
• ウェイクワードモデル：ESP32-S3上でINT8量子化されたDS-CNNを実行し、誤ウェイクアップ率<1回/24時間。

量子化ツールチェーン：RockchipはONNX/PyTorchモデル変換と量子化をサポートするRKNN-Toolkit2を提供しています。ESP32-S3はESP-DLフレームワークを使用して8ビット量子化が可能です。

メモリ再利用と動的ロード

ピークメモリを削減するために、段階的ロードを採用できます。ウェイクアップ段階ではウェイクワードモデルとオーディオフロントエンドのみをロードし、認識段階ではASRモデルをロードし、生成段階ではASRモデルをアンロードしてLLMをロードします。RK3588 NPUドライバは複数モデルの時分割多重をサポートしており、Harnessでのモデルライフサイクル管理が必要です。

エンドクラウドストリーミング協調パイプライン：全二重<800msレイテンシ設計

パイプラインアーキテクチャ

[マイクアレイ] → ESP32-S3 (AEC/NS/VAD) → ウェイクワード検出 → オーディオストリーム (Opus 16kbps) → Wi-Fi/BLE → RK3588
                                                                         ↓
[スピーカー] ← ESP32-S3 (デコード/再生) ← オーディオストリーム ← RK3588 (TTS) ← LLM生成 ← ASR結果

クリティカルパスレイテンシ内訳（目標<800ms）：

| 段階 | レイテンシ予算 | 実装ポイント | |------|---------|---------| | 音声キャプチャと前処理 | 20ms | ESP32-S3ハードウェアI2S + ソフトウェアAEC | | ネットワーク伝送（Wi-Fi） | 30ms | ローカルWi-Fi 6、UDP伝送 | | ASR認識 | 150ms | ストリーミング認識、初回単語レイテンシ<100ms | | LLM初回トークン生成 | 200ms | INT4量子化 + NPUアクセラレーション | | TTS合成 | 100ms | ストリーミングTTS、初回パケットレイテンシ<50ms | | ネットワーク戻りと再生 | 50ms | オーディオバッファ20ms | | 合計 | ~550ms | マージン確保 |

エンジニアリング推奨：全二重ストリーミングプロトコルを採用します。つまり、ユーザーが話している間に同時に音声をアップロードし、TTSストリームを受信します。これにより「話しながら聞く」インタラクション体験が可能になります。ESP32-S3は全二重I2SとWi-Fi同時接続をサポートする必要があります。ESP-IDFのesp_http_clientとesp_websocket_clientコンポーネントの使用を推奨します。

エンドクラウドタスクオフロード戦略

• ローカル優先：ウェイクワード、VAD、簡単な意図（例：「電気をつけて」）はESP32-S3またはRK3588でローカル処理され、応答<100ms。
• クラウドフォールバック：複雑なQ&Aやマルチターン対話はクラウドLLMにルーティングできますが、ネットワークが利用可能な場合のシームレスな切り替えを保証する必要があります。Harnessは信頼度しきい値を実装すべきです。ローカルLLMの出力信頼度がしきい値を下回る場合、自動的にクラウドに転送します。

放熱と電力予算：≤38°Cマイクロシャーシへの道

熱設計ポイント

• RK3588冷却：人形シャーシのような密閉空間では、グラフェンヒートスプレッダ + マイクロファン（例：5V 3010ファン）または相変化材料が必要です。測定によると、連続LLM推論中にRK3588のジャンクション温度は85°Cに達する可能性があります。1mmグラファイトシートと金属外装伝導により、表面温度を38°C以下（周囲25°C）に制御できます。
• ESP32-S3冷却：低消費電力のためアクティブ冷却は不要ですが、RK3588の熱源に隣接するレイアウトは避けてください。
• 動的電力管理：Harnessは温度認識スケジューリングを実装すべきです。温度センサー（例：TMP117）が筐体温度>36°Cを検出した場合、LLM推論頻度を下げるか、より小さなモデル（例：0.5B）に切り替えて、表面温度が38°Cを超えないようにします。

電力予算例（AI人形）

| コンポーネント | 標準消費電力 | ピーク消費電力 | |------|---------|---------| | RK3588（推論） | 3W | 5W | | ESP32-S3（オーディオ） | 80mW | 120mW | | マイクアレイ | 10mW | 10mW | | スピーカー（1W） | 0.5W | 1W | | 合計 | ~3.6W | ~6.1W |

バッテリー寿命：5000mAhバッテリー（3.7V）で、連続インタラクションは約5時間持続します。スタンバイ（ESP32-S3のみリスニング）消費電力<100mW、バッテリー寿命は最大7日間。

実際の製品形態とエンジニアリング実装の推奨

1. AIコンパニオン人形（LYAAIタイプ）

• ハードウェア構成：RK3588 + ESP32-S3 + デュアルマイク + 1Wスピーカー + 5000mAhバッテリー。
• Harness設計：ESP32-S3はFreeRTOSを実行し、音声キャプチャ、ウェイクワード、VADを担当。RK3588はLinuxを実行し、ASR、LLM、TTS、クラウド通信をホスト。両者はUARTまたはSPIを介して制御コマンドとオーディオストリームを交換。
• 冷却：RK3588に1mmグラファイトシート、熱伝導性プラスチック筐体、構造が許せば通気孔。

2. 導波管メガネ

• ハードウェア構成：RK3566（低消費電力） + nRF5340 + 骨伝導スピーカー + 400mAhバッテリー。
• Harness設計：nRF5340はBLE接続とセンサーハブを処理。RK3566は軽量LLM（0.5B）とASRを実行。スペース制約のため、時分割モデルロードと**動的電圧周波数スケーリング（DVFS）**が必要。
• 冷却：テンプル内部にグラフェンフィルムを貼付し、金属フレームを利用して放熱。表面温度は35°C以下に制御可能。

3. AIスマートバッジ

• ハードウェア構成：ESP32-S3（メイン制御） + クラウド協調、またはRK3566ローカル推論。
• Harness設計：純粋なESP32-S3を使用する場合、ウェイクワードとオーディオフロントエンドのみが実行され、LLMは完全にクラウド。ローカル推論が必要な場合はRK3566を選択し、モデルは0.5B INT4に制限。
• 冷却：バッジは人体に近接するため、表面温度≤38°Cを確保。プラスチック筐体 + グラファイトシートを推奨し、連続推論時間を制限すべき。

結論：再利用可能なAgent Harnessリファレンス設計

AnyLanguageModelのローカルランタイムコンセプトは組み込み分野でも同様に適用できます。鍵はハードウェアリソースに基づいてモデルとタスクを動的にスケジューリングすることです。本記事で提案するRK3588 + ESP32-S3異種アーキテクチャは、量子化、ストリーミングパイプライン、温度認識スケジューリングを通じて、<800msの全二重インタラクションと≤38°Cの表面温度を実現し、AI人形、メガネ、バッジなどの製品形態に再利用できます。実装時には、IDHはメモリ予算、熱設計、エンドクラウド切り替え戦略に焦点を当て、特定のチップモデルに基づいて量子化チューニングを行うべきです。