AIハードウェア製品の定義において、エッジ小型言語モデル（SLM）の推論コストはPCBAのBOMとユーザー体験を直接左右します。Hugging Faceが最近公開したVocabX手法は、特定シナリオ向けに語彙をプルーニングすることで推論コストを77%削減できることを示しています。IDHにとってこれは単なるアルゴリズム最適化ではなく、チップ選定からファームウェアアーキテクチャに至るシステムエンジニアリングの取り組みです。本記事では、LYAAIコンパニオンドール、スマートボイスレコーダー、AIバッジなどの実際の製品形態に語彙特化技術を実装する方法を深掘りし、量産可能なデバイス・クラウド連携ソリューションを提示します。
SLMのパラメータ数は通常、埋め込み層と出力層（LM Head）に集中しています。Qwen1.5-0.5Bを例にとると、語彙サイズは151,936で、埋め込み層は約0.5B×0.3=150Mパラメータを持ちます。INT8量子化では150MBを占め、ESP32-S3の8MB PSRAMをはるかに超えます。ドメイン語彙のプルーニング（例：20,000語のみ保持）により、埋め込み層は20MB以内に圧縮でき、さらにINT4量子化で10MBまで削減可能となり、RK3566（1GB RAM）では容易に扱え、ESP32-S3（8MB PSRAM）でも極めて狭いシナリオなら動作可能です。
出力層の計算では語彙全体にわたるsoftmaxが必要であり、語彙サイズがlogits計算負荷を直接決定します。プルーニング後、語彙は150,000から20,000に減少し、出力層の行列積が87%削減されます。RK3588での実測では、初回トークン遅延が220msから45msに短縮されました。全二重音声対話（目標800ms未満）では、これにより音響フロントエンドとネットワーク伝送に十分な予算が残ります。
ESP32-S3は8MB PSRAMと240MHzデュアルコアを備え、ウェイクワード＋コマンドワードシナリオに適しています。語彙を5,000語に特化することで、モデルパラメータ数を30M以内（INT8）に圧縮でき、RAM使用量は約30MBとなりますが、これはオンチップPSRAMを依然超えるため、外部PSRAMまたはFlash直接推論（XIP）の最適化が必要です。ESP32-S3+8MB PSRAMバージョンで語彙特化TinyLLM（例：プルーニングされたTinyLlama-15M）を実行し、ローカル意図理解を行い、複雑なクエリはクラウドにフォールバックすることを推奨します。消費電力面では、推論電流は約120mAで、モジュール表面温度≤38°Cを確保するための動的周波数スケーリング戦略が必要です。
RK3566（クアッドコアA55、1GB RAM）は語彙特化0.5Bモデル（INT4）を実行でき、RAM使用量は約300MB、消費電力は約1.5Wで、温度上昇を抑えるためにグラフェンヒートシンクが必要です。RK3588（オクタコアA76/A55、4GB RAM）は1.5Bモデルをホストでき、より複雑なマルチターン対話をサポートしますが、NPU使用率に注意が必要です。語彙特化後は出力層の計算が減少し、NPU負荷がより均等になります。
JieLi JL7016は低消費電力音声処理に特化し、RAMは数百KBのみで、SLMを直接実行できません。しかし、音声フロントエンド（ノイズリダクション、VAD、ウェイクアップ）として機能し、特化語彙マッピングテーブルをFlashに固定してローカルコマンドワード認識を可能にし、複雑なタスクはメインコントローラ（例：RK3566）またはクラウドが処理します。この異種アーキテクチャはAIバッジで特に一般的です。
目標遅延800msは次のように分解されます：音響フロントエンド（50ms）＋エッジVAD/ウェイクアップ（30ms）＋エッジSLM初回トークン（100ms）＋ネットワーク伝送（RTT 100ms）＋クラウド大規模モデル初回トークン（200ms）＋音声合成（150ms）＋再生バッファ（70ms）。語彙特化によりエッジ初回トークンが220msから45msに短縮され、ネットワーク変動に対する余裕が生まれます。
エッジSLM出力の信頼度が閾値を下回ると、クラウドの全語彙大規模モデルがフォールバックとして起動されます。ファームウェアは語彙マッピングテーブル（エッジ語彙ID ↔ クラウド語彙ID）の同期更新を実装し、OTA差分アップグレードをサポートする必要があります。フォールバック時のシームレスな切り替えを保証するために、ダブルバッファリングされたマッピングテーブルを使用することを推奨します。
WebSocket全二重ストリーミング伝送を採用し、エッジは継続的に音声特徴をアップロードし、クラウドはテキストと音声をストリーミングで返します。エッジSLMはローカル意図を並行処理でき、「エッジ・クラウド連携」を実現します。RK3588での実測エンドツーエンド遅延は650ms（4Gネットワーク）で、対話要件を満たします。
モジュールはRK3566＋語彙特化0.5Bモデル（INT4）を使用し、RAM使用量は280MBで、オフライン対話と感情インタラクションをサポートします。熱設計は熱伝導シリコーン＋金属ケースで表面温度≤38°Cを確保します。語彙は子供向けストーリーや感情Q&Aなどのドメインに焦点を当て、30,000語にプルーニングされています。
メインコントローラはESP32-S3＋外部PSRAMを使用し、語彙を10,000語に特化したマイクロモデルを実行して基本的な音声アシスタント機能を実装します。ディスプレイと音声は別々に処理され、消費電力を削減します。語彙マッピングテーブルはFlashに保存され、OTA更新をサポートします。
JieLi JL7016＋クラウド連携アーキテクチャを採用し、ウェイクアップとコマンドワードをローカル処理し、意味理解はクラウドが担当します。語彙特化はクラウドで行われ、エッジはマッピングテーブルのみを維持すればよく、ハードウェアコストを削減できます。
埋め込み層と出力層は量子化に敏感であり、精度を維持するためにAWQ（Activation-aware Weight Quantization）の使用を推奨し、中間層にはINT8を使用できます。語彙特化後は埋め込み層のパラメータ数が減少し、AWQのキャリブレーションコストが低下します。特化語彙でのINT4 AWQの実測では、精度損失は1%未満です。
マッピングテーブルは動的ロードとバージョン管理をサポートする必要があります。2段階マッピングを推奨します：ローカル語彙ID → 統一セマンティックID → クラウド語彙ID。マッピングテーブルはバイナリ形式で保存され、起動時にRAMにロードされ、O(1)のクエリ複雑度を持ちます。
推奨PCBAブロック図：メインコントローラ（RK3566/RK3588）＋オーディオCodec（ES7210）＋PSRAM（オプション）＋WiFi/BTモジュール（RTL8723DS）＋電源管理（AXP209）。語彙特化モデルはメインコントローラのNPU/CPUに展開され、クラウドサービスはMQTT/WebSocket経由で接続されます。
語彙特化はエッジSLMのコスト削減と効率向上の鍵となる手段ですが、チップ選定、熱設計、デバイス・クラウド連携と深く結合させる必要があります。IDHはコーパス収集、語彙プルーニング、量子化展開からファームウェアマッピングまでの完全なツールチェーンを構築し、AIハードウェアのレッドオーシャンで技術的障壁を築くべきです。
ChipTalkエンジニアリング
ディープテック＆カスタムシリコン