Dans la définition des produits d'IA matériels, le coût d'inférence des petits modèles de langage en périphérie (SLM) détermine directement le BOM du PCBA et l'expérience utilisateur. La méthode VocabX récemment partagée par Hugging Face montre que l'élagage du vocabulaire pour des scénarios spécifiques peut réduire le coût d'inférence de 77 %. Pour un IDH, il ne s'agit pas seulement d'une optimisation algorithmique mais d'un effort d'ingénierie système couvrant la sélection des puces jusqu'à l'architecture du firmware. Cet article analyse en profondeur comment mettre en œuvre la technologie de spécialisation du vocabulaire dans des formes de produits réels telles que les poupées compagnons LYAAI, les enregistreurs vocaux intelligents et les badges IA, et présente une solution de collaboration appareil-cloud prête pour la production de masse.
Le nombre de paramètres des SLM est généralement concentré dans la couche d'embedding et la couche de sortie (LM Head). En prenant Qwen1.5-0.5B comme exemple, sa taille de vocabulaire est de 151 936, et la couche d'embedding compte environ 0,5B×0,3=150M de paramètres. Avec une quantification INT8, elle occupe 150 Mo, bien au-delà des 8 Mo de PSRAM de l'ESP32-S3. Grâce à l'élagage du vocabulaire de domaine (par exemple, ne conserver que 20 000 mots), la couche d'embedding peut être compressée à moins de 20 Mo, et encore réduite à 10 Mo avec une quantification INT4, ce qui la rend facilement abordable pour le RK3566 (1 Go de RAM), et même l'ESP32-S3 (8 Mo de PSRAM) peut l'exécuter dans des scénarios extrêmement restreints.
Le calcul de la couche de sortie nécessite un softmax sur l'ensemble du vocabulaire, et la taille du vocabulaire détermine directement la charge de calcul des logits. Après élagage, le vocabulaire est réduit de 150 000 à 20 000, réduisant la multiplication matricielle de la couche de sortie de 87 %. Sur le RK3588, la latence mesurée du premier token passe de 220 ms à 45 ms. Pour une interaction vocale full-duplex (objectif <800 ms), cela laisse un budget confortable pour le front-end acoustique et la transmission réseau.
L'ESP32-S3 dispose de 8 Mo de PSRAM et d'un double cœur à 240 MHz, adapté aux scénarios de mot de réveil + mot de commande. En spécialisant le vocabulaire à 5 000 mots, le nombre de paramètres du modèle peut être compressé à moins de 30M (INT8), avec une utilisation de RAM d'environ 30 Mo—dépassant encore la PSRAM intégrée, nécessitant une PSRAM externe ou une optimisation par inférence directe depuis la Flash (XIP). Il est recommandé d'utiliser la version ESP32-S3+8 Mo de PSRAM pour exécuter un TinyLLM spécialisé par vocabulaire (par exemple, un TinyLlama-15M élagué) pour la compréhension locale des intentions, les requêtes complexes étant renvoyées au cloud. En termes de consommation, le courant d'inférence est d'environ 120 mA, et une stratégie de mise à l'échelle dynamique de la fréquence est nécessaire pour garantir une température de surface du module ≤38 °C.
Le RK3566 (quadricœur A55, 1 Go de RAM) peut exécuter un modèle 0,5B spécialisé par vocabulaire (INT4), avec une utilisation de RAM d'environ 300 Mo et une consommation d'environ 1,5 W, nécessitant un dissipateur en graphène pour contrôler l'élévation de température. Le RK3588 (octocœur A76/A55, 4 Go de RAM) peut héberger un modèle 1,5B, prenant en charge des dialogues multi-tours plus complexes, mais il faut prêter attention à l'utilisation du NPU—après spécialisation du vocabulaire, le calcul de la couche de sortie diminue, rendant la charge du NPU plus équilibrée.
Le JieLi JL7016 se concentre sur le traitement audio à faible consommation avec seulement quelques centaines de Ko de RAM, et ne peut pas exécuter directement des SLM. Cependant, il peut servir de front-end vocal (réduction de bruit, VAD, réveil), avec la table de mappage du vocabulaire spécialisé fixée en Flash pour permettre la reconnaissance locale de mots de commande, tandis que les tâches complexes sont gérées par le contrôleur principal (par exemple, RK3566) ou le cloud. Cette architecture hétérogène est particulièrement courante dans les badges IA.
La latence cible de 800 ms doit être décomposée en : front-end acoustique (50 ms) + VAD/réveil en périphérie (30 ms) + premier token du SLM en périphérie (100 ms) + transmission réseau (RTT 100 ms) + premier token du grand modèle cloud (200 ms) + synthèse vocale (150 ms) + tampon de lecture (70 ms). La spécialisation du vocabulaire réduit le premier token en périphérie de 220 ms à 45 ms, laissant une marge pour les fluctuations du réseau.
Lorsque la confiance de la sortie du SLM en périphérie est inférieure à un seuil, un grand modèle cloud à vocabulaire complet est déclenché pour le repli. Le firmware doit mettre en œuvre des mises à jour synchrones de la table de mappage du vocabulaire (ID de vocabulaire en périphérie ↔ ID de vocabulaire cloud), en prenant en charge les mises à niveau différentielles OTA. Il est recommandé d'utiliser une table de mappage à double tampon pour garantir une commutation transparente lors du repli.
Une transmission en streaming full-duplex WebSocket est adoptée, la périphérie téléchargeant en continu les caractéristiques audio et le cloud renvoyant en streaming le texte et l'audio. Le SLM en périphérie peut traiter les intentions locales en parallèle, permettant une « collaboration périphérie-cloud ». Sur RK3588, la latence de bout en bout mesurée est de 650 ms (réseau 4G), répondant aux exigences d'interaction.
Le module utilise un RK3566 + modèle 0,5B spécialisé par vocabulaire (INT4), avec une utilisation de RAM de 280 Mo, prenant en charge le dialogue hors ligne et l'interaction émotionnelle. La conception thermique utilise du silicone thermique + boîtier métallique pour garantir une température de surface ≤38 °C. Le vocabulaire se concentre sur des domaines tels que les histoires pour enfants et les questions-réponses émotionnelles, élagué à 30 000 mots.
Le contrôleur principal utilise un ESP32-S3 + PSRAM externe, exécutant un micro-modèle avec un vocabulaire spécialisé à 10 000 mots pour mettre en œuvre des fonctions d'assistant vocal de base. L'affichage et la voix sont traités séparément pour réduire la consommation. La table de mappage du vocabulaire est stockée en Flash et prend en charge les mises à jour OTA.
Adopte une architecture JieLi JL7016 + collaboration cloud, avec un traitement local du réveil et des mots de commande, et le cloud responsable de la compréhension sémantique. La spécialisation du vocabulaire est effectuée dans le cloud, et la périphérie n'a qu'à maintenir la table de mappage, réduisant le coût matériel.
Les couches d'embedding et de sortie sont sensibles à la quantification ; il est recommandé d'utiliser AWQ (Activation-aware Weight Quantization) pour maintenir la précision, tandis que INT8 peut être utilisé pour les couches intermédiaires. Après spécialisation du vocabulaire, le nombre de paramètres de la couche d'embedding est réduit, abaissant le coût de calibration de l'AWQ. Les mesures montrent qu'avec INT4 AWQ sur le vocabulaire spécialisé, la perte de précision est <1 %.
La table de mappage doit prendre en charge le chargement dynamique et la gestion des versions. Une double mappage est recommandée : ID de vocabulaire local → ID sémantique unifié → ID de vocabulaire cloud. La table de mappage est stockée au format binaire, chargée en RAM au démarrage, avec une complexité de requête O(1).
Schéma fonctionnel PCBA recommandé : contrôleur principal (RK3566/RK3588) + codec audio (ES7210) + PSRAM (en option) + module WiFi/BT (RTL8723DS) + gestion d'alimentation (AXP209). Le modèle spécialisé par vocabulaire est déployé sur le NPU/CPU du contrôleur principal, et le service cloud est connecté via MQTT/WebSocket.
La spécialisation du vocabulaire est un moyen clé pour réduire les coûts et améliorer l'efficacité des SLM en périphérie, mais elle doit être profondément couplée à la sélection des puces, à la conception thermique et à la collaboration appareil-cloud. Un IDH doit établir une chaîne d'outils complète, de la collecte de corpus à l'élagage du vocabulaire, au déploiement de la quantification et au mappage du firmware, afin de construire des barrières techniques dans l'océan rouge du matériel d'IA.
Ingénierie ChipTalk
Deep Tech et silicium personnalisé