Dans des formes de produits telles que les poupées compagnons IA, les enregistreurs vocaux intelligents et les lunettes à guide d'ondes optique, la latence d'interaction vocale et la consommation d'énergie sont les deux métriques clés qui déterminent l'expérience utilisateur. Dans les solutions traditionnelles, l'ASR, la NLU et la TTS sont déployés en tant que services séparés, et les appels en série entre modèles entraînent généralement une latence de bout en bout supérieure à 1,5 s, ainsi qu'une surcharge élevée des ressources cloud. Le récemment publié Granite Switch 4.1 d'IBM intègre le chat, la prise de décision et la synthèse vocale dans un point de terminaison unique, offrant un nouveau paradigme backend pour la collaboration appareil-cloud. Cet article, du point de vue de la mise en œuvre de l'ingénierie matérielle d'un IDH et en combinant des puces spécifiques telles que l'ESP32-S3 et le RK3566, analyse comment construire un pipeline vocal full-duplex <800 ms et fournit des recommandations pour la quantification, la gestion thermique et la production.
| Modèle de puce | Architecture cœur | RAM/Flash | Consommation typique | Scénarios applicables | |---------|---------|-----------|---------|---------| | ESP32-S3 | Xtensa LX7 double cœur 240 MHz | 512 Ko SRAM + 8 Mo PSRAM | Veille 20 μA, actif 80 mA | Détection de mot de réveil, VAD, prétraitement audio, upload streaming | | nRF5340 | Cortex-M33 double cœur | 512 Ko + 1 Mo | Veille 2 μA, actif 6 mA | Écoute ultra-basse consommation, transmission audio BLE | | RK3566 | Cortex-A55 quadruple cœur 1,8 GHz | 2 Go LPDDR4 | Actif 1,5 W | Inférence de petits modèles sur appareil, interaction multimodale | | JieLi JL7016 | DSP+MCU double cœur | 512 Ko SRAM intégrée | Actif 30 mA | Réveil vocal bas coût et codec |
Pour la poupée compagnon LYAAI, il est recommandé d'utiliser l'ESP32-S3 comme contrôleur principal, responsable de la VAD, de la reconnaissance du mot de réveil et du prétraitement audio (réduction de bruit, AEC, AGC), et de téléverser des flux encodés en Opus vers le point de terminaison cloud Granite Switch 4.1 via Wi-Fi. Si un petit modèle de secours sur appareil est nécessaire (par exemple, reconnaissance de mots de commande quantifiée en INT8 sous 1 Mo), la plateforme RK3566 peut être choisie pour exécuter le modèle quantifié en utilisant son NPU (0,8 TOPS) pour une réponse hors ligne rapide.
En prenant une poupée compagnon avec une batterie de 1000 mAh, l'autonomie cible est de 7 jours (principalement en veille). En mode écoute basse consommation (seule la VAD fonctionne), le courant moyen de l'ESP32-S3 peut être maintenu sous 1,2 mA, ce qui répond à l'exigence d'autonomie. Pendant l'interaction vocale full-duplex, le courant de crête de la transmission Wi-Fi et de l'encodage audio est d'environ 120 mA, et l'élévation de température doit être contrôlée par une gestion dynamique de l'énergie (par exemple, mise à l'échelle de fréquence DFS). Les mesures montrent que la température de surface de la puce ESP32-S3 peut être maintenue sous 38 °C (ambiante 25 °C) pendant une transmission continue, sans nécessiter de mesures de dissipation thermique supplémentaires. Pour la solution RK3566, il faut prêter attention à la chaleur générée par les cœurs A55 lors d'une inférence continue ; il est recommandé d'utiliser un pad thermique en graphène pour conduire la chaleur vers le boîtier, en garantissant une température de la puce ≤38 °C.
Côté appareil (ESP32-S3) Côté cloud (point de terminaison unique Granite Switch 4.1)
┌─────────────────┐ ┌─────────────────────────────┐
│ Réseau de micros │ │ │
│ ↓ │ │ │
│ VAD + mot de réveil │ │ │
│ ↓ │ Flux Opus │ │
│ Prétraitement audio │───(Wi-Fi)─────→│ Boucle ASR → décision → TTS │
│ (AEC/NS/AGC) │ │ │
│ ↓ │ Audio streaming │ │
│ Lecture haut-parleur │←───────────────│ │
└─────────────────┘ └─────────────────────────────┘
Budget de latence (cible <800 ms) :
Avec le point de terminaison unique Granite Switch 4.1, la surcharge RPC intermédiaire des appels multi-modèles en série (généralement 200-300 ms) est éliminée, maintenant la latence totale autour de 700 ms.
| Schéma de quantification | Perte de précision | Taille du modèle | Vitesse d'inférence | Scénarios applicables | |---------|---------|---------|---------|---------| | INT8 | <1 % | 1/4 FP32 | 2-3x | Reconnaissance de mots de commande sur appareil, VAD | | INT4 | 2-5 % | 1/8 FP32 | 3-4x | Scénarios ultra-basse consommation, nécessite calibration | | AWQ | <1 % | 1/4 FP32 | 2-3x | Petits modèles de langage sur appareil (par exemple, moins de 1B) |
Pour l'ESP32-S3, il est recommandé d'utiliser un modèle léger de reconnaissance de mots de commande quantifié en INT8 (<500 Ko) déployé avec le framework ESP-DL. Pour le RK3566, on peut essayer un petit modèle quantifié AWQ avec moins de 1B de paramètres (par exemple, Qwen1.5-0.5B) pour réaliser un secours de dialogue hors ligne, mais il faut faire attention à l'utilisation de la mémoire (environ 600 Mo) et à la dissipation thermique.
L'architecture à point de terminaison unique de Granite Switch 4.1 offre une solution backend à faible latence et hautement intégrée pour l'interaction vocale sur appareil. Grâce à une sélection raisonnable (ESP32-S3 pour le front-end, RK3566 pour l'inférence sur appareil) et à la conception d'un pipeline streaming, les fabricants IDH peuvent atteindre une expérience full-duplex <800 ms sur des produits tels que les poupées compagnons et les enregistreurs vocaux, tout en respectant les contraintes de consommation et thermiques. Il est recommandé de se concentrer sur la validation de la stratégie de secours sur appareil en cas de gigue réseau pendant la phase de PoC, et d'optimiser les modèles de quantification et les paramètres de prétraitement audio pour des scénarios spécifiques.
Ingénierie ChipTalk
Deep Tech et silicium personnalisé