De AnyLanguageModel au Harness d'Agent Embarqué : Pratique d'Ingénierie de la Collaboration Hétérogène RK3588 + ESP32-S3

Introduction : Défis d'ingénierie matérielle des agents embarqués

AnyLanguageModel 1.0 a démontré la faisabilité de l'exécution locale de modèles sur les plateformes Apple, mais son idée centrale — découpler l'inférence du modèle des ressources matérielles et gérer la mémoire, l'énergie et l'ordonnancement des tâches via un Harness léger — s'applique également aux plateformes hétérogènes embarquées. Pour les IDH, le véritable défi réside dans : comment déployer de manière fluide des LLM et l'interaction vocale dans des poupées compagnons IA, des lunettes à guide d'ondes ou des badges intelligents, avec une RAM/Flash limitée, des budgets énergétiques stricts et des contraintes de dissipation thermique de micro-châssis (≤38 °C).

Cet article prend comme exemple l'architecture hétérogène Rockchip RK3588 et Espressif ESP32-S3 pour analyser les points de conception du pipeline collaboratif en streaming extrémité-cloud et fournir une implémentation de référence réutilisable d'Agent Harness.

Sélection de l'architecture hétérogène : philosophie de répartition des rôles RK3588 + ESP32-S3

Spécifications des puces et positionnement des rôles

| Modèle de puce | Ressources principales | Rôle | Contraintes clés | |---------|---------|------|---------| | RK3588 | 4×A76 + 4×A55, NPU 6 TOPS, 8 Go LPDDR4X | Inférence LLM locale, reconnaissance vocale, compréhension d'intention | Puissance 3-5 W, nécessite un refroidissement actif ou un grand dissipateur | | ESP32-S3 | Double cœur Xtensa LX7 @240 MHz, 512 Ko SRAM, 8 Mo PSRAM | Front-end audio basse consommation, hub de capteurs, détection de mot-clé | Puissance <100 mW, pas de contrainte de refroidissement | | nRF5340 | Double cœur Cortex-M33, 1 Mo Flash, 512 Ko RAM | Connectivité BLE/Thread, veille ultra-basse consommation | Adapté aux scénarios à espace limité comme les branches de lunettes | | JieLi JL7016 | DSP audio dédié, Bluetooth basse consommation | Codec audio, réduction de bruit | Châssis de poupée sensible au coût |

Recommandation d'ingénierie : Pour les poupées compagnons IA, la combinaison RK3588 + ESP32-S3 est recommandée. Le RK3588 gère l'inférence lourde, tandis que l'ESP32-S3 traite la capture et le prétraitement audio. Les deux collaborent via UART/SPI ou Wi-Fi 6. Si la forme du produit est des lunettes à guide d'ondes, on peut choisir le RK3566 (version basse consommation) associé au nRF5340 pour réduire la consommation globale et la taille.

Budget mémoire et stockage

RK3588 : L'exécution d'un modèle de 1 à 3 milliards de paramètres quantifié en INT4 (par exemple, Qwen1.5-1.8B-Chat) nécessite environ 1,5 à 2,5 Go de mémoire. Il est recommandé de réserver 4 Go pour le système et le modèle, le reste pour la mise en mémoire tampon audio et la pile réseau. Les fichiers de modèle sont stockés sur eMMC (≥32 Go) et chargés dans la mémoire dédiée du NPU au démarrage.
ESP32-S3 : Le modèle de mot-clé (par exemple, WakeNet) occupe <200 Ko de RAM. Un tampon circulaire audio de 32 Ko est recommandé (16 kHz, 16 bits, mono, environ 1 seconde). La PSRAM est utilisée pour stocker les résultats intermédiaires de l'extraction de caractéristiques vocales.

Schéma de quantification et optimisation de l'inférence

Stratégie de quantification mixte INT4/INT8

Corps principal du LLM : Adopter la quantification INT4 AWQ (Activation-aware Weight Quantization) pour atteindre une vitesse de génération de 15 à 20 tokens/s sur le NPU RK3588 (modèle 1,8B). La perte de précision est contrôlée à moins de 2 % (par rapport à FP16).
Modèle de reconnaissance vocale : Utiliser un Conformer en streaming ou Whisper-tiny quantifié en INT8 pour obtenir un facteur temps réel (RTF) <0,3 sur le NPU.
Modèle de mot-clé : Exécuter un DS-CNN quantifié en INT8 sur l'ESP32-S3, avec un taux de faux réveil <1 fois/24 h.

Chaîne d'outils de quantification : Rockchip fournit RKNN-Toolkit2 prenant en charge la conversion et la quantification de modèles ONNX/PyTorch ; l'ESP32-S3 peut utiliser le framework ESP-DL pour une quantification 8 bits.

Réutilisation de la mémoire et chargement dynamique

Pour réduire la mémoire de pointe, on peut adopter un chargement par étapes : pendant la phase de réveil, seuls le modèle de mot-clé et le front-end audio sont chargés ; pendant la phase de reconnaissance, le modèle ASR est chargé ; pendant la phase de génération, le modèle ASR est déchargé et le LLM est chargé. Le pilote NPU du RK3588 prend en charge le multiplexage temporel de plusieurs modèles, ce qui nécessite une gestion du cycle de vie des modèles dans le Harness.

Pipeline collaboratif en streaming extrémité-cloud : conception full-duplex <800 ms de latence

Architecture du pipeline

[Matrice de microphones] → ESP32-S3 (AEC/NS/VAD) → Détection de mot-clé → Flux audio (Opus 16 kbps) → Wi-Fi/BLE → RK3588
                                                                         ↓
[Haut-parleur] ← ESP32-S3 (Décodage/Lecture) ← Flux audio ← RK3588 (TTS) ← Génération LLM ← Résultat ASR

Décomposition de la latence du chemin critique (Objectif <800 ms) :

| Étape | Budget de latence | Points de mise en œuvre | |------|---------|---------| | Capture et prétraitement audio | 20 ms | I2S matériel ESP32-S3 + AEC logiciel | | Transmission réseau (Wi-Fi) | 30 ms | Wi-Fi 6 local, transmission UDP | | Reconnaissance ASR | 150 ms | Reconnaissance en streaming, latence du premier mot <100 ms | | Génération du premier token LLM | 200 ms | Quantification INT4 + accélération NPU | | Synthèse TTS | 100 ms | TTS en streaming, latence du premier paquet <50 ms | | Retour réseau et lecture | 50 ms | Tampon audio 20 ms | | Total | ~550 ms | Marge réservée |

Recommandation d'ingénierie : Adopter un protocole full-duplex en streaming, c'est-à-dire télécharger l'audio et recevoir le flux TTS simultanément pendant que l'utilisateur parle, permettant une expérience interactive « écouter en parlant ». L'ESP32-S3 doit prendre en charge l'I2S full-duplex et la concurrence Wi-Fi. Il est recommandé d'utiliser les composants esp_http_client et esp_websocket_client d'ESP-IDF.

Stratégie de déport de tâches extrémité-cloud

Priorité locale : Le mot-clé, le VAD et les intentions simples (par exemple, « allumer la lumière ») sont traités localement sur l'ESP32-S3 ou le RK3588 avec une réponse <100 ms.
Repli cloud : Les questions-réponses complexes et les dialogues multi-tours peuvent être routés vers des LLM cloud, mais une commutation transparente doit être assurée lorsque le réseau est disponible. Le Harness doit implémenter un seuil de confiance : lorsque la confiance de sortie du LLM local est inférieure au seuil, transférer automatiquement vers le cloud.

Dissipation thermique et budget énergétique : atteindre un micro-châssis ≤38 °C

Points de conception thermique

Refroidissement du RK3588 : Dans des espaces confinés comme les châssis de poupée, des dissipateurs en graphène + micro-ventilateurs (par exemple, ventilateur 5 V 3010) ou des matériaux à changement de phase sont nécessaires. Les mesures montrent que pendant l'inférence LLM continue, la température de jonction du RK3588 peut atteindre 85 °C. Grâce à une feuille de graphite de 1 mm et une conduction par boîtier métallique, la température de surface peut être maintenue sous 38 °C (ambiant 25 °C).
Refroidissement de l'ESP32-S3 : Faible consommation, pas besoin de refroidissement actif, mais éviter une disposition adjacente aux sources de chaleur du RK3588.
Gestion dynamique de l'énergie : Le Harness doit implémenter un ordonnancement sensible à la température : lorsqu'un capteur de température (par exemple, TMP117) détecte une température du boîtier >36 °C, réduire la fréquence d'inférence du LLM ou passer à un modèle plus petit (par exemple, 0,5B) pour garantir que la température de surface ne dépasse pas 38 °C.

Exemple de budget énergétique (poupée IA)

| Composant | Puissance typique | Puissance de crête | |------|---------|---------| | RK3588 (Inférence) | 3 W | 5 W | | ESP32-S3 (Audio) | 80 mW | 120 mW | | Matrice de microphones | 10 mW | 10 mW | | Haut-parleur (1 W) | 0,5 W | 1 W | | Total | ~3,6 W | ~6,1 W |

Autonomie : Avec une batterie de 5000 mAh (3,7 V), l'interaction continue dure environ 5 heures ; en veille (seul l'ESP32-S3 en écoute), la consommation est <100 mW, l'autonomie peut atteindre 7 jours.

Formes de produits réelles et recommandations de mise en œuvre

1. Poupée compagnon IA (type LYAAI)

Configuration matérielle : RK3588 + ESP32-S3 + deux microphones + haut-parleur 1 W + batterie 5000 mAh.
Conception du Harness : L'ESP32-S3 exécute FreeRTOS, responsable de la capture audio, du mot-clé et du VAD ; le RK3588 exécute Linux, hébergeant l'ASR, le LLM, le TTS et la communication cloud. Les deux échangent des commandes de contrôle et des flux audio via UART ou SPI.
Refroidissement : RK3588 avec feuille de graphite de 1 mm, boîtier en plastique thermoconducteur et trous de ventilation si la structure le permet.

2. Lunettes à guide d'ondes

Configuration matérielle : RK3566 (basse consommation) + nRF5340 + haut-parleur à conduction osseuse + batterie 400 mAh.
Conception du Harness : Le nRF5340 gère la connectivité BLE et le hub de capteurs ; le RK3566 exécute un LLM léger (0,5B) et l'ASR. En raison de contraintes d'espace, un chargement de modèle en temps partagé et une mise à l'échelle dynamique de la tension et de la fréquence (DVFS) sont nécessaires.
Refroidissement : Film de graphène collé à l'intérieur des branches, utilisant la monture métallique pour la dissipation, la température de surface peut être maintenue sous 35 °C.

3. Badge intelligent IA

Configuration matérielle : ESP32-S3 (contrôle principal) + collaboration cloud, ou inférence locale RK3566.
Conception du Harness : Si l'on utilise uniquement l'ESP32-S3, seuls le mot-clé et le front-end audio fonctionnent, le LLM étant entièrement dans le cloud ; si une inférence locale est nécessaire, on peut choisir le RK3566 avec un modèle limité à 0,5B INT4.
Refroidissement : Le badge est proche du corps humain, garantissant une température de surface ≤38 °C. Un boîtier en plastique + feuille de graphite est recommandé, et la durée d'inférence continue doit être limitée.

Conclusion : conception de référence réutilisable d'Agent Harness

Le concept d'exécution locale d'AnyLanguageModel s'applique également au domaine embarqué. La clé est de planifier dynamiquement les modèles et les tâches en fonction des ressources matérielles. L'architecture hétérogène RK3588 + ESP32-S3 proposée dans cet article atteint une interaction full-duplex <800 ms et une température de surface ≤38 °C grâce à la quantification, au pipeline en streaming et à l'ordonnancement sensible à la température, et peut être réutilisée pour des formes de produits telles que les poupées IA, les lunettes et les badges. Lors de la mise en œuvre, les IDH doivent se concentrer sur le budget mémoire, la conception thermique et la stratégie de commutation extrémité-cloud, et effectuer un réglage de quantification en fonction des modèles de puces spécifiques.