De AnyLanguageModel al Agent Harness en el dispositivo: práctica de ingeniería de la colaboración heterogénea RK3588 + ESP32-S3

Introducción: Desafíos de ingeniería de hardware de los agentes en el dispositivo

AnyLanguageModel 1.0 demostró la viabilidad del tiempo de ejecución local de modelos en plataformas Apple, pero su idea central —desacoplar la inferencia del modelo de los recursos de hardware y gestionar la memoria, la energía y la programación de tareas mediante un Harness ligero— es igualmente aplicable a plataformas embebidas heterogéneas. Para un IDH, el verdadero desafío radica en: cómo implementar sin problemas LLM e interacción de voz en muñecos de compañía con IA, gafas de guía de ondas o placas de identificación inteligentes bajo limitaciones de RAM/Flash, presupuestos de energía estrictos y disipación de calor de microcarcasa (≤38 °C).

Este artículo toma como ejemplo la arquitectura heterogénea de Rockchip RK3588 y Espressif ESP32-S3 para analizar los puntos de diseño del pipeline colaborativo en streaming extremo-nube y proporcionar una implementación de referencia reutilizable de Agent Harness.

Selección de arquitectura heterogénea: filosofía de división de trabajo de RK3588 + ESP32-S3

Especificaciones de los chips y posicionamiento de roles

| Modelo de chip | Recursos principales | Rol | Restricciones clave | |---------|---------|------|---------| | RK3588 | 4×A76 + 4×A55, NPU de 6 TOPS, 8 GB LPDDR4X | Inferencia LLM local, reconocimiento de voz, comprensión de intenciones | Potencia 3-5 W, requiere refrigeración activa o disipador grande | | ESP32-S3 | Xtensa LX7 de doble núcleo @240 MHz, 512 KB SRAM, 8 MB PSRAM | Front-end de audio de bajo consumo, concentrador de sensores, detección de palabra de activación | Potencia <100 mW, sin presión de refrigeración | | nRF5340 | Cortex-M33 de doble núcleo, 1 MB Flash, 512 KB RAM | Conectividad BLE/Thread, espera de ultra bajo consumo | Adecuado para escenarios con espacio limitado como las patillas de las gafas | | JieLi JL7016 | DSP de audio dedicado, Bluetooth de bajo consumo | Códec de audio, reducción de ruido | Carcasa de muñeco sensible al costo |

Recomendación de ingeniería: Para muñecos de compañía con IA, se recomienda la combinación RK3588 + ESP32-S3. RK3588 maneja la inferencia de alta carga, mientras que ESP32-S3 procesa la captura y el preprocesamiento de audio. Ambos colaboran mediante UART/SPI o Wi-Fi 6. Si la forma del producto son gafas de guía de ondas, se puede elegir RK3566 (versión de bajo consumo) junto con nRF5340 para reducir el consumo total y el tamaño.

Presupuesto de memoria y almacenamiento

RK3588: Ejecutar un modelo de 1B-3B parámetros cuantizado a INT4 (p. ej., Qwen1.5-1.8B-Chat) requiere aproximadamente 1.5-2.5 GB de memoria. Se recomienda reservar 4 GB para el sistema y el modelo, y el resto para el búfer de audio y la pila de red. Los archivos del modelo se almacenan en eMMC (≥32 GB) y se cargan en la memoria dedicada de la NPU al inicio.
ESP32-S3: El modelo de palabra de activación (p. ej., WakeNet) ocupa <200 KB de RAM. Se recomienda un búfer circular de audio de 32 KB (16 kHz, 16 bits, mono, aproximadamente 1 segundo). La PSRAM se utiliza para almacenar resultados intermedios de extracción de características de voz.

Esquema de cuantización y optimización de inferencia

Estrategia de cuantización mixta INT4/INT8

Cuerpo principal del LLM: Adoptar cuantización INT4 AWQ (Activation-aware Weight Quantization) para lograr una velocidad de generación de 15-20 tokens/s en la NPU del RK3588 (modelo de 1.8B). La pérdida de precisión se controla dentro del 2% (en comparación con FP16).
Modelo de reconocimiento de voz: Utilizar Conformer en streaming o Whisper-tiny cuantizado a INT8 para lograr un factor de tiempo real (RTF) <0.3 en la NPU.
Modelo de palabra de activación: Ejecutar DS-CNN cuantizado a INT8 en ESP32-S3, con una tasa de falsa activación <1 vez/24 h.

Cadena de herramientas de cuantización: Rockchip proporciona RKNN-Toolkit2 que soporta la conversión y cuantización de modelos ONNX/PyTorch; ESP32-S3 puede usar el framework ESP-DL para cuantización de 8 bits.

Reutilización de memoria y carga dinámica

Para reducir el pico de memoria, se puede adoptar carga por etapas: durante la fase de activación, solo se cargan el modelo de palabra de activación y el front-end de audio; durante la fase de reconocimiento, se carga el modelo ASR; durante la fase de generación, se descarga el modelo ASR y se carga el LLM. El controlador de la NPU del RK3588 soporta multiplexación por división de tiempo de múltiples modelos, lo que requiere gestión del ciclo de vida de los modelos en el Harness.

Pipeline colaborativo en streaming extremo-nube: diseño de latencia full-duplex <800 ms

Arquitectura del pipeline

[Matriz de micrófonos] → ESP32-S3 (AEC/NS/VAD) → Detección de palabra de activación → Flujo de audio (Opus 16 kbps) → Wi-Fi/BLE → RK3588
                                                                         ↓
[Altavoz] ← ESP32-S3 (Decodificación/Reproducción) ← Flujo de audio ← RK3588 (TTS) ← Generación LLM ← Resultado ASR

Desglose de latencia de la ruta crítica (objetivo <800 ms):

| Etapa | Presupuesto de latencia | Puntos de implementación | |------|---------|---------| | Captura y preprocesamiento de audio | 20 ms | I2S por hardware del ESP32-S3 + AEC por software | | Transmisión de red (Wi-Fi) | 30 ms | Wi-Fi 6 local, transmisión UDP | | Reconocimiento ASR | 150 ms | Reconocimiento en streaming, latencia de primera palabra <100 ms | | Generación del primer token del LLM | 200 ms | Cuantización INT4 + aceleración NPU | | Síntesis TTS | 100 ms | TTS en streaming, latencia del primer paquete <50 ms | | Retorno de red y reproducción | 50 ms | Búfer de audio de 20 ms | | Total | ~550 ms | Margen reservado |

Recomendación de ingeniería: Adoptar un protocolo full-duplex en streaming, es decir, subir audio y recibir el flujo TTS simultáneamente mientras el usuario habla, permitiendo una experiencia de interacción de "escuchar mientras se habla". El ESP32-S3 debe soportar I2S full-duplex y concurrencia Wi-Fi. Se recomienda utilizar los componentes esp_http_client y esp_websocket_client de ESP-IDF.

Estrategia de descarga de tareas extremo-nube

Prioridad local: La palabra de activación, VAD e intenciones simples (p. ej., "encender la luz") se procesan localmente en ESP32-S3 o RK3588 con respuesta <100 ms.
Respaldo en la nube: Las preguntas y respuestas complejas y los diálogos multiturno se pueden enrutar a LLM en la nube, pero se debe garantizar un cambio perfecto cuando la red esté disponible. El Harness debe implementar un umbral de confianza: cuando la confianza de salida del LLM local esté por debajo del umbral, reenviar automáticamente a la nube.

Disipación de calor y presupuesto de energía: camino hacia una microcarcasa de ≤38 °C

Puntos de diseño térmico

Refrigeración del RK3588: En espacios cerrados como la carcasa de un muñeco, se requieren disipadores de grafeno + microventiladores (p. ej., ventilador 5V 3010) o materiales de cambio de fase. Las mediciones muestran que durante la inferencia continua del LLM, la temperatura de unión del RK3588 puede alcanzar los 85 °C. Mediante una lámina de grafito de 1 mm y conducción a través de una carcasa metálica, la temperatura superficial se puede controlar por debajo de 38 °C (ambiente 25 °C).
Refrigeración del ESP32-S3: Bajo consumo de energía, no necesita refrigeración activa, pero se debe evitar su ubicación adyacente a fuentes de calor del RK3588.
Gestión dinámica de energía: El Harness debe implementar planificación consciente de la temperatura: cuando un sensor de temperatura (p. ej., TMP117) detecte que la temperatura de la carcasa supera los 36 °C, reducir la frecuencia de inferencia del LLM o cambiar a un modelo más pequeño (p. ej., 0.5B) para garantizar que la temperatura superficial no supere los 38 °C.

Ejemplo de presupuesto de energía (muñeco con IA)

| Componente | Potencia típica | Potencia pico | |------|---------|---------| | RK3588 (Inferencia) | 3 W | 5 W | | ESP32-S3 (Audio) | 80 mW | 120 mW | | Matriz de micrófonos | 10 mW | 10 mW | | Altavoz (1 W) | 0.5 W | 1 W | | Total | ~3.6 W | ~6.1 W |

Duración de la batería: Con una batería de 5000 mAh (3.7 V), la interacción continua dura aproximadamente 5 horas; en espera (solo ESP32-S3 escuchando) el consumo es <100 mW, con una duración de hasta 7 días.

Formas de producto reales y recomendaciones de implementación de ingeniería

1. Muñeco de compañía con IA (tipo LYAAI)

Configuración de hardware: RK3588 + ESP32-S3 + dos micrófonos + altavoz de 1 W + batería de 5000 mAh.
Diseño del Harness: ESP32-S3 ejecuta FreeRTOS, responsable de la captura de audio, la palabra de activación y VAD; RK3588 ejecuta Linux, alojando ASR, LLM, TTS y comunicación con la nube. Ambos intercambian comandos de control y flujos de audio mediante UART o SPI.
Refrigeración: RK3588 con lámina de grafito de 1 mm, carcasa de plástico termoconductor y orificios de ventilación si la estructura lo permite.

2. Gafas de guía de ondas

Configuración de hardware: RK3566 (bajo consumo) + nRF5340 + altavoz de conducción ósea + batería de 400 mAh.
Diseño del Harness: nRF5340 maneja la conectividad BLE y el concentrador de sensores; RK3566 ejecuta LLM ligero (0.5B) y ASR. Debido a las limitaciones de espacio, se requiere carga de modelos por división de tiempo y escalado dinámico de voltaje y frecuencia (DVFS).
Refrigeración: Película de grafeno adherida dentro de las patillas, utilizando el marco metálico para la disipación de calor, la temperatura superficial se puede controlar por debajo de 35 °C.

3. Placa de identificación inteligente

Configuración de hardware: ESP32-S3 (control principal) + colaboración en la nube, o inferencia local con RK3566.
Diseño del Harness: Si se usa solo ESP32-S3, solo se ejecutan la palabra de activación y el front-end de audio, con el LLM completamente en la nube; si se necesita inferencia local, se puede seleccionar RK3566 con el modelo limitado a 0.5B INT4.
Refrigeración: La placa está cerca del cuerpo humano, asegurando una temperatura superficial ≤38 °C. Se recomienda carcasa de plástico + lámina de grafito, y se debe limitar el tiempo de inferencia continua.

Conclusión: diseño de referencia reutilizable de Agent Harness

El concepto de tiempo de ejecución local de AnyLanguageModel es igualmente aplicable en el campo embebido. La clave es programar dinámicamente modelos y tareas según los recursos de hardware. La arquitectura heterogénea RK3588 + ESP32-S3 propuesta en este artículo logra una interacción full-duplex <800 ms y una temperatura superficial ≤38 °C mediante cuantización, pipeline en streaming y planificación consciente de la temperatura, y puede reutilizarse para formas de producto como muñecos, gafas y placas de identificación con IA. Al implementar, el IDH debe centrarse en el presupuesto de memoria, el diseño térmico y la estrategia de conmutación extremo-nube, y realizar ajustes de cuantización según los modelos específicos de chip.