En la definición de productos de hardware de IA, el coste de inferencia de los modelos de lenguaje pequeños (SLM) en el borde determina directamente el BOM de la PCBA y la experiencia de usuario. El método VocabX compartido recientemente por Hugging Face muestra que podar el vocabulario para escenarios específicos puede reducir el coste de inferencia en un 77%. Para un IDH, esto no es solo una optimización algorítmica sino un esfuerzo de ingeniería de sistemas que abarca desde la selección del chip hasta la arquitectura del firmware. Este artículo analiza en profundidad cómo implementar la tecnología de especialización de vocabulario en formas de producto reales como los muñecos de compañía LYAAI, las grabadoras de voz inteligentes y las insignias de IA, y presenta una solución de colaboración dispositivo-nube lista para producción en masa.
El recuento de parámetros de los SLM suele concentrarse en la capa de embedding y la capa de salida (LM Head). Tomando Qwen1.5-0.5B como ejemplo, su tamaño de vocabulario es de 151.936, y la capa de embedding tiene aproximadamente 0,5B×0,3=150M parámetros. Con cuantización INT8, ocupa 150 MB, muy por encima de los 8 MB de PSRAM del ESP32-S3. Mediante la poda del vocabulario de dominio (por ejemplo, reteniendo solo 20.000 palabras), la capa de embedding se puede comprimir a menos de 20 MB, y reducir aún más a 10 MB con cuantización INT4, lo que la hace fácilmente asumible para el RK3566 (1 GB de RAM), e incluso el ESP32-S3 (8 MB de PSRAM) puede ejecutarlo en escenarios extremadamente limitados.
El cálculo de la capa de salida requiere softmax sobre todo el vocabulario, y el tamaño del vocabulario determina directamente la carga de cálculo de los logits. Tras la poda, el vocabulario se reduce de 150.000 a 20.000, reduciendo la multiplicación de matrices de la capa de salida en un 87%. En el RK3588, la latencia medida del primer token cae de 220 ms a 45 ms. Para la interacción de voz full-duplex (objetivo <800 ms), esto deja un amplio presupuesto para el front-end acústico y la transmisión por red.
El ESP32-S3 cuenta con 8 MB de PSRAM y un dual-core a 240 MHz, adecuado para escenarios de palabra de activación + palabra de comando. Al especializar el vocabulario a 5.000 palabras, el recuento de parámetros del modelo se puede comprimir a menos de 30M (INT8), con un uso de RAM de unos 30 MB, que sigue superando la PSRAM en chip, requiriendo PSRAM externa u optimización de inferencia directa desde Flash (XIP). Se recomienda usar la versión ESP32-S3+8MB PSRAM para ejecutar un TinyLLM especializado en vocabulario (por ejemplo, un TinyLlama-15M podado) para la comprensión de intenciones local, con las consultas complejas derivadas a la nube. En términos de consumo, la corriente de inferencia es de unos 120 mA, y se necesita una estrategia de escalado dinámico de frecuencia para garantizar que la temperatura superficial del módulo sea ≤38 °C.
El RK3566 (cuatro núcleos A55, 1 GB de RAM) puede ejecutar un modelo de 0,5B especializado en vocabulario (INT4), con un uso de RAM de unos 300 MB y un consumo de energía de aproximadamente 1,5 W, requiriendo un disipador de grafeno para controlar el aumento de temperatura. El RK3588 (ocho núcleos A76/A55, 4 GB de RAM) puede alojar un modelo de 1,5B, soportando diálogos multi-turno más complejos, pero se debe prestar atención a la utilización de la NPU: tras la especialización de vocabulario, el cálculo de la capa de salida disminuye, haciendo que la carga de la NPU sea más equilibrada.
El JieLi JL7016 se centra en el procesamiento de audio de bajo consumo con solo unos cientos de KB de RAM, y no puede ejecutar SLM directamente. Sin embargo, puede servir como front-end de voz (reducción de ruido, VAD, activación), con la tabla de mapeo de vocabulario especializado fijada en Flash para permitir el reconocimiento local de palabras de comando, mientras que las tareas complejas son manejadas por el controlador principal (por ejemplo, RK3566) o la nube. Esta arquitectura heterogénea es particularmente común en las insignias de IA.
La latencia objetivo de 800 ms debe descomponerse en: front-end acústico (50 ms) + VAD/activación en el borde (30 ms) + primer token del SLM en el borde (100 ms) + transmisión por red (RTT 100 ms) + primer token del modelo grande en la nube (200 ms) + síntesis de voz (150 ms) + búfer de reproducción (70 ms). La especialización de vocabulario reduce el primer token en el borde de 220 ms a 45 ms, dejando margen para las fluctuaciones de la red.
Cuando la confianza de la salida del SLM en el borde está por debajo de un umbral, se activa un modelo grande de vocabulario completo en la nube para el fallback. El firmware debe implementar actualizaciones síncronas de la tabla de mapeo de vocabulario (ID de vocabulario en el borde ↔ ID de vocabulario en la nube), soportando actualizaciones OTA diferenciales. Se recomienda utilizar una tabla de mapeo de doble búfer para garantizar un cambio sin interrupciones durante el fallback.
Se adopta transmisión full-duplex por WebSocket, con el borde subiendo continuamente características de audio y la nube devolviendo texto y audio en streaming. El SLM en el borde puede procesar intenciones locales en paralelo, permitiendo la "colaboración borde-nube". En el RK3588, la latencia extremo a extremo medida es de 650 ms (red 4G), cumpliendo con los requisitos de interacción.
El módulo utiliza RK3566 + modelo de 0,5B especializado en vocabulario (INT4), con un uso de RAM de 280 MB, soportando diálogo offline e interacción emocional. El diseño térmico utiliza silicona térmica + carcasa metálica para garantizar una temperatura superficial ≤38 °C. El vocabulario se centra en dominios como cuentos infantiles y preguntas y respuestas emocionales, podado a 30.000 palabras.
El controlador principal utiliza ESP32-S3 + PSRAM externa, ejecutando un micromodelo con vocabulario especializado a 10.000 palabras para implementar funciones básicas de asistente de voz. La visualización y la voz se procesan por separado para reducir el consumo de energía. La tabla de mapeo de vocabulario se almacena en Flash y soporta actualizaciones OTA.
Adopta la arquitectura de colaboración JieLi JL7016 + nube, con procesamiento local de activación y palabras de comando, y la nube responsable de la comprensión semántica. La especialización de vocabulario se realiza en la nube, y el borde solo necesita mantener la tabla de mapeo, reduciendo el coste de hardware.
Las capas de embedding y salida son sensibles a la cuantización; se recomienda utilizar AWQ (Activation-aware Weight Quantization) para mantener la precisión, mientras que se puede usar INT8 para las capas intermedias. Tras la especialización de vocabulario, el recuento de parámetros de la capa de embedding se reduce, disminuyendo el coste de calibración de AWQ. Las mediciones de INT4 AWQ en el vocabulario especializado muestran una pérdida de precisión <1%.
La tabla de mapeo debe soportar carga dinámica y gestión de versiones. Se recomienda un mapeo de dos niveles: ID de vocabulario local → ID semántico unificado → ID de vocabulario en la nube. La tabla de mapeo se almacena en formato binario, se carga en RAM al inicio, con complejidad de consulta O(1).
Diagrama de bloques PCBA recomendado: controlador principal (RK3566/RK3588) + códec de audio (ES7210) + PSRAM (opcional) + módulo WiFi/BT (RTL8723DS) + gestión de energía (AXP209). El modelo especializado en vocabulario se despliega en la NPU/CPU del controlador principal, y el servicio en la nube se conecta vía MQTT/WebSocket.
La especialización de vocabulario es un medio clave para reducir costes y mejorar la eficiencia de los SLM en el borde, pero debe acoplarse profundamente con la selección del chip, el diseño térmico y la colaboración dispositivo-nube. El IDH debe establecer una cadena de herramientas completa desde la recopilación de corpus, la poda de vocabulario, el despliegue de cuantización hasta el mapeo en firmware, para construir barreras técnicas en el océano rojo del hardware de IA.
Ingeniería de ChipTalk
Tecnología profunda y silicio personalizado