AI 하드웨어 제품 정의에서 엣지 소형 언어 모델(SLM)의 추론 비용은 PCBA BOM과 사용자 경험을 직접 결정합니다. 최근 Hugging Face에서 공유한 VocabX 방법은 특정 시나리오에 맞게 어휘를 가지치기하면 추론 비용을 77%까지 줄일 수 있음을 보여줍니다. IDH에게 이는 단순한 알고리즘 최적화가 아니라 칩 선택부터 펌웨어 아키텍처에 이르는 시스템 엔지니어링 노력입니다. 이 글은 LYAAI 컴패니언 인형, 스마트 음성 녹음기, AI 배지와 같은 실제 제품 형태에서 어휘 특화 기술을 구현하는 방법을 심층 분석하고, 양산 준비된 기기-클라우드 협업 솔루션을 제시합니다.
SLM의 파라미터 수는 일반적으로 임베딩 레이어와 출력 레이어(LM Head)에 집중됩니다. Qwen1.5-0.5B를 예로 들면, 어휘 크기는 151,936이고 임베딩 레이어는 약 0.5B×0.3=150M 파라미터를 가집니다. INT8 양자화를 사용하면 150MB를 차지하여 ESP32-S3의 8MB PSRAM을 훨씬 초과합니다. 도메인 어휘 가지치기(예: 20,000 단어만 유지)를 통해 임베딩 레이어는 20MB 이내로 압축될 수 있고, INT4 양자화로 10MB까지 줄어들어 RK3566(1GB RAM)에는 쉽게 적합하며, ESP32-S3(8MB PSRAM)에서도 매우 좁은 시나리오에서는 실행할 수 있습니다.
출력 레이어 계산은 전체 어휘에 대한 softmax가 필요하며, 어휘 크기는 logits 계산 부하를 직접 결정합니다. 가지치기 후 어휘는 150,000에서 20,000으로 줄어들어 출력 레이어 행렬 곱셈이 87% 감소합니다. RK3588에서 측정된 첫 토큰 지연 시간은 220ms에서 45ms로 떨어집니다. 전이중 음성 상호작용(목표 <800ms)의 경우, 이는 음향 프론트엔드와 네트워크 전송에 충분한 예산을 남깁니다.
ESP32-S3는 8MB PSRAM과 240MHz 듀얼 코어를 갖추고 있어 웨이크 워드 + 명령어 시나리오에 적합합니다. 어휘를 5,000 단어로 특화하면 모델 파라미터 수를 30M(INT8) 이내로 압축할 수 있으며, RAM 사용량은 약 30MB로 온칩 PSRAM을 여전히 초과하므로 외부 PSRAM 또는 Flash 직접 추론(XIP) 최적화가 필요합니다. ESP32-S3+8MB PSRAM 버전을 사용하여 어휘 특화 TinyLLM(예: 가지치기된 TinyLlama-15M)을 실행하여 로컬 의도 이해를 수행하고, 복잡한 쿼리는 클라우드로 폴백하는 것이 좋습니다. 전력 소비 측면에서 추론 전류는 약 120mA이며, 모듈 표면 온도 ≤38°C를 보장하기 위해 동적 주파수 스케일링 전략이 필요합니다.
RK3566(쿼드 코어 A55, 1GB RAM)은 어휘 특화 0.5B 모델(INT4)을 실행할 수 있으며, RAM 사용량은 약 300MB, 전력 소비는 약 1.5W로 온도 상승을 제어하기 위해 그래핀 방열판이 필요합니다. RK3588(옥타 코어 A76/A55, 4GB RAM)은 1.5B 모델을 호스팅할 수 있어 더 복잡한 다중 턴 대화를 지원하지만, NPU 활용도에 주의해야 합니다. 어휘 특화 후 출력 레이어 계산이 감소하여 NPU 부하가 더 균형 잡힙니다.
JieLi JL7016은 수백 KB의 RAM만 있는 저전력 오디오 처리에 중점을 두고 있어 SLM을 직접 실행할 수 없습니다. 그러나 음성 프론트엔드(노이즈 감소, VAD, 웨이크업)로 사용할 수 있으며, 특화된 어휘 매핑 테이블을 Flash에 고정하여 로컬 명령어 인식을 가능하게 하고, 복잡한 작업은 메인 컨트롤러(예: RK3566) 또는 클라우드에서 처리합니다. 이 이기종 아키텍처는 AI 배지에서 특히 일반적입니다.
800ms의 목표 지연 시간은 음향 프론트엔드(50ms) + 엣지 VAD/웨이크업(30ms) + 엣지 SLM 첫 토큰(100ms) + 네트워크 전송(RTT 100ms) + 클라우드 대형 모델 첫 토큰(200ms) + 음성 합성(150ms) + 재생 버퍼(70ms)로 분해해야 합니다. 어휘 특화는 엣지 첫 토큰을 220ms에서 45ms로 줄여 네트워크 변동에 대한 여유를 남깁니다.
엣지 SLM 출력의 신뢰도가 임계값 미만이면 클라우드 전체 어휘 대형 모델이 폴백으로 트리거됩니다. 펌웨어는 어휘 매핑 테이블(엣지 어휘 ID ↔ 클라우드 어휘 ID)의 동기 업데이트를 구현해야 하며, OTA 차등 업그레이드를 지원해야 합니다. 폴백 중 원활한 전환을 보장하기 위해 이중 버퍼 매핑 테이블을 사용하는 것이 좋습니다.
WebSocket 전이중 스트리밍 전송을 채택하여 엣지가 지속적으로 오디오 특징을 업로드하고 클라우드가 텍스트와 오디오를 스트리밍으로 반환합니다. 엣지 SLM은 로컬 의도를 병렬로 처리하여 "엣지-클라우드 협업"을 가능하게 합니다. RK3588에서 측정된 종단 간 지연 시간은 650ms(4G 네트워크)로 상호작용 요구 사항을 충족합니다.
모듈은 RK3566 + 어휘 특화 0.5B 모델(INT4)을 사용하며, RAM 사용량은 280MB로 오프라인 대화 및 감정 상호작용을 지원합니다. 열 설계는 열 실리콘 + 금속 케이스를 사용하여 표면 온도 ≤38°C를 보장합니다. 어휘는 어린이 이야기 및 감정 Q&A와 같은 도메인에 초점을 맞추어 30,000 단어로 가지치기됩니다.
메인 컨트롤러는 ESP32-S3 + 외부 PSRAM을 사용하여 어휘가 10,000 단어로 특화된 마이크로 모델을 실행하여 기본 음성 비서 기능을 구현합니다. 디스플레이와 음성은 전력 소비를 줄이기 위해 별도로 처리됩니다. 어휘 매핑 테이블은 Flash에 저장되며 OTA 업데이트를 지원합니다.
JieLi JL7016 + 클라우드 협업 아키텍처를 채택하여 웨이크업 및 명령어는 로컬에서 처리하고 클라우드는 의미 이해를 담당합니다. 어휘 특화는 클라우드에서 수행되며 엣지는 매핑 테이블만 유지하면 되므로 하드웨어 비용이 절감됩니다.
임베딩 및 출력 레이어는 양자화에 민감하므로 정확도를 유지하기 위해 AWQ(Activation-aware Weight Quantization)를 사용하고 중간 레이어에는 INT8을 사용할 수 있습니다. 어휘 특화 후 임베딩 레이어 파라미터 수가 줄어들어 AWQ의 보정 비용이 낮아집니다. 특화된 어휘에 대한 INT4 AWQ 측정 결과 정확도 손실은 <1%입니다.
매핑 테이블은 동적 로딩 및 버전 관리를 지원해야 합니다. 2단계 매핑을 권장합니다: 로컬 어휘 ID → 통합 의미 ID → 클라우드 어휘 ID. 매핑 테이블은 바이너리 형식으로 저장되며 시작 시 RAM에 로드되어 O(1) 쿼리 복잡성을 가집니다.
권장 PCBA 블록 다이어그램: 메인 컨트롤러(RK3566/RK3588) + 오디오 코덱(ES7210) + PSRAM(선택 사항) + WiFi/BT 모듈(RTL8723DS) + 전력 관리(AXP209). 어휘 특화 모델은 메인 컨트롤러의 NPU/CPU에 배포되고 클라우드 서비스는 MQTT/WebSocket을 통해 연결됩니다.
어휘 특화는 엣지 SLM의 비용 절감 및 효율 향상을 위한 핵심 수단이지만, 칩 선택, 열 설계 및 기기-클라우드 협업과 긴밀하게 결합되어야 합니다. IDH는 AI 하드웨어의 레드 오션에서 기술 장벽을 구축하기 위해 코퍼스 수집, 어휘 가지치기, 양자화 배포에서 펌웨어 매핑에 이르는 완전한 툴체인을 구축해야 합니다.
ChipTalk 엔지니어링
딥 테크 및 맞춤형 실리콘