Espejo de fitness con IA basado en Rockchip RK3588

Cliente

Una startup de fitness en el hogar que busca ofrecer corrección de forma y conteo de repeticiones en tiempo real mediante IA a través de un espejo inteligente de cuerpo completo.

Desafío

Ejecutar algoritmos complejos de seguimiento esquelético 3D a 30 fps mientras se transmite video 4K del instructor y se renderiza la interfaz de usuario simultáneamente, lo que requiere un enorme ancho de banda de cómputo.

Concepto y arquitectura del producto

El buque insignia Rockchip RK3588 (CPU de 8 núcleos, GPU Mali-G610, NPU de 6 TOPS) es el núcleo absoluto de este sistema. Utiliza 8 GB de LPDDR4x para manejar el gran ancho de banda de memoria requerido por la decodificación 4K concurrente y la inferencia de IA.

Solución de ingeniería

Construimos un sofisticado pipeline de software usando Android 12. El stream 4K del instructor se decodifica mediante VPU de hardware. Simultáneamente, la señal de una cámara gran angular de 8MP se enruta directamente a la NPU utilizando la arquitectura de memoria zero-copy de Rockchip. La NPU ejecuta un modelo propietario de seguimiento esquelético de 33 puntos. Luego, la GPU superpone los gráficos del esqueleto en la interfaz del espejo en tiempo real.

Resultado

Cero retardo perceptible entre el movimiento del usuario y la retroalimentación en pantalla. Carga sostenida de la NPU de 6 TOPS con temperaturas del SoC que permanecen por debajo de 60°C gracias a un disipador de calor de aluminio extruido personalizado.