Orange Pi 5 Plus: el SBC con 16GB de RAM que corre Llama 3 8B sin sudar
RK3588 con NPU de 6 TOPS y hasta 16GB de RAM. El SBC más potente para LLMs locales en 2026 si no quieres montar una GPU workstation completa.
En GitHub Trending apareció un repo con benchmarks de Llama 3 8B corriendo en una Orange Pi 5 Plus con 16GB de RAM — 12 tokens/segundo en Q4_K_M con llama.cpp. Para un SBC con consumo de 10W, eso es notable. El hilo de comentarios en Hacker News duró tres días.
Qué es exactamente
La Orange Pi 5 Plus usa el Rockchip RK3588, el SoC ARM más potente disponible en hardware accesible. A diferencia de los Cortex-A55 de placas más baratas, el RK3588 tiene cuatro núcleos Cortex-A76 de alto rendimiento que marcan una diferencia real en inferencia.
Specs que importan:
- RK3588 — 4x A76 + 4x A55, 6 TOPS NPU integrada
- 16GB LPDDR5 en la versión que nos interesa — suficiente para Llama 3 8B completo en Q4
- M.2 NVMe + M.2 WiFi — sin depender de microSD para el sistema
- PCIe 3.0 x4 — posibilidad de añadir GPU externa con adaptador (experimental)
- 2x 2.5GbE — networking serio para homelab
Por qué nos interesa
16GB de RAM unificada en un SBC permite cargar modelos que en Raspberry Pi 5 (8GB máximo) no caben. Llama 3 8B en Q4_K_M ocupa ~4.7GB — cabe en cualquier configuración. Llama 3 70B en Q2 (~19GB) solo cabe aquí.
La NPU del RK3588 tiene soporte en rknn-llm, una librería de Rockchip que acelera inferencia de modelos pequeños directamente en la NPU:
# Instalar rknn-llm (repo oficial de Rockchip)
git clone https://github.com/airockchip/rknn-llm
cd rknn-llm
# Convertir y ejecutar Qwen 1.8B en NPU
python convert.py --model qwen-1_8b-chat --output qwen_rknn.rkllm
./llm_demo qwen_rknn.rkllm
Para modelos más grandes, llama.cpp con BLAS acelerado por CPU A76 es más estable:
cmake -DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS ..
make -j4
./main -m models/llama-3-8b-q4_k_m.gguf -p "Hola, ¿qué puedes hacer?" -n 200
Cómo empezar
Orange Pi ofrece imágenes Ubuntu 22.04 y Debian 12 oficiales. La imagen de Ubuntu viene con los drivers Mali GPU preinstalados. Para llama.cpp, la compilación es estándar — el A76 tiene extensiones ARM v8.2 con soporte fp16 que llama.cpp aprovecha automáticamente.
Lo que no te van a contar
El soporte de software de Orange Pi no es tan pulido como el de Raspberry Pi. Encontrarás bugs en los drivers de GPU, documentación escasa en inglés, y una comunidad más pequeña. El rknn-llm solo soporta modelos específicos convertidos a su formato — no puedes cargar cualquier GGUF directamente en la NPU.
Veredicto
Para quien quiere el SBC más potente para LLMs locales sin pasar a GPU workstation, la Orange Pi 5 Plus con 16GB es la opción de 2026. El precio de 130€ es alto para un SBC pero razonable para lo que ofrece. Si tu caso de uso es Raspberry Pi 5 con más RAM, aquí está.