Linux GPU

Blog

Ejecutar modelos de Hugging Face en una GPU integrada (iGPU) — Ollama y llama.cpp

Descarga modelos abiertos de Hugging Face y ejecútalos en una GPU integrada (iGPU) con Ollama y llama.cpp (Vulkan): LLM pequeños como Gemma, Phi, Qwen. Inferencia privada y económica desde 14,99 €/mes.

· Linux GPU

Ejecutar modelos de Hugging Face en una GPU integrada (iGPU) — Ollama y llama.cpp

Hugging Face es el mayor catálogo de modelos de IA abiertos — y no necesitas una tarjeta gráfica de 500 €/mes para usarlos. Los modelos pequeños y cuantizados funcionan muy bien en una GPU integrada (iGPU / APU) expuesta vía Vulkan — desde 14,99 €/mes.

Qué funciona bien en una iGPU

Una GPU integrada no sirve para entrenar modelos de 70B. Pero para la inferencia de modelos pequeños sobra:

  • LLM pequeños — Gemma (la familia abierta de Google, estilo Gemini), Llama 3.2, Phi-3, Qwen2.5 — en GGUF cuantizado (Q4/Q5).
  • Chatbots, resúmenes, RAG, extracción, clasificación en tu propio servidor privado.
  • Modelos de visión y embeddings vía OpenVINO / ONNX Runtime.

Regla práctica: elige modelos de hasta ~7B parámetros, cuantizados. Caben en la memoria de la iGPU y generan unos tokens por segundo — suficiente para asistentes, trabajos por lotes y automatización.

Opción 1 — Ollama (lo más fácil)

Ollama descarga modelos (muchos replicados desde Hugging Face) y los ejecuta en una línea:

curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma3:4b

También puedes ejecutar cualquier GGUF directamente desde un repo de Hugging Face:

ollama run hf.co/unsloth/gemma-3-4b-it-GGUF:Q4_K_M

Opción 2 — llama.cpp con el backend Vulkan

llama.cpp descarga modelos GGUF directamente desde Hugging Face con -hf y usa la iGPU vía Vulkan:

llama-cli -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_M \
  -ngl 99 -p "Explain quantization in 3 bullet points"

-ngl 99 descarga las capas del modelo a la GPU integrada.

Visión y embeddings — OpenVINO

Para modelos de visión, OCR o embeddings de Hugging Face, conviértelos con Optimum Intel y apunta a la iGPU con OpenVINO para inferencia de baja latencia. Mismo servidor, mismo precio.

Por qué alojarlos tú mismo

  • Coste — sin factura de API por token, sin GPU de 500 €/mes. Un precio fijo.
  • Privacidad — tus prompts y datos nunca salen de tu servidor (IPv6 dedicada, SSH root, LUKS).
  • Control — fija una versión del modelo, ejecuta sin conexión, escala con k3s / Kubernetes.

Preguntas frecuentes

¿Puedo ejecutar Gemini o GPT en local? No — son API propietarias. Pero sus primos abiertos (Gemma, Llama, Phi, Qwen) funcionan muy bien en una iGPU.

¿Qué velocidad? Un modelo cuantizado de 3–4B genera unos pocos tokens por segundo en la UHD 770 — ideal para asistentes y batch, no para servicio de alto rendimiento.

¿Con qué modelos empezar? gemma3:4b, qwen2.5:3b o phi3:mini — todos disponibles como GGUF en Hugging Face.

Conclusión

Hugging Face + una GPU integrada es la forma más barata de ejecutar modelos abiertos pequeños en privado. Descarga un GGUF, ejecútalo con Ollama o llama.cpp sobre Vulkan — desde 14,99 €/mes.

Lectura relacionada