Linux GPU

Blog

Hugging Face-modellen draaien op een geïntegreerde GPU (iGPU) — Ollama & llama.cpp

Haal open modellen van Hugging Face en draai ze op een geïntegreerde GPU (iGPU) met Ollama en llama.cpp (Vulkan): kleine LLM's zoals Gemma, Phi, Qwen. Private, goedkope inferentie vanaf €14,99/mnd.

· Linux GPU

Hugging Face-modellen draaien op een geïntegreerde GPU (iGPU) — Ollama & llama.cpp

Hugging Face is de grootste hub van open AI-modellen — en je hebt geen grafische kaart van €500/maand nodig om ze te gebruiken. Kleine, gekwantiseerde modellen draaien prima op een geïntegreerde GPU (iGPU / APU) via Vulkan — al vanaf €14,99/maand.

Wat goed draait op een iGPU

Een geïntegreerde GPU is niet bedoeld om 70B-modellen te trainen. Maar voor inferentie met kleine modellen is hij ruim voldoende:

  • Kleine LLM’s — Gemma (Googles open familie in Gemini-stijl), Llama 3.2, Phi-3, Qwen2.5 — in gekwantiseerd GGUF (Q4/Q5).
  • Chatbots, samenvatten, RAG, extractie, classificatie op je eigen privéserver.
  • Vision- en embedding-modellen via OpenVINO / ONNX Runtime.

Vuistregel: kies modellen tot ~7B parameters, gekwantiseerd. Ze passen in het geheugen van de iGPU en genereren enkele tokens per seconde — genoeg voor assistenten, batchjobs en automatisering.

Optie 1 — Ollama (de makkelijke manier)

Ollama haalt modellen op (veel gespiegeld van Hugging Face) en draait ze in één regel:

curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma3:4b

Je kunt ook elk GGUF rechtstreeks uit een Hugging Face-repo draaien:

ollama run hf.co/unsloth/gemma-3-4b-it-GGUF:Q4_K_M

Optie 2 — llama.cpp met de Vulkan-backend

llama.cpp downloadt GGUF-modellen rechtstreeks van Hugging Face met -hf en gebruikt de iGPU via Vulkan:

llama-cli -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_M \
  -ngl 99 -p "Explain quantization in 3 bullet points"

-ngl 99 plaatst de lagen van het model op de geïntegreerde GPU.

Vision & embeddings — OpenVINO

Converteer Hugging Face-modellen voor vision, OCR of embeddings met Optimum Intel en richt je op de iGPU met OpenVINO voor inferentie met lage latentie. Zelfde server, zelfde prijs.

Waarom zelf hosten

  • Kosten — geen API-rekening per token, geen GPU van €500/maand. Eén vaste prijs.
  • Privacy — je prompts en data verlaten nooit je server (eigen IPv6, root-SSH, LUKS).
  • Controle — pin een modelversie, draai offline, schaal met k3s / Kubernetes.

FAQ

Kan ik Gemini of GPT lokaal draaien? Nee — dat zijn proprietäre API’s. Maar hun open neven (Gemma, Llama, Phi, Qwen) draaien uitstekend op een iGPU.

Hoe snel is het? Een gekwantiseerd 3–4B-model genereert een handvol tokens per seconde op de UHD 770 — prima voor assistenten en batch, niet voor high-throughput serving.

Waarmee beginnen? gemma3:4b, qwen2.5:3b of phi3:mini — allemaal beschikbaar als GGUF op Hugging Face.

Conclusie

Hugging Face + een geïntegreerde GPU is de goedkoopste manier om kleine open modellen privé te draaien. Haal een GGUF, draai het met Ollama of llama.cpp op Vulkan — vanaf €14,99/maand.

Gerelateerd