Linux GPU

Blog

Hugging-Face-Modelle auf einer integrierten GPU (iGPU) betreiben — Ollama & llama.cpp

Laden Sie offene Modelle von Hugging Face und betreiben Sie sie auf einer integrierten GPU (iGPU) mit Ollama und llama.cpp (Vulkan): kleine LLMs wie Gemma, Phi, Qwen. Private, günstige Inferenz ab 14,99 €/Monat.

· Linux GPU

Hugging-Face-Modelle auf einer integrierten GPU (iGPU) betreiben — Ollama & llama.cpp

Hugging Face ist der größte Hub für offene KI-Modelle — und Sie brauchen keine Grafikkarte für 500 €/Monat, um sie zu nutzen. Kleine, quantisierte Modelle laufen bequem auf einer integrierten GPU (iGPU / APU) über Vulkan — schon ab 14,99 €/Monat.

Was auf einer iGPU gut läuft

Eine integrierte GPU ist nicht zum Trainieren von 70B-Modellen gedacht. Für die Inferenz kleiner Modelle reicht sie aber locker:

  • Kleine LLMs — Gemma (Googles offene Familie im Gemini-Stil), Llama 3.2, Phi-3, Qwen2.5 — als quantisiertes GGUF (Q4/Q5).
  • Chatbots, Zusammenfassung, RAG, Extraktion, Klassifizierung auf Ihrem eigenen privaten Server.
  • Vision- und Embedding-Modelle via OpenVINO / ONNX Runtime.

Faustregel: Modelle bis ~7B Parameter, quantisiert. Sie passen in den Speicher der iGPU und erzeugen einige Tokens pro Sekunde — genug für Assistenten, Batch-Jobs und Automatisierung.

Option 1 — Ollama (der einfache Weg)

Ollama lädt Modelle (viele von Hugging Face gespiegelt) und startet sie in einer Zeile:

curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma3:4b

Sie können auch jedes GGUF direkt aus einem Hugging-Face-Repo ausführen:

ollama run hf.co/unsloth/gemma-3-4b-it-GGUF:Q4_K_M

Option 2 — llama.cpp mit Vulkan-Backend

llama.cpp lädt GGUF-Modelle direkt von Hugging Face mit -hf und nutzt die iGPU über Vulkan:

llama-cli -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_M \
  -ngl 99 -p "Explain quantization in 3 bullet points"

-ngl 99 lagert die Schichten des Modells auf die integrierte GPU aus.

Vision & Embeddings — OpenVINO

Konvertieren Sie Hugging-Face-Modelle für Vision, OCR oder Embeddings mit Optimum Intel und adressieren Sie die iGPU mit OpenVINO für Inferenz mit geringer Latenz. Gleicher Server, gleicher Preis.

Warum selbst betreiben

  • Kosten — keine API-Abrechnung pro Token, keine 500-€/Monat-GPU. Ein Festpreis.
  • Datenschutz — Ihre Prompts und Daten verlassen nie Ihren Server (dedizierte IPv6, Root-SSH, LUKS).
  • Kontrolle — Modellversion fixieren, offline betreiben, mit k3s / Kubernetes skalieren.

FAQ

Kann ich Gemini oder GPT lokal betreiben? Nein — das sind proprietäre APIs. Aber ihre offenen Verwandten (Gemma, Llama, Phi, Qwen) laufen hervorragend auf einer iGPU.

Wie schnell ist das? Ein quantisiertes 3–4B-Modell erzeugt auf der UHD 770 einige Tokens pro Sekunde — gut für Assistenten und Batch, nicht für Hochdurchsatz.

Womit anfangen? gemma3:4b, qwen2.5:3b oder phi3:mini — alle als GGUF auf Hugging Face verfügbar.

Fazit

Hugging Face + eine integrierte GPU ist der günstigste Weg, kleine offene Modelle privat zu betreiben. GGUF laden, mit Ollama oder llama.cpp über Vulkan starten — ab 14,99 €/Monat.

Weiterlesen