KI auf integrierter GPU: kleine LLMs & Vision

Kleine lokale LLMs (Gemma, Phi, Qwen)

Betreiben Sie kleine offene Modelle — Gemma (die offene Familie im Gemini-Stil), Llama, Phi, Qwen — direkt auf der iGPU: Chatbot, Zusammenfassung, RAG, Extraktion. Laden Sie beliebige GGUF von Hugging Face mit Ollama oder llama.cpp (Vulkan-Backend). Ideal für einfache, private Inferenz.

# Ollama — pull & run a small model in one line
ollama run gemma3:4b

# …or llama.cpp with a Hugging Face GGUF, on the iGPU (Vulkan)
llama-cli -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_M \
  -ngl 99 -p "Summarize this ticket in 3 bullets"

OpenVINO auf Intel iGPU

OpenVINO adressiert nativ die Intel iGPU: Erkennung, Klassifizierung, OCR und Segmentierung laufen mit guter Latenz ohne dedizierte GPU. ONNX Runtime funktioniert ebenfalls.

Beispiel

Adressieren Sie die integrierte GPU für die Inferenz:

from openvino.runtime import Core
core = Core()
print(core.available_devices)  # ['CPU', 'GPU']
model = core.compile_model('model.xml', 'GPU')

Produktion

Stellen Sie eine Inferenz-API bereit, containerisieren Sie sie und skalieren Sie mit k3s / Kubernetes. Root-SSH, IPv6 inklusive, LUKS.