AI op geïntegreerde GPU: kleine LLMs & vision

Kleine lokale LLM's (Gemma, Phi, Qwen)

Draai kleine open modellen — Gemma (de open familie in Gemini-stijl), Llama, Phi, Qwen — rechtstreeks op de iGPU: chatbot, samenvatten, RAG, extractie. Haal elk GGUF-model van Hugging Face met Ollama of llama.cpp (Vulkan-backend). Ideaal voor eenvoudige, private inferentie.

# Ollama — pull & run a small model in one line
ollama run gemma3:4b

# …or llama.cpp with a Hugging Face GGUF, on the iGPU (Vulkan)
llama-cli -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_M \
  -ngl 99 -p "Summarize this ticket in 3 bullets"

OpenVINO op Intel iGPU

OpenVINO richt zich native op de Intel iGPU: detectie, classificatie, OCR en segmentatie draaien met goede latentie zonder dedicated GPU. ONNX Runtime werkt ook.

Voorbeeld

Richt de geïntegreerde GPU op inferentie:

from openvino.runtime import Core
core = Core()
print(core.available_devices)  # ['CPU', 'GPU']
model = core.compile_model('model.xml', 'GPU')

Productie

Bied een inferentie-API aan, containeriseer die en schaal met k3s / Kubernetes. Root-SSH, IPv6 inbegrepen, LUKS.