Linux GPU

Blog

Betaalbare AI-inferentie: OpenVINO op geïntegreerde GPU, zonder GPU van €500/maand

Serveer je AI-modellen (vision, OCR, lichte LLM's) met versnelde inferentie op een Intel-iGPU via OpenVINO / ONNX Runtime. Lage latentie, lage kosten, vanaf €14,99/maand, k3s/k8s.

· Linux GPU

Betaalbare AI-inferentie: OpenVINO op geïntegreerde GPU, zonder GPU van €500/maand

Een groot model trainen vraagt om een dure dedicated GPU. Maar een al getraind model serveren — oftewel inferentie doen — stelt heel andere eisen. Voor vision, OCR of lichte LLM’s volstaat een geïntegreerde Intel-GPU aangestuurd door OpenVINO, vanaf €14,99/maand. Daarvoor hoef je geen GPU van 300-500 €/maand te huren.

Trainen ≠ inferentie

Dat is de verwarring die veel geld kost. Trainen verzadigt urenlang duizenden cores: daar is een dedicated GPU gerechtvaardigd. Inferentie daar- entegen voert een bevroren model uit op één verzoek: lage latentie, punctuele belasting. Een trainingskaart betalen om een detectiemodel te serveren is verspilling.

TrainenInferentie (jouw geval)
Typische hardwareDedicated GPU (300-500 €+/maand)Intel-iGPU (vanaf €14,99/maand)
Duururen / dagenmilliseconden per verzoek
Juiste toolCUDA / PyTorchOpenVINO / ONNX Runtime

Waarom de Intel-iGPU + OpenVINO

OpenVINO is de inferentie-runtime van Intel: hij richt zich van nature op de iGPU. Objectdetectie, classificatie, OCR en segmentatie draaien met een goede latentie, zonder dedicated GPU. ONNX Runtime werkt eveneens op dezelfde hardware.

Voorbeeld: de geïntegreerde GPU aanspreken

from openvino.runtime import Core
core = Core()
print(core.available_devices)   # ['CPU', 'GPU']
model = core.compile_model('model.xml', 'GPU')

Het device 'GPU' is de iGPU van de server. Je exporteert je model (van PyTorch/TensorFlow → ONNX → OpenVINO IR) en serveert het direct.

Naar productie brengen

  • Stel een inferentie-API beschikbaar (FastAPI, Triton, OpenVINO-server);
  • Containeriseer die;
  • Schaal op met k3s / Kubernetes, één replica per GPU-node.

Alle servers bevatten root-SSH, IPv6 en LUKS. Clusteroptie k3s voor +5 €/node, managed monitoring +5 €/node.

FAQ

Kan ik een LLM serveren? Lichte / gekwantiseerde LLM’s (modellen van enkele miljarden parameters, INT8) ja, voor use cases met lage doorvoer. Voor grote LLM’s met veel verkeer blijft een dedicated GPU zinvol — dat is niet onze belofte.

Welke soorten vision-modellen? Detectie (YOLO, SSD), classificatie, OCR, segmentatie: dat zijn de gevallen waar de iGPU uitblinkt in latentie/kosten.

Hoe converteer ik mijn model? PyTorch/TF → ONNX → OpenVINO IR (ovc/mo). ONNX Runtime kan ook draaien zonder conversie.

Conclusie

Om je modellen te serveren biedt inferentie op een geïntegreerde GPU de beste verhouding latentie/kosten. Start vanaf €14,99/maand en bewaar de dedicated GPU’s voor het trainen — niet voor productie.

Gerelateerd