Günstige KI-Inferenz: OpenVINO auf integrierter GPU, ohne GPU für 500 €/Monat

Ein großes Modell zu trainieren erfordert eine teure dedizierte GPU. Aber ein bereits trainiertes Modell zu betreiben — also Inferenz zu machen — hat andere Anforderungen. Für Vision, OCR oder leichte LLMs genügt eine integrierte Intel-GPU, angesteuert über OpenVINO, ab 14,99 €/Monat. Dafür müssen Sie keine GPU für 300-500 €/Monat mieten.

Training ≠ Inferenz

Genau diese Verwechslung kostet viel Geld. Das Training lastet über Stunden Tausende Kerne aus: Hier ist eine dedizierte GPU gerechtfertigt. Die Inferenz dagegen führt ein fixiertes Modell auf eine Anfrage aus: niedrige Latenz, punktuelle Last. Eine Trainingskarte zu bezahlen, um ein Erkennungsmodell zu betreiben, ist Verschwendung.

	Training	Inferenz (Ihr Fall)
Typische Hardware	Dedizierte GPU (300-500 €+/Monat)	Intel-iGPU (ab 14,99 €/Monat)
Dauer	Stunden / Tage	Millisekunden pro Anfrage
Passendes Werkzeug	CUDA / PyTorch	OpenVINO / ONNX Runtime

Warum die Intel-iGPU + OpenVINO

OpenVINO ist Intels Inferenz-Runtime: Es zielt nativ auf die iGPU. Objekterkennung, Klassifizierung, OCR und Segmentierung laufen mit guter Latenz, ganz ohne dedizierte GPU. ONNX Runtime funktioniert ebenfalls auf derselben Hardware.

Beispiel: die integrierte GPU ansteuern

from openvino.runtime import Core
core = Core()
print(core.available_devices)   # ['CPU', 'GPU']
model = core.compile_model('model.xml', 'GPU')

Das Device 'GPU' ist die iGPU des Servers. Sie exportieren Ihr Modell (von PyTorch/TensorFlow → ONNX → OpenVINO IR) und betreiben es direkt.

Industrialisieren

• Stellen Sie eine Inferenz-API bereit (FastAPI, Triton, OpenVINO-Server);
• Containerisieren Sie sie;
• Skalieren Sie mit k3s / Kubernetes, ein Replica pro GPU-Knoten.

Alle Server beinhalten SSH-Root, IPv6 und LUKS. k3s-Cluster-Option für +5 €/Knoten, Managed-Monitoring +5 €/Knoten.

FAQ

Kann ich ein LLM betreiben? Leichte / quantisierte LLMs (Modelle mit einigen Milliarden Parametern, INT8) ja, für Szenarien mit geringem Durchsatz. Für große LLMs mit hohem Traffic bleibt eine dedizierte GPU sinnvoll — das ist nicht unser Versprechen.

Welche Arten von Vision-Modellen? Erkennung (YOLO, SSD), Klassifizierung, OCR, Segmentierung: Das sind die Fälle, in denen die iGPU bei Latenz/Kosten glänzt.

Wie konvertiere ich mein Modell? PyTorch/TF → ONNX → OpenVINO IR (ovc/mo). ONNX Runtime kann auch ohne Konvertierung laufen.

Fazit

Um Ihre Modelle zu betreiben, bietet Inferenz auf integrierter GPU das beste Verhältnis aus Latenz und Kosten. Starten Sie ab 14,99 €/Monat und behalten Sie dedizierte GPUs für das Training — nicht für die Produktion.