Inférence IA économique : OpenVINO sur GPU intégré, sans GPU à 500 €/mois

Entraîner un gros modèle demande un GPU dédié coûteux. Mais servir un modèle déjà entraîné — c’est-à-dire faire de l’inférence — n’a pas les mêmes besoins. Pour de la vision, de l’OCR ou des LLM légers, un GPU intégré Intel piloté par OpenVINO suffit, à partir de 14,99 €/mois. Inutile de louer un GPU à 300-500 €/mois pour ça.

Entraînement ≠ inférence

C’est la confusion qui coûte cher. L’entraînement sature des milliers de cœurs pendant des heures : là, un GPU dédié se justifie. L’inférence, elle, exécute un modèle figé sur une requête : latence faible, charge ponctuelle. Payer une carte de training pour servir un modèle de détection, c’est gaspiller.

	Entraînement	Inférence (votre cas)
Matériel typique	GPU dédié (300-500 €+/mois)	iGPU Intel (dès 14,99 €/mois)
Durée	heures / jours	millisecondes par requête
Bon outil	CUDA / PyTorch	OpenVINO / ONNX Runtime

Pourquoi l’iGPU Intel + OpenVINO

OpenVINO est le runtime d’inférence d’Intel : il cible nativement l’iGPU. Détection d’objets, classification, OCR, segmentation s’exécutent avec une bonne latence, sans GPU dédié. ONNX Runtime fonctionne aussi sur le même matériel.

Exemple : cibler le GPU intégré

from openvino.runtime import Core
core = Core()
print(core.available_devices)   # ['CPU', 'GPU']
model = core.compile_model('model.xml', 'GPU')

Le device 'GPU' est l’iGPU du serveur. Vous exportez votre modèle (depuis PyTorch/TensorFlow → ONNX → OpenVINO IR) et vous servez directement.

Industrialiser

• Exposez une API d’inférence (FastAPI, Triton, serveur OpenVINO) ;
• Conteneurisez-la ;
• Passez à l’échelle en k3s / Kubernetes, un replica par nœud GPU.

Tous les serveurs incluent SSH root, IPv6 et LUKS. Option cluster k3s à +5 €/nœud, supervision managée +5 €/nœud.

FAQ

Puis-je servir un LLM ? Des LLM légers / quantisés (modèles de quelques milliards de paramètres, INT8) oui, pour des cas à faible débit. Pour de gros LLM à fort trafic, un GPU dédié reste pertinent — ce n’est pas notre promesse.

Quels types de modèles de vision ? Détection (YOLO, SSD), classification, OCR, segmentation : ce sont les cas où l’iGPU brille en latence/coût.

Comment convertir mon modèle ? PyTorch/TF → ONNX → OpenVINO IR (ovc/mo). ONNX Runtime peut aussi tourner sans conversion.

Conclusion

Pour servir vos modèles, l’inférence sur GPU intégré offre le meilleur rapport latence/coût. Démarrez à 14,99 €/mois et gardez les GPU dédiés pour l’entraînement — pas pour la production.