Inferencia de IA económica: OpenVINO en GPU integrada, sin una GPU de 500 €/mes
Entrenar un modelo grande exige una GPU dedicada cara. Pero servir un modelo ya entrenado — es decir, hacer inferencia — no tiene las mismas necesidades. Para visión, OCR o LLM ligeros, una GPU integrada Intel gestionada por OpenVINO es suficiente, a partir de 14,99 €/mes. No hace falta alquilar una GPU de 300-500 €/mes para eso.
Entrenamiento ≠ inferencia
Esta es la confusión que sale cara. El entrenamiento satura miles de núcleos durante horas: ahí una GPU dedicada se justifica. La inferencia, en cambio, ejecuta un modelo congelado sobre una petición: baja latencia, carga puntual. Pagar una tarjeta de entrenamiento para servir un modelo de detección es malgastar.
| Entrenamiento | Inferencia (tu caso) | |
|---|---|---|
| Hardware típico | GPU dedicada (300-500 €+/mes) | iGPU Intel (desde 14,99 €/mes) |
| Duración | horas / días | milisegundos por petición |
| Herramienta adecuada | CUDA / PyTorch | OpenVINO / ONNX Runtime |
Por qué la iGPU Intel + OpenVINO
OpenVINO es el runtime de inferencia de Intel: apunta de forma nativa a la iGPU. Detección de objetos, clasificación, OCR y segmentación se ejecutan con buena latencia, sin GPU dedicada. ONNX Runtime también funciona sobre el mismo hardware.
Ejemplo: apuntar a la GPU integrada
from openvino.runtime import Core
core = Core()
print(core.available_devices) # ['CPU', 'GPU']
model = core.compile_model('model.xml', 'GPU')El dispositivo 'GPU' es la iGPU del servidor. Exportas tu modelo (desde
PyTorch/TensorFlow → ONNX → OpenVINO IR) y sirves directamente.
Industrializar
- Expón una API de inferencia (FastAPI, Triton, servidor OpenVINO);
- Contenerízala;
- Escala en k3s / Kubernetes, una réplica por nodo GPU.
Todos los servidores incluyen SSH root, IPv6 y LUKS. Opción clúster k3s a +5 €/nodo, supervisión gestionada +5 €/nodo.
Preguntas frecuentes
¿Puedo servir un LLM? LLM ligeros / cuantizados (modelos de unos pocos miles de millones de parámetros, INT8) sí, para casos de bajo volumen. Para LLM grandes con mucho tráfico, una GPU dedicada sigue siendo lo pertinente: esa no es nuestra promesa.
¿Qué tipos de modelos de visión? Detección (YOLO, SSD), clasificación, OCR, segmentación: son los casos donde la iGPU brilla en latencia/coste.
¿Cómo convierto mi modelo?
PyTorch/TF → ONNX → OpenVINO IR (ovc/mo). ONNX Runtime también puede
ejecutarse sin conversión.
Conclusión
Para servir tus modelos, la inferencia en GPU integrada ofrece la mejor relación latencia/coste. Empieza desde 14,99 €/mes y reserva las GPU dedicadas para el entrenamiento, no para la producción.