Inferência de IA económica: OpenVINO em GPU integrada, sem GPU de 500 €/mês

Treinar um modelo grande exige uma GPU dedicada cara. Mas servir um modelo já treinado — ou seja, fazer inferência — não tem as mesmas exigências. Para visão, OCR ou LLM leves, uma GPU integrada Intel controlada pelo OpenVINO chega, a partir de 14,99 €/mês. Não vale a pena alugar uma GPU de 300-500 €/mês para isto.

Treino ≠ inferência

É esta a confusão que sai cara. O treino satura milhares de núcleos durante horas: aí, uma GPU dedicada justifica-se. A inferência, por seu lado, executa um modelo fixo sobre um pedido: baixa latência, carga pontual. Pagar uma placa de treino para servir um modelo de deteção é desperdício.

	Treino	Inferência (o seu caso)
Hardware típico	GPU dedicada (300-500 €+/mês)	iGPU Intel (desde 14,99 €/mês)
Duração	horas / dias	milissegundos por pedido
Ferramenta certa	CUDA / PyTorch	OpenVINO / ONNX Runtime

Porquê a iGPU Intel + OpenVINO

O OpenVINO é o runtime de inferência da Intel: visa nativamente a iGPU. Deteção de objetos, classificação, OCR e segmentação executam-se com boa latência, sem GPU dedicada. O ONNX Runtime também funciona no mesmo hardware.

Exemplo: apontar para a GPU integrada

from openvino.runtime import Core
core = Core()
print(core.available_devices)   # ['CPU', 'GPU']
model = core.compile_model('model.xml', 'GPU')

O device 'GPU' é a iGPU do servidor. Exporta o seu modelo (de PyTorch/TensorFlow → ONNX → OpenVINO IR) e serve diretamente.

Industrializar

• Exponha uma API de inferência (FastAPI, Triton, servidor OpenVINO);
• Coloque-a em contentor;
• Escale em k3s / Kubernetes, uma réplica por nó GPU.

Todos os servidores incluem SSH root, IPv6 e LUKS. Opção cluster k3s a +5 €/nó, supervisão gerida +5 €/nó.

FAQ

Posso servir um LLM? LLM leves / quantizados (modelos de alguns milhares de milhões de parâmetros, INT8) sim, para casos de baixo débito. Para LLM grandes com muito tráfego, uma GPU dedicada continua a fazer sentido — não é essa a nossa promessa.

Que tipos de modelos de visão? Deteção (YOLO, SSD), classificação, OCR, segmentação: são os casos em que a iGPU brilha em latência/custo.

Como converto o meu modelo? PyTorch/TF → ONNX → OpenVINO IR (ovc/mo). O ONNX Runtime também pode correr sem conversão.

Conclusão

Para servir os seus modelos, a inferência em GPU integrada oferece a melhor relação latência/custo. Comece nos 14,99 €/mês e guarde as GPU dedicadas para o treino — não para a produção.