IA em GPU integrada: LLMs pequenos e visão

LLMs pequenos locais (Gemma, Phi, Qwen)

Rode modelos abertos pequenos — Gemma (a família aberta ao estilo Gemini), Llama, Phi, Qwen — diretamente na iGPU: chatbot, resumo, RAG, extração. Baixe qualquer GGUF do Hugging Face com Ollama ou llama.cpp (backend Vulkan). Ótimo para inferência simples e privada.

# Ollama — pull & run a small model in one line
ollama run gemma3:4b

# …or llama.cpp with a Hugging Face GGUF, on the iGPU (Vulkan)
llama-cli -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_M \
  -ngl 99 -p "Summarize this ticket in 3 bullets"

OpenVINO em iGPU Intel

O OpenVINO visa nativamente a iGPU Intel: deteção, classificação, OCR e segmentação com boa latência sem GPU dedicada. O ONNX Runtime também funciona.

Exemplo

Aponte para a GPU integrada na inferência:

from openvino.runtime import Core
core = Core()
print(core.available_devices)  # ['CPU', 'GPU']
model = core.compile_model('model.xml', 'GPU')

Industrialização

Exponha uma API de inferência, containerize-a e escale com k3s / Kubernetes. SSH root, IPv6 incluído, LUKS.