Linux GPU

Blog

Rodar modelos do Hugging Face numa GPU integrada (iGPU) — Ollama & llama.cpp

Baixe modelos abertos do Hugging Face e rode-os numa GPU integrada (iGPU) com Ollama e llama.cpp (Vulkan): LLMs pequenos como Gemma, Phi, Qwen. Inferência privada e barata a partir de 14,99 €/mês.

· Linux GPU

Rodar modelos do Hugging Face numa GPU integrada (iGPU) — Ollama & llama.cpp

O Hugging Face é o maior repositório de modelos de IA abertos — e não é preciso uma placa gráfica de 500 €/mês para usá-los. Modelos pequenos e quantizados rodam muito bem numa GPU integrada (iGPU / APU) exposta via Vulkan — a partir de 14,99 €/mês.

O que roda bem numa iGPU

Uma GPU integrada não serve para treinar modelos de 70B. Mas para inferência de modelos pequenos sobra:

  • LLMs pequenos — Gemma (a família aberta da Google, ao estilo Gemini), Llama 3.2, Phi-3, Qwen2.5 — em GGUF quantizado (Q4/Q5).
  • Chatbots, resumo, RAG, extração, classificação no seu próprio servidor privado.
  • Modelos de visão e embeddings via OpenVINO / ONNX Runtime.

Regra prática: escolha modelos até ~7B parâmetros, quantizados. Cabem na memória da iGPU e geram alguns tokens por segundo — suficiente para assistentes, tarefas em lote e automação.

Opção 1 — Ollama (o mais fácil)

O Ollama baixa modelos (muitos espelhados do Hugging Face) e roda-os numa linha:

curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma3:4b

Também pode rodar qualquer GGUF diretamente de um repositório Hugging Face:

ollama run hf.co/unsloth/gemma-3-4b-it-GGUF:Q4_K_M

Opção 2 — llama.cpp com o backend Vulkan

O llama.cpp baixa modelos GGUF diretamente do Hugging Face com -hf e usa a iGPU via Vulkan:

llama-cli -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_M \
  -ngl 99 -p "Explain quantization in 3 bullet points"

-ngl 99 descarrega as camadas do modelo para a GPU integrada.

Visão & embeddings — OpenVINO

Para modelos de visão, OCR ou embeddings do Hugging Face, converta-os com Optimum Intel e aponte para a iGPU com OpenVINO para inferência de baixa latência. Mesmo servidor, mesmo preço.

Porquê alojar você mesmo

  • Custo — sem fatura de API por token, sem GPU de 500 €/mês. Um preço fixo.
  • Privacidade — os seus prompts e dados nunca saem do seu servidor (IPv6 dedicada, SSH root, LUKS).
  • Controlo — fixe uma versão do modelo, rode offline, escale com k3s / Kubernetes.

FAQ

Posso rodar o Gemini ou o GPT localmente? Não — são APIs proprietárias. Mas os seus primos abertos (Gemma, Llama, Phi, Qwen) rodam muito bem numa iGPU.

Qual a velocidade? Um modelo quantizado de 3–4B gera alguns tokens por segundo na UHD 770 — ótimo para assistentes e lote, não para serviço de alto débito.

Por que modelos começar? gemma3:4b, qwen2.5:3b ou phi3:mini — todos disponíveis como GGUF no Hugging Face.

Conclusão

Hugging Face + uma GPU integrada é a forma mais barata de rodar modelos abertos pequenos em privado. Baixe um GGUF, rode-o com Ollama ou llama.cpp sobre Vulkan — a partir de 14,99 €/mês.

Leitura relacionada