Linux GPU

Blog

Faire tourner des modèles Hugging Face sur un GPU intégré (iGPU) — Ollama & llama.cpp

Récupérez des modèles ouverts depuis Hugging Face et lancez-les sur un GPU intégré (iGPU) avec Ollama et llama.cpp (Vulkan) : petits LLM Gemma, Phi, Qwen. Inférence privée et économique dès 14,99 €/mois.

· Linux GPU

Faire tourner des modèles Hugging Face sur un GPU intégré (iGPU) — Ollama & llama.cpp

Hugging Face est le plus grand catalogue de modèles d’IA ouverts — et nul besoin d’une carte graphique à 500 €/mois pour les utiliser. Les petits modèles quantifiés tournent très bien sur un GPU intégré (iGPU / APU) exposé en Vulkan — dès 14,99 €/mois.

Ce qui tourne bien sur un iGPU

Un GPU intégré n’est pas fait pour entraîner des modèles de 70 milliards de paramètres. Mais pour l’inférence de petits modèles, il suffit largement :

  • Petits LLM — Gemma (la famille ouverte de Google, façon Gemini), Llama 3.2, Phi-3, Qwen2.5 — en GGUF quantifié (Q4/Q5).
  • Chatbot, résumé, RAG, extraction, classification sur votre propre serveur privé.
  • Modèles de vision et d’embeddings via OpenVINO / ONNX Runtime.

Règle simple : visez des modèles jusqu’à ~7 milliards de paramètres, quantifiés. Ils tiennent dans la mémoire de l’iGPU et génèrent quelques tokens par seconde — assez pour des assistants, des traitements par lots et de l’automatisation.

Option 1 — Ollama (le plus simple)

Ollama récupère les modèles (beaucoup miroités depuis Hugging Face) et les lance en une ligne :

curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma3:4b

Vous pouvez aussi lancer n’importe quel GGUF directement depuis un dépôt Hugging Face :

ollama run hf.co/unsloth/gemma-3-4b-it-GGUF:Q4_K_M

Option 2 — llama.cpp avec le backend Vulkan

llama.cpp télécharge les modèles GGUF directement depuis Hugging Face avec -hf et exploite l’iGPU via Vulkan :

llama-cli -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_M \
  -ngl 99 -p "Explain quantization in 3 bullet points"

-ngl 99 décharge les couches du modèle sur le GPU intégré.

Vision & embeddings — OpenVINO

Pour les modèles Hugging Face de vision, OCR ou embeddings, convertissez-les avec Optimum Intel et ciblez l’iGPU avec OpenVINO pour une inférence à faible latence. Même serveur, même prix.

Pourquoi les héberger vous-même

  • Coût — pas de facturation à l’API par token, pas de GPU à 500 €/mois. Un prix fixe.
  • Confidentialité — vos prompts et vos données ne quittent jamais votre serveur (IPv6 dédiée, SSH root, LUKS).
  • Maîtrise — figez une version de modèle, tournez hors ligne, passez à l’échelle en k3s / Kubernetes.

FAQ

Puis-je faire tourner Gemini ou GPT en local ? Non — ce sont des API propriétaires. Mais leurs cousins ouverts (Gemma, Llama, Phi, Qwen) tournent très bien sur un iGPU.

Quelle vitesse ? Un modèle quantifié de 3–4B génère quelques tokens par seconde sur l’UHD 770 — parfait pour des assistants et du batch, pas pour du service à haut débit.

Par quels modèles commencer ? gemma3:4b, qwen2.5:3b ou phi3:mini — tous disponibles en GGUF sur Hugging Face.

Conclusion

Hugging Face + un GPU intégré, c’est la façon la moins chère de faire tourner de petits modèles ouverts en privé. Récupérez un GGUF, lancez-le avec Ollama ou llama.cpp sur Vulkan — dès 14,99 €/mois.

À lire aussi