IA sur GPU intégré : petits LLM & vision

Petits LLM en local (Gemma, Phi, Qwen)

Faites tourner de petits modèles ouverts — Gemma (la famille ouverte à la Gemini), Llama, Phi, Qwen — directement sur l'iGPU : chatbot, résumé, RAG, extraction. Récupérez n'importe quel GGUF depuis Hugging Face avec Ollama ou llama.cpp (backend Vulkan). Parfait pour une inférence simple et privée.

# Ollama — pull & run a small model in one line
ollama run gemma3:4b

# …or llama.cpp with a Hugging Face GGUF, on the iGPU (Vulkan)
llama-cli -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_M \
  -ngl 99 -p "Summarize this ticket in 3 bullets"

OpenVINO sur iGPU Intel

OpenVINO cible nativement l’iGPU Intel : détection, classification, OCR, segmentation s’exécutent avec une bonne latence sans GPU dédié. ONNX Runtime fonctionne aussi.

Exemple

Ciblez le GPU intégré pour l’inférence :

from openvino.runtime import Core
core = Core()
print(core.available_devices)  # ['CPU', 'GPU']
model = core.compile_model('model.xml', 'GPU')

Industrialisation

Exposez une API d’inférence, conteneurisez-la et passez à l’échelle en k3s / Kubernetes. SSH root, IPv6 incluse, LUKS.