IA en GPU integrada: LLM pequeños y visión

LLM pequeños en local (Gemma, Phi, Qwen)

Ejecuta modelos abiertos pequeños — Gemma (la familia abierta estilo Gemini), Llama, Phi, Qwen — en la iGPU: chatbot, resumen, RAG, extracción. Descarga cualquier GGUF desde Hugging Face con Ollama o llama.cpp (backend Vulkan). Ideal para inferencia simple y privada.

# Ollama — pull & run a small model in one line
ollama run gemma3:4b

# …or llama.cpp with a Hugging Face GGUF, on the iGPU (Vulkan)
llama-cli -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_M \
  -ngl 99 -p "Summarize this ticket in 3 bullets"

OpenVINO en iGPU Intel

OpenVINO apunta de forma nativa a la iGPU Intel: detección, clasificación, OCR y segmentación con buena latencia sin GPU dedicada. ONNX Runtime también funciona.

Ejemplo

Apunta a la GPU integrada para la inferencia:

from openvino.runtime import Core
core = Core()
print(core.available_devices)  # ['CPU', 'GPU']
model = core.compile_model('model.xml', 'GPU')

Industrialización

Expón una API de inferencia, containerízala y escala con k3s / Kubernetes. SSH root, IPv6 incluida, LUKS.