Edge AI en 2026: cuándo conviene correr LLMs en el dispositivo y cuándo no
Una lectura técnica honesta para equipos de producto que están eligiendo entre modelo cloud y modelo local: qué está maduro, qué falta y cómo decidir según caso de uso.
- Publicado
- min de lectura
- 2 min de lectura
- Categoría
- Sistemas IA
En esta página
4 capítulosCapítulo 01
Cuatro razones para mover inferencia al dispositivo
El movimiento on-device dejó de ser experimental porque las cuatro razones que lo justifican empezaron a cuadrar a la vez: latencia (cloud agrega cientos de ms por round-trip), privacidad (lo que no sale del dispositivo no se filtra), costo (el cómputo del usuario no aparece en tu factura) y disponibilidad (funciona offline).
- Tareas de utilidad diaria (formato, búsqueda, resumen corto, autocompletado): on-device gana.
- Razonamiento largo, contexto grande, multi-paso complejo: cloud sigue siendo mejor.
- Caso híbrido: pre-procesa local, llama al cloud solo cuando hace falta. Reduce facturas un 60-80%.
Capítulo 02
Memory bandwidth: el techo que nadie te muestra en la demo
Las NPUs móviles son potentes en TFLOPS, pero la inferencia a tiempo de decode está limitada por ancho de banda de memoria. Un dispositivo móvil tiene 50-90 GB/s; una GPU de datacenter tiene 2-3 TB/s. Eso es un gap de 30-50x.
Por eso la cuantización agresiva (16-bit a 4-bit) no es solo 4x menos almacenamiento — es 4x menos tráfico de memoria por token. Ahí es donde se gana throughput real.
Capítulo 03
Los modelos chicos finalmente son útiles
Donde antes 7B parecía el mínimo para generación coherente, en 2026 los sub-billón hacen muchas tareas prácticas. Llama 3.2 (1B/3B), Gemma 3 (270M), SmolLM2 (135M-1.7B) son los referentes que aparecen en la mayoría de stacks móviles.
- ExecuTorch para deployment móvil con footprint de ~50KB.
- llama.cpp y MLX como alternativas según plataforma.
- LiteRT-LM (Google) lanzado en abril 2026 como framework de producción para edge.
- Knowledge distillation desde un modelo grande es más barato que entrenar desde cero.
Capítulo 04
Cómo decidir on-device vs cloud para tu producto
No es ideología; es trade-off. Estos cinco preguntas alcanzan en una reunión de 30 minutos para decidir.
- ¿Tu tarea cabe en un modelo de 1-3B con calidad suficiente para tu caso?
- ¿La latencia objetivo es menor a 300ms? (cloud difícilmente baja de eso)
- ¿Tienes restricción de privacidad o regulación que impida enviar al cloud?
- ¿Tu usuario va a usar el feature offline?
- ¿Volumen es alto y el costo unitario en cloud te asusta?
Escrito por
Wasyra AI Systems
Confianza, copilots y adopción empresarial
Wasyra AI Systems cubre guardrails, modos sugerencia y diseño de revisión para que asistentes de trabajo generen adopción real.
Más de este autor
Más de este autor
Sistemas IA
Datos sintéticos multilingües: seis gates
Traducir millones de documentos no crea un corpus confiable. Seis gates separan generación, aceptación, evaluación y release multilingüe.
ArtículoSistemas IA
Evaluación continua de agentes: nueve gates
Un agente puede responder rápido y estar equivocado. Nueve gates conectan evaluación offline, release, producción y aprendizaje verificable.
ArtículoSigue leyendo
Sigue leyendo
Sistemas IA
Decisions API: siete gates para producción
Decisions API acelera respuestas acotadas. Siete gates ayudan a calibrar umbrales, fallbacks y revisión antes de automatizar.
ArtículoSistemas IA
Agentes distribuidos: cuándo paralelizar el análisis
Más agentes solo ayudan si el trabajo se divide sin perder evidencia. Siete decisiones convierten paralelismo en cobertura evaluable.
ArtículoSistemas IA
RAG multimodal: siete gates para confiar en la evidencia
Parsear, recuperar y reordenar son contratos distintos. Siete gates ayudan a decidir si una pila multimodal mejora la evidencia sin ocultar nuevos fallos.
Artículo