Observabilidad de LLMs en 2026: por qué OpenTelemetry y evals tienen que correr juntos

Un microservicio se puede juzgar con tres números: latencia, error rate, throughput. Un LLM tiene tres ejes adicionales que importan: costo (por token, no por request), calidad subjetiva (si el output sirve) y drift (la misma pregunta puede dar respuesta distinta mañana).

Las GenAI Semantic Conventions de OTel definen atributos comunes para spans de LLM: modelo, tokens, costo, herramientas invocadas, embedding usado, RAG hit rate. Eso significa que tu instrumentación es portable: hoy a Datadog, mañana a New Relic, sin reescribir.

Evaluación online significa correr evaluadores automáticos sobre los traces para detectar respuestas problemáticas y filtrarlas a un set de prueba. No reemplaza a los humanos, pero permite ver problemas a escala.

Si tu sistema con LLM va a recibir tráfico real, antes de exponerlo asegura que tienes estos seis puntos cubiertos. Si falta uno, lo vas a aprender por el lado caro.