Benchmarks de agentes de código en 2026: por qué SWE-Bench Pro vuelve a poner los pies en la tierra

SWE-Bench Verified es el benchmark de cabecera de los anuncios: tareas curadas, reproducibles, mostrables. Los top models pasan el 70%. SWE-Bench Pro toma 1.865 tareas multi-archivo y multi-lenguaje (~107 líneas por tarea, 4.1 archivos en promedio). Los mismos modelos caen al 23%.

La lección no es que los modelos son malos. Es que cualquiera que prometa “autonomía total” está hablando del benchmark fácil. La realidad de tu codebase se parece más al difícil.

Los benchmarks tradicionales sufren contaminación: las tareas terminan dentro del set de entrenamiento de la siguiente generación de modelos. LiveCodeBench renueva problemas continuamente, así que los scores no se inflan por memorización.

Si solo miras un benchmark, mira ese y SWE-Bench Pro. Suficiente para evitar comprar humo.

Los benchmarks públicos te dan el suelo. Tu evaluación interna te da el techo. La forma más útil que vemos en clientes: armar un set fijo de 30 a 60 tareas reales y correrlas contra cada modelo cada trimestre.