AI safety y EU AI Act 2026: por qué red teaming a tus agentes ya no es opcional

Capítulo 01

El 2 de agosto de 2026 cambia el juego en Europa

Si tu producto opera en la UE o sirve a ciudadanos europeos, tienes hasta agosto para que tus sistemas de alto riesgo cumplan. No es teórico — la sanción máxima es €35 millones o 7% de la facturación global.

• Inventario de sistemas IA con clasificación de riesgo y dueño designado.
• Evaluaciones de impacto antes de cada despliegue significativo (no anuales).
• Logs continuos durante el ciclo de vida, no solo en producción.
• Mecanismos demostrables de supervisión humana, con criterios de override.

Capítulo 02

El problema de los agentes: autoridad sin trazabilidad

• Identidad por agente: cada uno con un service principal distinto, no una API key compartida.
• Scopes mínimos: el agente de soporte no puede tocar billing; el de billing no toca infra.
• Logs estructurados: input, herramientas invocadas, output, identidad humana detrás, justificación.
• Kill-switch operativo, no solo un toggle de feature flag.

Capítulo 03

Cómo hacer red teaming a un agente, no solo a un modelo

• Prompt injection desde data externa (PDF, email, RAG): ¿el agente sigue una instrucción inyectada?
• Escalamiento de privilegios: ¿puede combinar herramientas para hacer algo que ninguna sola permite?
• Exfiltración: ¿logra enviar datos de un cliente a un destino no aprobado?
• Resistencia a la supervisión: ¿desactiva o engaña al humano-en-el-loop bajo presión?
• Persistencia entre sesiones: ¿el agente conserva estado que no debería?

Capítulo 04

Qué cerrar este trimestre antes del deadline

• Inventario versionado: cada agente con dueño, propósito, datos, modelo, scopes, fecha de revisión.
• Pipeline de evaluación pre-release con tests de seguridad y de impacto.
• Red team interno o contratado al menos una vez antes de cualquier expansión a alto riesgo.
• Plan de respuesta a incidentes específico para agentes (rollback, comunicación, forense).