Auditoría de código con IA: solo 20% de precisión en el caso real de Anthropic Mythos con curl

El modelo Mythos de Anthropic, presentado como "peligrosamente bueno" para encontrar fallos de seguridad, mostró una tasa de precisión del 20% en su prueba con curl, una de las librerías más críticas de internet. De 5 vulnerabilidades reportadas, el equipo de seguridad confirmó solo 1 como real tras horas de investigación manual.

Daniel Stenberg, desarrollador principal de curl (usada en más del 75% de servidores web globalmente), recibió acceso al modelo Mythos en abril de 2026 y documentó los resultados. Mientras que las evaluaciones internas de Anthropic indican que Mythos puede detectar "decenas de miles de vulnerabilidades de alta gravedad" en minutos y generar exploits funcionales para el 72% de las fallas identificadas, la realidad en curl fue considerablemente diferente.

El contraste es revelador. Según documentos técnicos de Anthropic, Mythos alcanzó una tasa de éxito del 83.1% en la prueba CyberGym, superando significativamente a Claude Opus 4.6 (66.6%). Sin embargo, en código de producción real como curl, la efectividad se desplomó al 20%. Esta diferencia subraya la brecha entre benchmarks controlados y implementaciones reales.

El contexto es más complejo de lo que sugiere la cifra inicial. En Firefox, Mythos identificó y corrigió 423 vulnerabilidades en un mes (abril 2026), comparado con solo 31 en los 15 meses previos. Stenberg reconoce que los analizadores de código con IA son "significativamente mejores que las herramientas tradicionales de análisis estático", pero advierte sobre expectativas poco realistas de infalibilidad.

Cómo implementar auditoría de código con IA en tu empresa

Para líderes empresariales que consideran implementar IA para ciberseguridad, el caso curl ofrece lecciones prácticas inmediatas:

Establece un proceso de validación humana obligatorio. La tasa de falsos positivos del 80% en curl debe ser tu línea base de escepticismo. Ningún hallazgo de IA debe convertirse en ticket de producción sin revisión de un ingeniero con experiencia en seguridad. GitHub implementa arquitecturas de seguridad multicapa para agentes de IA que incluyen validación humana en múltiples puntos del pipeline.

Implementa escaneo de código con IA como primera capa, no como solución final. Usa herramientas como GitHub Advanced Security, Snyk con capacidades IA, o CodeQL. Escanea tu código base completo, priorizando dependencias críticas como curl, OpenSSL o FFmpeg. Las herramientas tradicionales detectan aproximadamente 10-20% de vulnerabilidades conocidas, mientras que Mythos representa un salto cualitativo en capacidades de detección.

Prioriza dependencias críticas y establece monitoreo continuo. Identifica las 5-10 librerías que tu producto usa intensivamente y monitorea sus CVEs semanalmente. Usa herramientas como Dependabot o Renovate con alertas prioritarias. Según las pruebas de Anthropic, Mythos puede identificar fallas con más de dos décadas de antigüedad, encontrando vulnerabilidades de 27 años en OpenBSD y 16 años en FFmpeg.

Invierte en capacitación de seguridad básica para tu equipo. Al menos un miembro debe entender OWASP Top 10, cómo leer CVEs y aplicar parches críticos. No necesitas un CISO full-time en etapa early, pero sí conciencia de seguridad. OpenAI Codex Security detecta 10.561 vulnerabilidades críticas analizando millones de commits, demostrando la escala que pueden alcanzar estas herramientas con la supervisión adecuada.

La advertencia de Stenberg es clara: la IA para auditoría de código es un multiplicador de fuerza, no un reemplazo de equipos de seguridad. Para startups, esto significa que puedes usar IA para escalar el descubrimiento de vulnerabilidades, pero la validación y triage requieren expertise humano.

La lección fundamental del caso curl es que las herramientas de IA para ciberseguridad serán cada vez más accesibles, pero la ventaja competitiva estará en cómo las integras en tu proceso de desarrollo, no en tener acceso a la herramienta más potente. La tasa de precisión del 20% en código crítico debe ser tu referencia para calibrar expectativas y diseñar procesos de validación robustos.