Infraestructura para IA agéntica: Cognition multiplica por 4,8 sus tokens con Vera Rubin y CoreWeave

Hasta 4,8 veces más rendimiento en tokens que la generación anterior. Ese es el dato que Cognition, el laboratorio detrás del ingeniero de software con IA Devin, midió en sus primeras pruebas con NVIDIA Vera Rubin NVL72 sobre CoreWeave. El resultado muestra hacia dónde va la infraestructura para IA agéntica: ya no basta con comprar GPUs potentes, hay que cerrar el ciclo completo entre entrenamiento, evaluación y producción.

La noticia salió esta semana, durante el evento CoreWeave Fully Connected en San Francisco. CoreWeave anunció la disponibilidad de los sistemas NVIDIA Vera Rubin NVL72 con redes Spectrum-X Ethernet de 102,4T. Cognition es el primer cliente con cargas de producción en esa plataforma. La compañía ya había escalado a miles de GPUs en CoreWeave en nueve meses y ejecuta allí entrenamiento, aprendizaje por refuerzo e inferencia de Devin. Según el proveedor, levantar el clúster de producción llevó apenas unos días. En una prueba con tareas reales de ingeniería de software (un subconjunto de FrontierCode resuelto por agentes), Vera Rubin superó hasta 4,8x en rendimiento total de tokens al GB200 NVL72 en cargas de inferencia SWE-2. Son cifras de pruebas tempranas y publicadas por los propios proveedores, así que conviene validarlas con tu propia carga.

El anuncio tiene más piezas. CoreWeave ofrecerá la CPU NVIDIA Vera, pensada para agentes: un rack con 128 CPUs y 11.264 núcleos puede sostener más de 11.000 entornos aislados simultáneos. En sus pruebas, CoreWeave midió arranques de sandboxes más de 3 veces más rápidos y una mejora de 1,7x en Terminal-Bench. Además lanzó CoreWeave Forge, un entorno que une Weights & Biases, OpenPipe y el proyecto open source marimo. Incluye ARIA (ya disponible), Agent Lens, que según la compañía mejora 20% la detección de fallos y los corrige a la mitad del costo, y un RL serverless que entrena 1,4x más rápido con 40% menos costo que una configuración autogestionada. Canva, Capital One y MasterClass figuran entre los primeros usuarios de Forge. Ennoble Care, que atiende a unos 50.000 pacientes de Medicare en 15 estados, usará GPUs RTX PRO 6000 para sus agentes clínicos.

Qué enseña esta infraestructura para IA agéntica a tu organización

La lección de fondo es que los agentes de IA en producción tensionan la infraestructura desde dos lados. Servir agentes exige cómputo de baja latencia a escala. Mejorarlos exige miles de entornos aislados corriendo en paralelo para evaluar y reentrenar. Cognition lo resume bien: en codificación agéntica, con contextos largos y alta concurrencia, «el costo por token decide lo que podemos lanzar». Es decir, la economía del token se vuelve una decisión de producto, no solo de TI.

El segundo aprendizaje es la vida útil del hardware. NVIDIA señala que las V100 de CoreWeave siguen atendiendo clientes casi una década después del lanzamiento de Volta. Para un CFO esto cambia la conversación: la pregunta no es solo qué chip es el más nuevo, sino qué carga corre en qué generación. Esa lógica de capacidad escalonada también aparece en el acuerdo de $5.000 millones de Anthropic con SpaceX para resolver el cuello de botella de computación, que muestra que conseguir cómputo ya es una decisión estratégica.

Cómo aplicar el ciclo de mejora continua de agentes en tu empresa

No necesitas el tamaño de Cognition para aprovechar el patrón. Estos pasos sirven a cualquier equipo que ya tenga agentes en piloto:

Mide el costo por tarea resuelta, no solo por token. Define una carga representativa de tu negocio y compara proveedores y generaciones de hardware con ella, como hizo Cognition con tareas reales.

Separa el aislamiento del entrenamiento. Cada llamada a una herramienta, cada evaluación y cada ejecución de RL debería correr en un entorno limpio. Es también una cuestión de seguridad, como se ve en la automatización de la seguridad de agentes empresariales de AWS y Cisco.

Conecta producción con entrenamiento. Las trazas de tus agentes en producción son tu mejor dato de entrenamiento. Si pasan por herramientas desconectadas, pierdes señal en cada traspaso, el problema que Forge dice resolver.

Empieza con post-entrenamiento serverless. Afinar con tus propias señales, sin montar un clúster, reduce la barrera de entrada y el riesgo de inversión inicial.

Evita el bloqueo prematuro. Forge se declara abierto a distintos modelos, frameworks y nubes. Exige esa misma apertura a cualquier plataforma que evalúes.

También hay un error que evitar: perseguir el último chip sin madurez operativa. La red y la fiabilidad pesan tanto como las GPUs, como muestra la conexión de 100.000 GPUs de OpenAI con el protocolo MRC. Un clúster potente con observabilidad pobre solo acelera tus errores.

El momento de decidir tu estrategia de IA agéntica

El mensaje para CTOs y gerentes de innovación es práctico: los agentes ya no son solo un problema de modelos, sino de plataforma. Quien logre cerrar el ciclo entre producción, evaluación y reentrenamiento mejorará más rápido y a menor costo. Antes de comprometer presupuesto, pregúntate si tu infraestructura para IA agéntica puede medir, aislar y reutilizar lo que tus agentes aprenden cada día. ¿Tu organización ya tiene ese ciclo cerrado, o todavía depende de herramientas sueltas?