4 min de lectura

Costos de tokens en agentes de IA: Flightscape recorta hasta 71% el consumo con JSON de 23 MB

Costos de tokens en agentes de IA: Flightscape recortó hasta 71% los tokens y 80% la latencia con JSON de 23 MB en Bedrock AgentCore. Descubre cómo lo hicieron.

Ilustración abstracta de datos JSON masivos comprimidos en un núcleo luminoso que alimenta a un agente de IA veloz y eficiente

Un agente de IA que tarda más de 15 segundos en responder y se queda sin ventana de contexto antes de terminar de razonar no está listo para producción. Ese era el punto de partida de Flightscape, plataforma de operaciones para aerolíneas. Tras rediseñar cómo su agente maneja datos, el equipo logró reducir hasta 71% los costos de tokens en agentes de IA y hasta 80% la latencia promedio, según sus pruebas con un archivo JSON representativo de 23 MB.

El problema: cada herramienta inyectaba todo el JSON en el modelo

Flightscape construyó un agente de optimización de horarios de entrenamiento para tripulaciones. Verifica las asignaciones contra reglas de negocio y responde consultas complejas sobre asignaciones, programación y recursos. Maneja más de 40 herramientas y entradas JSON de varios megabytes, con payloads de 20 MB o más.

Funcionaba, pero con un defecto estructural: cada llamada a una herramienta metía el payload completo en el contexto del modelo. Eso disparaba los tokens y los costos, y en conversaciones de varios turnos el efecto se acumulaba. Con conjuntos de datos grandes, la ventana de contexto se llenaba antes de que el agente pudiera terminar. La latencia en agentes de IA superaba los 15 segundos en la mayoría de las solicitudes.

La arquitectura usa LangGraph, un framework de código abierto, sobre Amazon Bedrock AgentCore, con memoria de AgentCore para persistir las conversaciones. Un optimizador genera una respuesta, un validador de reglas produce un informe y el agente ingiere los tres JSON para que el usuario los consulte en lenguaje natural.

La solución consistió en sacar los datos pesados de la conversación:

  • Estado de sesión ligero: los artefactos grandes (solicitud, respuesta, informe de validación, estadísticas) se guardan en Amazon S3. La memoria de AgentCore conserva solo referencias estables. Al inicio de cada turno, una función de "hidratación" restaura el estado ligero, y al final otra "deshidrata" y escribe los payloads pesados en S3.
  • Resultados de herramientas resumidos: cuando una herramienta devuelve una lista o un diccionario enormes, el agente guarda el resultado completo en S3 y entrega al modelo un resumen compacto con un identificador. Si necesita más detalle, lo pide por páginas con una herramienta dedicada.
  • El equipo presenta estas técnicas como estrategias componibles, y las cifras de 71% y 80% corresponden a su combinación y son máximos observados en sus benchmarks. El texto disponible no detalla todos los componentes, así que conviene revisar el repositorio de código que acompaña a la publicación original antes de replicarlos.

    Cómo reducir los costos de tokens en agentes de IA en tu empresa

    La lección va más allá de las aerolíneas. Si tu agente trabaja con contratos, historiales de cuentas, inventarios o logs, probablemente tienes el mismo problema: estás pagando al modelo por leer datos que no necesita leer.

    Empieza por estas acciones:

    1. Mide antes de optimizar. Registra tokens por turno y latencia por herramienta. Identifica qué llamadas inyectan más datos.
    2. Separa estado de conversación y estado de datos. Los mensajes viven en la memoria del agente. Los documentos grandes viven en almacenamiento externo, como S3, y se referencian por clave.
    3. Haz que las herramientas devuelvan resúmenes. Un conteo, un esquema y unas pocas filas de muestra suelen bastar para que el modelo decida el siguiente paso.
    4. Ofrece paginación bajo demanda. Si el modelo necesita más detalle, que lo pida. Es mejor que cargarlo todo por si acaso.
    5. Prueba con el payload más grande que tendrás en producción, no con datos de demostración. El fallo por ventana de contexto aparece justo ahí.

    También conviene vigilar los riesgos. Externalizar datos añade piezas (almacenamiento, permisos, ciclo de vida de los artefactos) y exige controlar quién accede a qué. El equipo señala que se pueden aplicar Amazon Bedrock Guardrails para filtrar las respuestas conversacionales.

    Cuándo tiene sentido hacerlo

    No todos los agentes lo necesitan. Si tus herramientas devuelven respuestas de unos pocos kilobytes, el beneficio será menor. Pero cuando aparecen datos estructurados voluminosos, decenas de herramientas y sesiones largas, esta arquitectura pasa de ser un refinamiento a ser un requisito de viabilidad.

    Es una vía complementaria a otras palancas de eficiencia. Por ejemplo, ArisGlobal frenó el alza de costos de IA con prompt caching en Amazon Bedrock al reordenar su prompt. Y la obsesión por los segundos tiene retorno de negocio: DoorDash bajó de 16 a 2 segundos la latencia de su agente y subió 34% sus pedidos. También en costos de inferencia a escala, Walmart redujo de más de $100.000 a $10.000 al mes su gasto en 4.700 tiendas con una arquitectura multiagente.

    El patrón se repite: los agentes rentables no son los que usan el modelo más grande, sino los que le dan solo el contexto necesario.

    La pregunta que debes hacerte esta semana

    Abre los logs de tu agente más usado y calcula qué porcentaje de tokens corresponde a datos que el modelo nunca usó para decidir. Si es alto, el camino de Flightscape muestra que los costos de tokens en agentes de IA no son una fatalidad, sino una decisión de diseño. ¿Cuántos segundos y cuántos dólares te está costando no tomarla?

    Preguntas frecuentes

    ¿Cuánto redujo Flightscape los costos de tokens y la latencia de su agente?

    Según sus pruebas con un payload JSON representativo de 23 MB, la combinación de estrategias redujo el consumo de tokens hasta 71% y la latencia promedio hasta 80%. Antes, el agente superaba los 15 segundos de latencia en la mayoría de las llamadas. Son resultados máximos de sus benchmarks, no garantías generales.

    ¿Por qué los JSON grandes disparan los costos de tokens en un agente de IA?

    Porque cada llamada a una herramienta puede inyectar el payload completo en la ventana de contexto del modelo. En conversaciones de varios turnos, esa carga se repite y se acumula, lo que eleva el gasto, aumenta la latencia y degrada la calidad de las respuestas. En datasets grandes, el contexto puede llenarse antes de terminar el razonamiento.

    ¿Qué tecnologías usó Flightscape para optimizar su agente en Amazon Bedrock AgentCore?

    El agente se construyó con LangGraph y se ejecuta en Amazon Bedrock AgentCore, con memoria de AgentCore para persistir conversaciones. Los artefactos pesados se almacenan en Amazon S3 y la memoria guarda solo referencias. Además, las herramientas devuelven resúmenes con un identificador y el modelo pide detalle por páginas cuando lo necesita.