4 min de lectura

Reducir costos de tokens en agentes de IA: Flightscape recorta hasta 71% el consumo y 80% la latencia con JSON de 23 MB

Reducir costos de tokens en agentes de IA es posible: Flightscape logró hasta 71% menos tokens y 80% menos latencia con JSON de 23 MB. Así lo hicieron.

Ilustración abstracta de datos JSON pesados que se simplifican y fluyen ligeros hacia un agente de IA, reduciendo costos y latencia

Un agente con más de 40 herramientas, archivos JSON de varios megabytes y respuestas que tardaban más de 15 segundos. Ese era el punto de partida de Flightscape, plataforma de operaciones para aerolíneas, cuando decidió que reducir costos de tokens en agentes de IA ya no era opcional. Con tres estrategias combinables, su equipo, junto con ingenieros de AWS, logró hasta 71% menos consumo de tokens y hasta 80% menos latencia promedio en pruebas con un payload representativo de 23 MB.

El caso, publicado por Pallav Gupta y Pascal Acquaah en el blog de machine learning de AWS, gira en torno a un agente de optimización de horarios de entrenamiento para tripulaciones. El agente verifica las asignaciones contra reglas de negocio y responde en lenguaje natural consultas sobre asignaciones, calendarios y recursos. Funcionaba, pero cada llamada a una herramienta inyectaba el JSON completo en la ventana de contexto del modelo. Los tokens y los costos se disparaban, y en conjuntos de datos grandes el contexto se llenaba antes de que el agente terminara de razonar. El agente está construido con LangGraph y corre sobre Amazon Bedrock AgentCore, con AgentCore Memory para conservar las conversaciones entre turnos.

Cómo funciona la reducción de tokens: sacar lo pesado del contexto

La idea central es simple: el modelo no necesita ver 20 MB de datos para decidir qué hacer. Estas son las piezas que describe el equipo:

  • Estado de sesión liviano. Los artefactos pesados (el JSON de la solicitud, el de la respuesta y el reporte de validación) se mueven a Amazon S3. AgentCore Memory guarda solo referencias estables a esos objetos, mediante un esquema de estado persistido que mantiene únicamente campos ligeros. Al empezar un turno, una función de "hidratación" restaura ese estado. Al terminar, una de "deshidratación" escribe los datos pesados en S3 y guarda solo las referencias.
  • Resúmenes con "asa" en lugar de datos completos. Cuando una herramienta devuelve una lista o diccionario demasiado grande, el agente guarda el resultado íntegro en S3 y entrega al modelo un resumen compacto con un identificador. Si el modelo necesita más detalle, lo pide por páginas con una herramienta dedicada.
  • Las tres estrategias se ejecutan en distintos momentos del turno: la primera al inicio y al final, y las otras dos cada vez que una herramienta devuelve un resultado. Por eso son componibles: puedes adoptarlas por separado. Y como el modelo consulta los datos por demanda, conserva su capacidad de razonamiento a lo largo de sesiones extensas.

    Qué puedes aplicar en tu empresa para bajar el costo y la latencia

    El problema de Flightscape no es exclusivo de la aviación. Cualquier agente que maneje facturas, historiales, inventarios o logs en formato estructurado tiene el mismo riesgo. Una hoja de ruta práctica:

    1. Mide antes de optimizar. Registra tokens por turno, latencia promedio y en qué herramientas se inyectan los payloads más grandes. Flightscape partía de más de 15 segundos por llamada, una línea base clara contra la cual comparar.
    2. Separa estado conversacional de datos de negocio. Si tus archivos grandes viajan junto al historial del chat, estás pagando por releerlos en cada turno. Guarda los datos en almacenamiento de objetos y conserva solo referencias.
    3. Devuelve resúmenes, no volcados. Diseña tus herramientas para que, ante resultados grandes, entreguen un conteo, estadísticas básicas y un identificador para paginar.
    4. Carga bajo demanda. Hidrata los payloads pesados solo cuando una herramienta los necesita, no en cada turno.
    5. Prueba con datos reales. Los resultados del caso salen de un payload de 23 MB. Un conjunto de pruebas pequeño no revelará dónde se rompe el contexto.

    Una advertencia: las cifras de 71% y 80% son máximos medidos en el benchmark de los autores, sobre un tipo de carga concreto. Tus resultados dependerán del tamaño de tus datos, del número de herramientas y del modelo. Y mover datos a S3 añade piezas que gobernar, como permisos, retención y cifrado.

    Otras palancas para controlar costos y velocidad

    La gestión del contexto es una de varias palancas. Si tu cuello de botella es el prompt repetido, el caso de ArisGlobal con prompt caching en Amazon Bedrock muestra cómo el simple orden del prompt frena el gasto. Si lo que te preocupa es la experiencia de usuario, DoorDash pasó de 16 a 2 segundos de latencia en agentes de IA y vio un efecto directo en sus pedidos. Y como advierte la medición de Google sobre deuda técnica en agentes, el contexto innecesario cuesta tokens y tiempo, aunque nadie lo note en el código.

    Cuándo conviene actuar

    El momento de aplicar estas técnicas es antes de escalar, no después. Si tu agente ya supera los 10-15 segundos por respuesta, si tus facturas de inferencia crecen más rápido que el uso, o si el modelo pierde el hilo en sesiones largas, estás pagando el costo de un contexto saturado. Reducir costos de tokens en agentes de IA no exige cambiar de modelo ni de arquitectura: exige decidir qué datos merecen estar en la conversación y cuáles basta con tener a un identificador de distancia. ¿Sabes cuántos megabytes viajan hoy por el contexto de tu agente en cada turno?

    Preguntas frecuentes

    ¿Cuánto redujo Flightscape el consumo de tokens y la latencia de su agente de IA?

    Según los autores, la combinación de tres estrategias redujo el consumo de tokens hasta 71% y la latencia promedio hasta 80%. Las cifras provienen de pruebas de referencia con un payload JSON representativo de 23 MB. Antes de optimizar, el agente superaba los 15 segundos de latencia promedio en la mayoría de las llamadas.

    ¿Cómo se evita saturar la ventana de contexto de un agente con JSON grandes?

    Flightscape movió los artefactos pesados a Amazon S3 y dejó en AgentCore Memory solo referencias. Además, cuando una herramienta devuelve resultados enormes, el agente entrega al modelo un resumen compacto con un identificador. Si necesita más detalle, el modelo lo solicita por páginas, en lugar de recibir todo el payload.

    ¿Qué tecnologías usó Flightscape para construir su agente?

    El agente usa LangGraph, un framework de código abierto de LangChain, y se ejecuta sobre Amazon Bedrock AgentCore con AgentCore Memory para persistir las conversaciones. Los datos pesados se guardan en Amazon S3. Opcionalmente, Amazon Bedrock Guardrails puede validar y filtrar las respuestas del agente en producción.