5 min de lectura

Costo por tarea en agentes de IA: cómo Airbnb elige entre ocho modelos nuevos en cinco semanas

Costo por tarea en agentes de IA: Airbnb evalúa ocho modelos nuevos de IA en Amazon Bedrock y fija límites de razonamiento. Así lo hizo y cómo aplicarlo.

Ocho modelos nuevos en unas cinco semanas. A mediados de octubre, dos tercios de las solicitudes que los ingenieros de Airbnb enviaban a sus agentes de código ya iban a esos modelos recién llegados. Para no perder el control del gasto en ese ritmo, la compañía no confía en los gráficos de rendimiento que acompañan cada lanzamiento. Mide el costo por tarea en agentes de IA: cuánto cuesta, a precio de lista, todos los tokens que un agente consume para terminar un trabajo concreto.

Cómo Airbnb mide el costo por tarea en sus agentes de código

Miles de ingenieros y personas de perfil técnico usan cada semana AirChat, la herramienta interna de Airbnb para ejecutar agentes de código. También pueden delegar tareas a AirChat Remote, que corre agentes en la nube mientras el ingeniero hace otra cosa. Todas las solicitudes pasan por un gateway propio de modelos de lenguaje que opera sobre Amazon Bedrock, y Bedrock procesa el código, los prompts y las respuestas dentro de AWS.

Airbnb corre dos sistemas en paralelo. Antes de un despliegue, ejecuta evals de modelos con tareas propias, construidas a partir de cambios de código reales, comentarios de revisión y decisiones que el ticket original no especificaba. Para cada modelo y nivel de esfuerzo de razonamiento, registra una puntuación y un costo por tarea. Ese costo suma los cuatro tipos de tokens que reporta Bedrock (entrada sin caché, lecturas de caché, escrituras de caché y salida) y promedia también los intentos de baja puntuación. Después del despliegue, la observabilidad con métricas de CloudWatch (latencia, throttling, consumo de tokens) muestra qué cambió en producción. Si el uso real no coincide con los resultados de las evals, el equipo investiga por qué.

Un dato ilustra por qué importa. En uno de los modelos probados, pasar de esfuerzo de razonamiento bajo a alto mejoró la puntuación en 0,8 puntos, pero el costo por tarea se multiplicó por 2,5. Con esos números, Airbnb define el modelo y esfuerzo por defecto de cada herramienta y un tope de esfuerzo por modelo, que el gateway hace cumplir. Además, cuando sale un modelo nuevo, una sola solicitud a sus agentes basta para lanzar una campaña de evals esa misma tarde.

Qué puedes aplicar en tu empresa para controlar el costo de agentes de IA

La lección central es que el precio por token engaña. Un agente hace muchas llamadas por tarea y en cada una vuelve a leer el contexto acumulado, así que lo único comparable es el costo del trabajo terminado. Estas son las acciones que se desprenden del caso:

  • Mide la tarea completa, no la llamada. Suma entrada sin caché, lecturas y escrituras de caché y salida, cada una a su tarifa. Una caída en la tasa de aciertos de caché puede encarecer cada solicitud. Si te interesa ese ángulo, así frenó ArisGlobal el alza de costos con prompt caching en Amazon Bedrock.
  • Construye tu propio set de tareas. Cada una necesita un estado inicial del repositorio, el prompt que escribiría un ingeniero y un evaluador en el que confíes. Los benchmarks públicos no muestran cómo se comporta un modelo con tu trabajo.
  • Pon techos al razonamiento. Si más esfuerzo cuesta 2,5 veces más por apenas 0,8 puntos, quizá no compense. Define un valor por defecto y un tope por modelo, y aplícalo en el gateway.
  • Fija precios con fecha. Mantén una tabla de precios públicos con fecha para valorar tokens de evals y de producción sobre la misma base.
  • Monitorea lo que importa en CloudWatch. Latencia (InvocationLatency, TimeToFirstToken), throttling (InvocationThrottles, EstimatedTPMQuotaUsage) y conteos de tokens. Usa llamadas en streaming, porque Bedrock solo publica TimeToFirstToken en esas APIs.
  • Prepara el terreno antes de medir. Activa el registro de invocaciones en cada región (viene desactivado y puede contener prompts completos, así que restringe el acceso y define retención) y activa las etiquetas de asignación de costos antes de empezar, porque no se aplican a gastos anteriores.
  • Hay un error que evitar: medir solo el costo e ignorar la seguridad. Airbnb recomienda definir qué pueden tocar los agentes y qué acciones requieren revisión humana, ejecutar el código en espacios aislados y probar los cambios antes de integrarlos. Si usas Amazon Bedrock Guardrails, incluye su latencia y costo en tus mediciones.

    El gateway de Airbnb registra modelo, cliente, equipo y usuario de cada solicitud, pero solo se usa de forma agregada para planificar costo y capacidad. Es un buen patrón para atribuir gasto sin convertirlo en vigilancia individual. Si tus agentes corren en infraestructura remota, mira cómo Shopify llevó la carga de sus agentes móviles fuera de los laptops. Y para recortar el consumo desde la propia entrada de datos, está el caso de Flightscape y su reducción de hasta 71% en tokens.

    El momento de adoptar: antes de que el próximo modelo te sorprenda

    Con lanzamientos casi semanales, elegir modelo ya no es una decisión de una vez. Airbnb convirtió la elección en un proceso repetible: evals con tareas propias antes, observabilidad después y un ciclo para revisar defaults y topes cuando el uso cambia. El costo por tarea en agentes de IA es la métrica que une ambos mundos. Si hoy tu equipo compara modelos por precio por token o por un gráfico de lanzamiento, la pregunta útil es otra: ¿sabes cuánto te cuesta terminar una tarea real, y con qué calidad?

    Preguntas frecuentes

    ¿Qué es el costo por tarea en agentes de IA?

    Es el costo a precio de lista de todos los tokens que un agente consume para terminar una tarea. Incluye entrada sin caché, lecturas y escrituras de caché y salida. Airbnb lo promedia también con los intentos de baja puntuación y lo registra junto a la puntuación de cada modelo.

    ¿Cómo evalúa Airbnb un modelo nuevo para sus agentes de código?

    Ejecuta evals con tareas propias, construidas a partir de cambios de código reales y comentarios de revisión. Mide puntuación y costo por tarea para cada modelo y nivel de razonamiento. Con eso define el modelo por defecto y el tope de esfuerzo. Una sola solicitud a sus agentes lanza la campaña el mismo día.

    ¿Compensa subir el nivel de razonamiento de un modelo?

    No siempre. En un modelo probado por Airbnb, pasar de esfuerzo bajo a alto subió la puntuación 0,8 puntos, pero el costo por tarea fue 2,5 veces mayor. Por eso la empresa fija topes de esfuerzo por modelo, que su gateway hace cumplir sobre Amazon Bedrock.