Latencia en agentes de IA: DoorDash pasó de 16 a 2 segundos y subió 34% sus pedidos

Dieciséis segundos es una eternidad cuando alguien solo quiere decir «repite mi compra de siempre». DoorDash lo sabía, y por eso rediseñó su flujo de recompra de supermercado: logró reducir la latencia en agentes de IA de unos 16 segundos a unos 2, duplicó las visualizaciones de la lista de compras y aumentó la tasa de pedidos del flujo en aproximadamente 34%. El truco no fue un modelo más rápido, sino sacar el razonamiento pesado del momento de la petición.

La recompra es un caso de uso enorme para la compañía: según su blog de ingeniería, representa cerca de uno de cada tres pedidos. Dentro de Ask DoorDash, su asistente conversacional de compras, el camino original obligaba al agente de supermercados a cargar la habilidad de recompra, leer el historial, decidir qué productos incluir, resolverlos contra el catálogo y armar la lista, todo en vivo y a veces en decenas de segundos. La nueva arquitectura invierte el orden. Una inferencia por lotes con LLM analiza 90 días de historial de compras y señales del perfil del consumidor para identificar qué compras son realmente recurrentes. Después, una validación determinista revisa el resultado antes de guardarlo como datos reutilizables de la lista.

Cuando el usuario pide su recompra, el sistema solo recupera esa lista ya preparada y resuelve cada producto contra el catálogo actual. Primero intenta encontrar el artículo original de la tienda, luego un identificador de producto del catálogo y, por último, un término de búsqueda. Así absorbe cambios de inventario y listados sin repetir el razonamiento histórico. Como el análisis dejó de correr en tiempo real, el equipo pudo usar modelos más capaces para generar mejores «habituales», y esa mejora de calidad es la que, según DoorDash, se tradujo en el aumento del 34% en pedidos. Los agentes siguen disponibles para lo complejo, como buscar alternativas más baratas según precios, promociones, tamaños de empaque e inventario. Las acciones simples, como cambiar cantidades o quitar productos, actualizan la lista directamente sin otra llamada al LLM.

Por qué la recompra no es solo repetir el historial

El blog de DoorDash explica por qué el problema no se resuelve con una consulta a la base de datos: el historial dice qué compró alguien, no qué necesita después. La leche semanal probablemente sea una necesidad recurrente, pero un paquete grande de toallas de papel quizá no. Seis unidades en una entrega son una evidencia distinta de una unidad en seis entregas. Y tres sabores de yogur comprados una vez cada uno apuntan a experimentación, no a un básico. Ese juicio es lo que justifica usar un LLM, y lo que justifica hacerlo con calma, fuera del flujo en vivo.

La plataforma compartida también aporta lecciones de escala. Ofrece orquestación, memoria, acceso a modelos, trazabilidad, evaluación y controles de despliegue, mientras que cada equipo de dominio conserva instrucciones, herramientas y criterios de evaluación. DoorDash reporta que sumar su agente de Reservaciones tomó una semana, unas diez veces más rápido que construir sus primeros agentes. Para ver cómo escala este enfoque dentro de la compañía, vale la pena revisar cómo DoorDash adoptó la IA generativa con 5.000 empleados, el 40% no ingenieros.

Hay otro detalle de diseño importante: la lista de compras es un artefacto estructurado que tanto el consumidor como el agente pueden modificar. Según la publicación sobre la interfaz, «una edición directa del consumidor es la autoridad: el siguiente turno del agente parte de la lista editada, no de lo dicho antes». Instacart también usa IA para planificar comidas y crear listas, pero el caso de DoorDash se distingue por separar con precisión el análisis histórico de la resolución de productos en vivo.

Cómo reducir la latencia en tu producto de IA: lecciones para tu organización

La frase de la ingeniera Twisha Jain resume el aprendizaje: los mejores sistemas agénticos no buscan más razonamiento, sino decidir qué pertenece al ciclo del agente y qué puede ocurrir antes. Para aplicarlo en tu empresa:

Audita el ciclo del agente. Mapea cada paso de una petición y marca qué depende de datos que cambian en segundos (inventario, precios) y qué depende de datos estables (historial, preferencias). Lo estable es candidato a precomputar.

Usa inferencia por lotes para el juicio costoso. Si el razonamiento no necesita ser instantáneo, puedes emplear un modelo más potente y mejorar la calidad sin penalizar la experiencia. Aquí, la latencia relajada compró calidad.

Valida de forma determinista antes de guardar. Las reglas simples que revisan la salida del LLM evitan que errores se propaguen a miles de peticiones.

Resuelve contra datos vivos al servir. Define un orden de respaldo (artículo exacto, identificador, búsqueda) para que cambios de catálogo no rompan lo precalculado.

No llames al LLM para todo. Cambiar una cantidad o eliminar un producto no requiere razonamiento. Resérvalo para lo ambiguo.

Trata la intención del usuario como fuente de verdad. Una estructura editable compartida entre humano y agente reduce errores y fricción.

Invierte en una plataforma común. Orquestación, evaluación y trazabilidad compartidas son lo que permitió a DoorDash lanzar un agente nuevo en una semana. Si estás diseñando algo parecido, te servirán las lecciones de arquitectura multiagente de Spotify.

El patrón, además, no es exclusivo de los agentes: mover trabajo caro fuera de la ruta crítica es la misma lógica detrás de que Airbnb pasara de dos días a segundos de retraso en su sistema de recomendación en tiempo real. Un error a evitar es copiar el caso sin medir: DoorDash vincula la velocidad con resultados de negocio (vistas de lista y tasa de pedidos), y tú deberías fijar esas métricas antes de tocar la arquitectura.

La pregunta para tu próximo comité de producto no es qué modelo usar, sino cuánto de tu flujo de IA realmente necesita ocurrir mientras el cliente espera. Si la respuesta es «mucho menos de lo que pensábamos», reducir la latencia en agentes de IA puede ser tu palanca más rentable. ¿Qué parte de tu ciclo de agente podrías mover a un proceso por lotes esta semana?