Embeddings a escala: Exa mejora 47% el rendimiento con chips de IA de AWS para indexar miles de millones de documentos
Embeddings a escala: Exa logró 47% más rendimiento y menor costo por documento en chips AWS Inferentia2 y Trainium2 con agentes de IA. Descubre cómo lo hizo.
Cuando indexas decenas o cientos de miles de millones de documentos, un pequeño ahorro por documento deja de ser un detalle técnico y se convierte en estrategia de negocio. Eso es lo que entendió Exa, la empresa que construye un índice web propio para búsqueda semántica: sus embeddings a escala mejoraron 47% en rendimiento y en costo por millón de documentos frente a su punto de partida, tras optimizar su inferencia en los chips de IA de AWS (Inferentia2 y Trainium2). Y buena parte del trabajo lo hicieron agentes de IA.
El detonante fue una migración. Exa decidió pasar a un modelo de documentos superior, lo que obligaba a reincorporar su corpus: 30.000 millones de documentos prioritarios debían ser re-embebidos. Mientras tanto, el índice vivo seguía funcionando, así que la carga de inferencia se duplicó de forma temporal. Para una empresa cuyo producto depende de convertir cada documento web en vectores, ese era el momento ideal para replantearse el hardware. Su punto de partida fue una implementación simple, con paralelismo de datos y el modelo en FP16 sobre un solo NeuronCore. A partir de ahí, con el SDK Neuron y el apoyo del equipo de AWS Trainium, fueron subiendo los documentos por segundo hasta lograr cerca de 1,5 veces más rendimiento.
Cómo logró Exa optimizar la inferencia de embeddings a escala
La mejora llegó por capas, y la secuencia es lo más instructivo del caso:
La razón es clara: los kernels genéricos funcionan con cualquier forma, pero por eso mismo no explotan la arquitectura específica de cada modelo.
Agentes de IA como equipo de optimización de inferencia
La segunda lección está en el método. Cada agente trabajó dentro de un arnés de tres partes, orquestado con Flyte: compilaba el ejecutable Neuron, verificaba que la salida alcanzara 0,999 de similitud coseno, perfilaba una pasada y ejecutaba un benchmark de saturación de 30 minutos en hardware real. Sobre esa base, Exa asignó agentes según la tarea: modelos ligeros para búsquedas tediosas de parámetros del compilador, agentes de razonamiento para hallar cuellos de botella y los mejores generadores de código para escribir los kernels. Como muchos agentes desconocen la sintaxis más reciente, también usaron habilidades específicas de desarrollo para Neuron.
Qué puedes aplicar en tu empresa
No necesitas indexar la web para sacar partido. Si tu organización tiene cargas de inferencia de alto volumen, estas son las lecciones prácticas:
1. Aprovecha los momentos de cambio. Una migración de modelo, un backfill o un pico de demanda justifican reevaluar hardware. Exa lo hizo cuando su carga se duplicó.
2. Mide en costo por unidad. Documentos, llamadas o minutos procesados: el costo unitario es lo que se acumula, no el precio de la instancia.
3. Define una puerta de calidad antes de optimizar. El umbral de 0,999 de similitud coseno permitió probar recortes agresivos sin perder precisión.
4. Empieza por lo prefabricado y personaliza solo donde el perfil lo pida. Los kernels listos dieron ganancias rápidas; el trabajo a medida llegó cuando los datos de profiling lo justificaron.
5. Ajusta el agente a la tarea. Modelos baratos para lo repetitivo, los más potentes solo para lo complejo, y validación automática para evitar derivas.
Otros casos van en la misma dirección: AssemblyAI redujo 70% el costo de transcribir voz con instancias Spot y Walmart bajó de más de $100.000 a $10.000 mensuales su costo de inferencia. Y si dependes de aceleradores, conviene mirar cómo Netflix trata la confiabilidad de GPU como un problema de sistemas distribuidos.
Flexibilidad de cómputo: el siguiente paso
Exa optimizó hasta ahora Inferentia2 en la región US West (Oregon), pero advierte que afinar una sola familia de hardware en una sola región tiene límites: la disponibilidad de instancias Spot y bajo demanda varía según la región. Por eso su enfoque de contenedores homogéneos, con un pod por NeuronCore que escala con paralelismo de datos tanto en Inferentia2 como en Trainium2, le da margen para moverse donde el cómputo sea más barato o esté disponible.
La conclusión para un directivo es incómoda pero útil: el costo de la IA no se decide solo al elegir el modelo, sino en cada capa que lo sirve. Los embeddings a escala premian a quien mide, perfila y automatiza la optimización. La pregunta es si tu equipo ya sabe cuánto le cuesta procesar un millón de unidades y cuántos puntos porcentuales podría recuperar con un arnés de pruebas y un par de agentes bien dirigidos.
Preguntas frecuentes
¿Qué mejora logró Exa con sus embeddings a escala en chips de AWS?
Exa logró una mejora de 47% en rendimiento y en costo por millón de documentos embebidos frente a su implementación inicial, equivalente a cerca de 1,5 veces más documentos por segundo. Lo consiguió en AWS Inferentia2 con optimización de pesos, autocast, kernels NKI y kernels personalizados para MLP y atención.
¿Por qué Exa necesitaba re-embeber 30.000 millones de documentos?
Exa quería pasar a un modelo de documentos superior, lo que obligaba a re-embeber su corpus existente. Seleccionó 30.000 millones de documentos prioritarios. La migración duplicó temporalmente la carga de inferencia, y ese aumento fue el motivo para replantearse el hardware y la optimización de inferencia.
¿Cómo usó Exa agentes de IA para optimizar la inferencia?
Cada agente trabajó en un arnés con Flyte que compilaba el modelo, verificaba 0,999 de similitud coseno, perfilaba una pasada y ejecutaba un benchmark de 30 minutos en hardware real. Asignó modelos ligeros a tareas repetitivas, agentes de razonamiento a cuellos de botella y los mejores generadores de código a los kernels.