5 min de lectura

Inferencia de IA con instancias Spot: AssemblyAI recorta 70% el costo de transcribir voz en miles de GPU

La inferencia de IA con instancias Spot permitió a AssemblyAI ahorrar 70% en costos de GPU sin romper su SLA. Descubre la arquitectura y cómo replicarla.

Ilustración abstracta de ondas de voz convertidas en datos sobre bloques de GPU, con colas de reintento y ahorro de costes en la nube

Ejecutar miles de GPU de forma continua es la factura que más asusta a quien escala IA en producción. AssemblyAI, la plataforma de transcripción de voz, encontró una salida: la inferencia de IA con instancias Spot de Amazon EC2. Con esa estrategia logró un ahorro de costos del 70% sin sacrificar los compromisos de disponibilidad y latencia que exigen sus clientes.

El problema de partida es bastante concreto. Cada archivo de audio activa una cadena de modelos de aprendizaje profundo (modelos acústicos, modelos de lenguaje y etapas de posprocesado) que corren sobre GPU NVIDIA. A escala, eso significa miles de instancias GPU encendidas todo el tiempo. Hacerlo solo con instancias On-Demand habría sido inviable en costos. Las instancias Spot salen mucho más baratas, pero AWS puede reclamarlas con apenas 2 minutos de aviso. AssemblyAI necesitaba una arquitectura que absorbiera esas interrupciones sin que el cliente lo notara. Además, atiende a sectores regulados como salud, finanzas y servicios legales, que exigen que el audio no salga de ciertas fronteras geográficas.

Cómo funciona la arquitectura de inferencia de IA con instancias Spot

La plataforma corre sobre Amazon ECS, con la capacidad gestionada mediante capacity providers. Se apoya en cuatro pilares:

  • Flota mixta: un proveedor On-Demand actúa como base siempre disponible y uno Spot absorbe los picos de demanda.
  • Diversificación de GPU: la flota combina familias g4dn (NVIDIA T4), g5 (A10G) y g6 (L4), en varios tamaños y zonas de disponibilidad. Con la estrategia price-capacity optimized, EC2 elige los grupos de capacidad Spot con más disponibilidad al menor precio, lo que reduce las interrupciones.
  • Reintentos con colas: las solicitudes de transcripción de voz con IA entran en una cola de Amazon SQS. Los workers en GPU las toman y las procesan; cada trabajo dura entre 15 segundos y varios minutos según el audio.
  • Despliegue regional: cada región, como Oregón (us-west-2) y Londres (eu-west-2), ejecuta una copia totalmente independiente de colas, clústeres y flotas, lo que permite cumplir con la residencia de datos europea.
  • Cuando una instancia Spot recibe el aviso de interrupción, EventBridge activa una función Lambda. Los trabajos que caben en esos 2 minutos terminan con normalidad. Los demás vuelven a la cola y otro worker sano los recoge, quizá en otro tipo de instancia o en otra zona. Los trabajos que agotan sus reintentos van a una cola de mensajes fallidos (dead letter queue) para investigarlos. Para acortar la recuperación, el equipo prepara AMIs personalizadas con los modelos y contenedores ya incluidos. El efecto para el cliente final es solo un pequeño aumento en el tiempo de procesamiento: la transcripción se entrega igual.

    Cómo reducir costos de GPU en la nube: lecciones para tu organización

    El caso es útil porque no depende de una tecnología exótica, sino de decisiones de diseño que cualquier equipo puede revisar. Esto es lo que puedes aplicar:

    1. Separa el envío del trabajo de su ejecución. Una cola entre quien pide y quien procesa convierte una interrupción en un simple reintento. Sin ese desacople, Spot es una apuesta arriesgada.
    2. Mide la duración de tus trabajos. Si la mayoría dura segundos o pocos minutos, como en este caso, encajan bien con el aviso de 2 minutos. Los procesos de horas necesitarán checkpoints o no serán buenos candidatos.
    3. No dependas de un solo tipo de GPU. Diversificar entre familias, tamaños y zonas amplía el abanico de capacidad disponible y baja la probabilidad de quedarte sin máquinas.
    4. Mantén una base On-Demand. Spot para los picos, capacidad fija para lo que no puede fallar. Esa mezcla protege tu SLA.
    5. Reduce el tiempo de arranque. Si un nodo nuevo tarda en tener modelos y contenedores listos, la interrupción se nota. Las imágenes preconstruidas ayudan.
    6. Diseña la residencia de datos desde el inicio. Replicar la arquitectura completa por región es más sencillo que parchearla después, y desbloquea clientes regulados.

    También conviene tener presentes los límites. La fuente original no detalla cuánto tardó el equipo en llegar a este diseño ni qué tasa de interrupciones soporta, así que antes de prometer un ahorro similar tendrás que medir tu propio patrón de carga. Y la cifra del 70% describe el resultado de AssemblyAI, no una garantía universal.

    El caso conecta con otros esfuerzos por abaratar la IA de voz y de GPU. Deepgram, por ejemplo, procesa hasta 70% más audio por dólar con AWS Trainium: otro camino hacia el mismo objetivo, cambiando el chip en lugar de la política de compra. Y si tu preocupación es la fiabilidad más que el precio, Netflix sube del 98% al 99,5% el éxito de sus trabajos de IA tratando la GPU como un problema de sistemas distribuidos, una filosofía muy cercana a la de AssemblyAI. En el terreno del gasto de inferencia, también Walmart baja de más de $100.000 a $10.000 al mes su costo de inferencia en su despliegue multiagente.

    El momento de revisar tu factura de GPU

    La lección de fondo es que el costo de la IA en producción no se resuelve solo con modelos más pequeños: también se gana con ingeniería de infraestructura. Si tu carga de inferencia es tolerante a reintentos, ya tienes la mitad del camino hecho. La inferencia de IA con instancias Spot ya no es un experimento para startups: AssemblyAI la sostiene a escala de miles de GPU y con clientes en sectores regulados. La pregunta para tu equipo es: ¿cuánto de tu gasto actual en GPU podría pasar a Spot si tus trabajos supieran reintentarse solos?

    Preguntas frecuentes

    ¿Cuánto ahorró AssemblyAI con instancias Spot?

    AssemblyAI reportó un ahorro de costos del 70% al ejecutar su inferencia de transcripción de voz en instancias Amazon EC2 Spot con GPU en producción. El resultado se logró manteniendo sus compromisos de SLA, gracias a una flota diversificada y a un sistema de reintentos con colas.

    ¿Qué pasa con un trabajo de IA cuando AWS interrumpe una instancia Spot?

    AWS avisa con 2 minutos de antelación. Los trabajos que pueden terminar en ese plazo se completan; los demás vuelven a la cola de Amazon SQS y otro worker los retoma, incluso en otra zona o tipo de instancia. Para el cliente solo aumenta ligeramente el tiempo de procesamiento.

    ¿Cómo cumple AssemblyAI con la residencia de datos en Europa?

    Cada región de AWS ejecuta una copia independiente de la arquitectura, con sus propias colas SQS, clústeres ECS, capacity providers y flotas de GPU. Así, el audio de clientes de salud, finanzas o servicios legales se procesa dentro de la región requerida, como Londres (eu-west-2).