5 min de lectura

Enrutamiento de inferencia entre regiones: así lo usa Salesforce para servir modelos de IA en más de 30 regiones

Enrutamiento de inferencia entre regiones: Salesforce usa SageMaker AI para repartir capacidad en 30+ regiones sin romper la residencia de datos. Así funciona.

Tener GPU de sobra en una región mientras otra se queda sin capacidad es un problema de disponibilidad, no solo de costos. Eso le pasaba a Salesforce, y su solución fue el enrutamiento de inferencia entre regiones de Amazon SageMaker AI: un único punto de invocación que reparte las peticiones entre endpoints de varias regiones y cuentas, sin tocar los compromisos de residencia de datos.

El equipo Agentforce Foundation de Salesforce sirve modelos propios y de código abierto para productos como Agentforce y el Salesforce Trust Layer. Lo hace en más de 30 regiones y cientos de cuentas de AWS, y aprovisiona la capacidad según el tráfico de cada cliente. Pero cada cliente tiene su propia ventana pico, y esas ventanas suelen coincidir. Aprovisionar para el pico simultáneo sale demasiado caro, y añadir capacidad región por región deja una flota fragmentada: instancias ociosas en unas zonas y saturación en otras.

Antes, el desvío de tráfico lo resolvía el Internal Gateway de Salesforce, con chequeos de salud básicos, reintentos y lógica de cambio de región. Tenía dos fallas. No recibía señales de capacidad, ni del endpoint local ni del remoto, así que no sabía cuándo desviar ni si el destino tenía espacio. Además, el tráfico entre regiones salía de la VPC por NAT e internet gateway, sobre la red pública de AWS. Había un tercer riesgo: en un incidente, mover tráfico puede tumbar a la región vecina en cascada.

Cómo funciona el enrutador de inferencia en SageMaker AI

El enrutador es un recurso regional de SageMaker AI. La aplicación lo invoca en lugar de llamar a un endpoint, con el mismo cuerpo y tipo de contenido que ya usaba. Cada modelo lógico, por ejemplo un clasificador de toxicidad, tiene un "routing target" que enumera los endpoints permitidos mediante sus ARN. Como el ARN incluye región y cuenta, los destinos pueden estar en cualquier lugar. Cada cuenta propietaria autoriza con una política de recurso a un enrutador concreto.

La lógica es conservadora. El enrutador prefiere su propia región y juzga cada destino por el resultado de las peticiones recientes: errores de plataforma, 5xx del contenedor, throttling y timeouts bajan su "salud". Si persisten, desplaza una porción creciente del tráfico, normalmente en cerca de un minuto. El retorno es más lento, de varios minutos, para evitar oscilaciones. Si un destino rechaza una petición sin ejecutar el modelo, se reintenta una vez en otro. Los errores del cliente y la latencia del modelo no mueven tráfico. Y el enrutador no despliega modelos ni añade instancias: usa la capacidad que ya tienes.

Salesforce lo colocó exactamente donde antes estaba la llamada directa a InvokeEndpoint, después del chequeo de residencia. Las peticiones marcadas con requisito de residencia quedan fijadas a un destino local y nunca cruzan fronteras. El resto va al enrutador. La capacidad, la salud y el failover viven ahora en la capa gestionada y no en código propio. Cada respuesta registra además `InvokedRoutedResourceArn` y `RoutingReason` en los logs y en las etiquetas de APM, así que una sola línea revela si la petición se atendió localmente o cruzó una frontera, y por qué. La parte del artículo original a la que tuvimos acceso no publica cifras de ahorro o disponibilidad, pero el diseño responde a los tres problemas descritos arriba.

Qué puedes aplicar de la capacidad de modelos de IA multirregión en tu empresa

No necesitas 30 regiones para sacar partido a este enfoque. Estas son las lecciones transferibles:

  • Separa las reglas de cumplimiento del enrutamiento. Salesforce conserva una sola decisión en su código, el chequeo de residencia, y delega el resto. Define qué datos nunca pueden cruzar una frontera antes de abrir la puerta a cualquier failover.
  • Elimina tu lógica casera de reintentos. El gateway no añade reintentos porque el enrutador ya reintenta una vez. Si apilas reintentos en varias capas, durante un incidente multiplicas la carga.
  • Dimensiona el timeout para el viaje de ida y vuelta. Una petición desviada necesita tiempo para completarse en la región remota.
  • Haz observable cada decisión de enrutamiento. Registrar dónde se atendió cada petición y por qué convierte una investigación de incidente en una consulta de logs.
  • Protege el tráfico en tránsito. Salesforce parte de una arquitectura con VPC endpoints y PrivateLink, no de salir a internet.
  • Pon un tope a la propagación del fallo. Pregúntate qué le pasa a tu región vecina cuando le envías el tráfico sobrante.
  • Si tu equipo ya opera varios endpoints del mismo modelo, empieza por uno solo y mide cuánto tráfico cruza regiones y con qué motivo. Hay casos parecidos sobre cómo recortar costos de inferencia con capacidad flexible o cómo tratar la fiabilidad de las GPU como un problema de sistemas distribuidos. Y si el gateway es tu punto de control, mira cómo Uber gobierna miles de herramientas con un solo gateway MCP.

    Cuándo tiene sentido adoptarlo

    El momento llega cuando la capacidad fragmentada empieza a convertirse en incidentes de disponibilidad, tienes tráfico con picos que no coinciden entre regiones y ya mantienes endpoints desplegados en más de una zona. Si todavía sirves un solo modelo en una sola región, probablemente aún no. Y recuerda que el enrutador no crea capacidad: la reparte mejor. Cada endpoint debe seguir con su propio autoscaling.

    La lección de fondo es que la fiabilidad en IA ya no depende solo del modelo, sino de dónde y cómo se sirve. ¿Sabe tu equipo, hoy, qué porcentaje de sus peticiones se atiende fuera de su región de origen y por qué? Si la respuesta es no, el enrutamiento de inferencia entre regiones es la conversación que toca abrir.

    Preguntas frecuentes

    ¿Qué es el enrutamiento de inferencia entre regiones en SageMaker AI?

    Es un recurso regional de Amazon SageMaker AI que ofrece una única ruta de invocación hacia endpoints en varias regiones y cuentas. Prefiere el endpoint local y, si detecta errores, throttling o timeouts, desvía progresivamente el tráfico a destinos sanos. No despliega modelos ni añade instancias: usa la capacidad que ya tienes.

    ¿Cómo cumple Salesforce con la residencia de datos al usar failover entre regiones?

    Su Internal Gateway conserva un único chequeo previo: las peticiones con requisito de residencia se fijan a un routing target cuyo único destino es el endpoint local, por lo que nunca pueden cruzar una frontera. El resto de peticiones sí pasa por el enrutador, que puede desviarlas a otras regiones.

    ¿Qué problemas resolvió el enrutador frente al sistema anterior de Salesforce?

    El sistema anterior no tenía señales de capacidad de los endpoints y enviaba el tráfico entre regiones por NAT e internet gateway sobre la red pública de AWS. También carecía de un tope claro para evitar fallos en cascada. El enrutador gestionado aporta salud, capacidad y failover sin repetir esa lógica en cada aplicación.