Prompt caching en Amazon Bedrock: cómo ArisGlobal frenó el alza de costos de IA con solo invertir el orden de su prompt
Prompt caching en Amazon Bedrock: ArisGlobal frenó el alza de costos de IA al invertir el orden de su prompt de 180.000 tokens. Lecciones para tu empresa.

Seis meses fueron suficientes para que el prompt compartido de ArisGlobal creciera un 150% y el costo de inferencia por caso subiera más de un 200%. La solución no fue un modelo más barato ni una arquitectura nueva. Fue cambiar el orden de lo que se envía al modelo y aplicar bien el prompt caching en Amazon Bedrock. Es una lección útil para cualquier empresa que ofrezca IA a varios clientes a la vez.
Qué hizo ArisGlobal con el prompt caching en Amazon Bedrock
ArisGlobal es la creadora de LifeSphere, una plataforma SaaS de farmacovigilancia, asuntos regulatorios, calidad e información médica. Entre sus clientes figuran varias farmacéuticas del Top 20 mundial por ingresos. Su motor de IA, LifeSphere NavaX, funciona sobre Amazon Bedrock con modelos Claude de Anthropic y está en producción desde marzo de 2025. Según la telemetría interna de la compañía, ha procesado más de 1 millón de transacciones reales en entornos farmacéuticos regulados, con miles de millones de tokens y varios clientes empresariales (tenants).
Su agente de extracción dinámica de datos recibe informes de eventos adversos, PDF de entre 10 y 200 páginas que describen la reacción de un paciente a un medicamento, y extrae unos 130 campos. Lo hace con varias solicitudes secuenciales al modelo, cada una centrada en una sección del formulario. Todas cargan las reglas del sistema, las reglas específicas de cada cliente, el esquema de extracción con ejemplos y el documento fuente.
El problema apareció con el crecimiento. Cada farmacéutica nueva traía sus propios mapeos de campos, reglas de jurisdicción (EU ICSR, FDA MedWatch, PMDA) y criterios de gravedad y causalidad. El prefijo compartido del prompt pasó de unos 72.000 a 180.000 tokens en seis meses. Como se reprocesaba en cada solicitud, el costo crecía más rápido que el volumen.
El primer diseño cacheaba el documento, que parecía lo lógico por ser lo más grande. Pero un documento solo se reutiliza dentro de un mismo caso, y el prompt creciente quedaba fuera de la caché, cobrado a tarifa completa. El diseño de producción invirtió el orden: primero el prefijo compartido, luego un único punto de control de caché y después el documento de cada caso. Así la caché sirve a solicitudes de distintos casos y de distintos clientes que usan el mismo agente. El resultado, según AWS, fue un menor costo efectivo de entrada y la posibilidad de sumar clientes sin que el costo crezca en proporción. La fuente no publica un porcentaje exacto de ahorro, y conviene tenerlo presente al comparar cifras.
Lecciones de optimización de costos de inferencia para tu organización
La clave técnica es que la caché de Bedrock funciona por prefijo contiguo, no por bloques. Las secciones se evalúan en orden (herramientas, sistema, mensajes), y cambiar algo al principio invalida todo lo que sigue. Por eso el orden del prompt decide qué se puede reutilizar. Cuanto mayor es la parte estable de tus solicitudes, más pesa esta decisión.
Si operas IA para varios clientes o unidades de negocio, estas son las acciones concretas:
Hay otro aspecto relevante: ArisGlobal mantuvo el enrutamiento geográfico de inferencia entre regiones de la UE sin cambios, y aplicó controles de IA responsable como Amazon Bedrock Guardrails, validación contra esquema y verificación frente al documento fuente. Optimizar costos no obligó a renunciar al cumplimiento normativo, algo crítico en un sector donde se manejan datos de salud protegidos. Otras empresas con el mismo reto lo abordan de forma parecida: Octave construyó una base de IA multi-tenant segura en Amazon Bedrock para miles de millones de documentos. Y en el mismo sector, Novo Nordisk pasa de horas a minutos en documentos regulados con agentes y GraphRAG.
El costo de inferencia también se puede atacar por otras vías. Walmart bajó de más de $100.000 a $10.000 al mes su inferencia en 4.700 tiendas, otra muestra de que la arquitectura pesa tanto como el modelo elegido.
El momento de actuar
El momento de revisar tu estrategia de prompt caching en Amazon Bedrock llega antes de que escale el costo, no después. Si tu prompt compartido crece con cada cliente y se reprocesa en cada llamada, es probable que estés pagando de más por contenido que ya conoces. Una pregunta práctica para tu equipo esta semana: ¿qué parte de tu prompt es idéntica en todas las solicitudes y está colocada después del contenido que cambia?
Preguntas frecuentes
¿Qué es el prompt caching en Amazon Bedrock?
Es una función que guarda un prefijo contiguo del prompt, desde el inicio hasta un punto de control, para no reprocesarlo en solicitudes posteriores. Las lecturas de caché se cobran a una tarifa reducida y bajan la latencia. Como funciona por prefijo, cambiar una sección temprana invalida lo que viene después. El TTL por defecto es de 5 minutos.
¿Por qué ArisGlobal invirtió el orden de su prompt?
Al principio cacheaba el documento de cada caso, que solo se reutiliza dentro de ese caso. Eso dejaba fuera de la caché el prefijo compartido, que creció de unos 72.000 a 180.000 tokens. Al ponerlo primero, con un punto de control justo después, se reutiliza entre casos y clientes, y el costo deja de crecer proporcionalmente.
¿Qué cifras de costo y volumen reporta ArisGlobal con NavaX?
En seis meses, el prefijo compartido creció un 150% y el costo de inferencia por caso subió más de un 200%. NavaX ha procesado más de 1 millón de transacciones reales, con miles de millones de tokens. La fuente no indica un porcentaje exacto de ahorro tras rediseñar la caché, solo que el costo efectivo de entrada bajó.