Prompt caching en Amazon Bedrock: ArisGlobal frenó un alza de 200% en costos con solo invertir el orden del prompt
Prompt caching en Amazon Bedrock: ArisGlobal vio su prompt crecer 150% y sus costos 200%, hasta que invirtió el orden. Así lo hizo y qué puedes copiar.

Su prompt creció 150% en seis meses y el costo de inferencia por caso subió más de 200%. La solución de ArisGlobal no fue cambiar de modelo ni negociar tarifas, sino algo más sencillo: invertir el orden de las piezas de cada petición para que la caché de prompts en Amazon Bedrock guardara lo que de verdad se repite. Es una lección útil para cualquier empresa que escale IA generativa con varios clientes.
ArisGlobal, proveedor de tecnología para farmacovigilancia, asuntos regulatorios y calidad en ciencias de la vida, desarrolló NavaX, un motor de IA que automatiza el procesamiento de casos de eventos adversos. Cuando una farmacéutica recibe un reporte (un PDF de entre 10 y 200 páginas sobre la reacción de un paciente a un medicamento), el agente de extracción de NavaX saca unos 130 campos: datos demográficos, fármacos sospechosos, línea de tiempo del evento, criterios de gravedad y clasificaciones regulatorias. Según la telemetría interna de ArisGlobal, el sistema, basado en Claude de Anthropic y en producción desde marzo de 2025, ya procesó más de un millón de transacciones reales, con miles de millones de tokens y varios clientes empresariales. El problema llegó con el éxito: cada farmacéutica nueva añadía reglas propias, mapeos de campos, lógica de gravedad y ejemplos específicos. El prefijo compartido del prompt pasó de unos 72.000 a 180.000 tokens y, como cada caso exige varias peticiones secuenciales, el costo por caso se disparó.
Cómo funciona el prompt caching en Amazon Bedrock
La clave está en que el prompt caching funciona por prefijo, no por bloques. Bedrock guarda el contenido desde el inicio de la petición hasta un punto de control (cache checkpoint), y una petición posterior con el mismo prefijo lo lee a tarifa reducida en lugar de reprocesarlo. Las secciones se evalúan en orden (herramientas, sistema, mensajes), así que cambiar algo al principio invalida lo que sigue.
El primer diseño de ArisGlobal cacheaba el documento fuente, porque era la pieza más grande. Parecía lógico, pero ese PDF solo se reutiliza en las peticiones de un mismo caso. El prompt compartido, justo el que más crecía, quedaba fuera de la caché y se procesaba a tarifa completa en cada llamada. La versión en producción lo invierte: primero el prefijo compartido (reglas del sistema, esquema de extracción y ejemplos), luego un único checkpoint y, después, el documento de cada caso. Así la caché se reutiliza entre peticiones, casos y clientes que usan el mismo agente. El resultado, según AWS, fue una reducción del costo efectivo de entrada y la posibilidad de sumar clientes sin que el costo creciera en proporción. El fragmento disponible de la fuente no publica un porcentaje exacto de ahorro, y conviene tenerlo presente antes de proyectar cifras propias. La región de inferencia en la UE no cambió.
Cómo aplicar el prompt caching en tu empresa
Si tu equipo escala IA generativa en producción, estas son las lecciones prácticas:
El caso conecta con otros ejemplos de eficiencia en inferencia. Walmart recortó su costo mensual de inferencia en 4.700 tiendas y Octave construyó una base multi-tenant segura en Amazon Bedrock. Dentro del mismo sector, Novo Nordisk aceleró sus documentos regulados con agentes y GraphRAG. Todos coinciden en que, con IA a escala, el diseño de la arquitectura pesa tanto como el modelo elegido.
También hay una advertencia de gobernanza. ArisGlobal trabaja con información de salud protegida, por eso aplica controles de IA responsable, como Amazon Bedrock Guardrails para filtrar contenido y enmascarar datos sensibles, y valida cada campo extraído contra el esquema y el documento fuente. Optimizar costos no debería recortar estas capas.
La pregunta para tu próxima revisión técnica es incómoda pero rentable: ¿qué parte de tu prompt reprocesas miles de veces al día y por qué no está en la caché? Si tu respuesta es "no lo sé", empieza por auditar el prompt caching en Amazon Bedrock antes de pagar por más capacidad.
Preguntas frecuentes
¿Qué es el prompt caching en Amazon Bedrock?
Es una función que guarda un prefijo contiguo del prompt, desde el inicio hasta un punto de control. Las peticiones posteriores con el mismo prefijo lo leen a tarifa reducida en lugar de reprocesarlo. Reduce latencia y costo de tokens de entrada, pero solo funciona con contenido idéntico y colocado al principio de la petición.
¿Qué error cometió ArisGlobal al usar la caché de prompts?
Cacheó primero el documento fuente, porque era lo más grande. Pero ese PDF solo se reutiliza dentro de un mismo caso, mientras el prompt compartido, que pasó de 72.000 a 180.000 tokens, se procesaba completo cada vez. Corrigió el orden: prefijo compartido primero, checkpoint y documento después.
¿Cuánto creció el costo de inferencia en el caso de ArisGlobal?
En seis meses el prefijo compartido creció cerca de 150% y el costo de inferencia por caso aumentó más de 200%. Tras invertir el orden y cachear el prefijo, ArisGlobal redujo el costo efectivo de entrada y sumó clientes sin crecimiento proporcional del gasto. La fuente no publica el porcentaje exacto de ahorro.