Consultas de seguridad en lenguaje natural: Orca recorta 90% el costo de su IA al abandonar el «prompt gigante»

Meter todo el problema en un solo prompt funciona en la demo y se rompe en producción. Orca Security lo comprobó al construir consultas de seguridad en lenguaje natural sobre más de 900 modelos de recursos cloud. Su prototipo consumía unos 2 millones de tokens de entrada por carga de trabajo y tardaba cerca de 60 segundos en responder. Tras rediseñarlo sobre Amazon Bedrock, la compañía redujo los costos de consulta un 90%, los tokens de entrada un 93% y la latencia un 75%, hasta unos 15 segundos por respuesta. Hoy procesa miles de consultas al día.

De un prompt monolítico a un pipeline RAG multietapa

El problema de partida era real. Sonar, el sistema de consultas de Orca, exige construir objetos JSON con nombres exactos de modelos (una instancia EC2, un bucket S3), elegir entre 18 operadores y navegar jerarquías padre-hijo entre proveedores cloud. Un analista sin dominio del esquema pierde tiempo o se rinde. Orca y AWS crearon Discovery AI, un agente que traduce una pregunta en texto llano a un filtro Sonar válido.

La primera versión cargaba el esquema completo (900 definiciones, todas las relaciones y muchos ejemplos) en un único prompt sobre el modelo más grande disponible. La calidad era buena y los socios de diseño respondieron bien. Pero el costo y la lentitud eran inviables, y las consultas complejas, con varias condiciones y relaciones anidadas, seguían necesitando refinamiento.

La solución fue un pipeline RAG multietapa de nueve pasos, con un modelo distinto para cada tarea. Según el blog de AWS, estas son las etapas descritas:

Contexto: se combina la pregunta con la organización del usuario y sus proveedores cloud conectados.

Matcher determinista: con regex y reglas detecta IPs, CVEs, ARNs, hashes o IDs de alertas y devuelve el filtro sin invocar ningún LLM.

Guardrail: bloquea intentos de prompt injection, temas ajenos y entradas no soportadas.

Recuperación semántica: con Amazon Titan Text Embeddings trae los 20 ejemplos validados más cercanos.

Reranking: Cohere Rerank 3.5 se queda con los 5 más relevantes.

Selección de modelos: reduce los 900+ modelos a un puñado, con esquemas compactos («micro» o «mini»).

Generación agéntica: un agente con herramientas construye el filtro y lo refina de forma iterativa.

Validación: primero estática y luego contra la API de Sonar. Si falla, el error vuelve al generador para reintentar.

Orca eligió Bedrock por su acceso multimodelo mediante una sola API, por los controles de gobierno heredados de AWS (IAM, VPC endpoints, CloudTrail) y porque la arquitectura agnóstica permite cambiar de modelo sin rehacer el pipeline. Para SPIDITS AI, el caso muestra que escalar interfaces en lenguaje natural sobre grafos de datos complejos exige abandonar el prompt monolítico. Esa plataforma proyecta que las plataformas de seguridad cloud adoptarán estas arquitecturas en los próximos 12-18 meses. Es una proyección de esa fuente, no un dato de Orca.

Cómo aplicar las consultas de seguridad en lenguaje natural en tu empresa

La lección central es que el prototipo caro no era un error. Sirvió para validar la idea, y la ingeniería de costos vino después. Estas son las prácticas que puedes trasladar a tu organización:

1. Valida primero con el enfoque «fuerza bruta». Un prompt grande sobre un modelo potente demuestra si el caso de uso tiene valor. Lo que no debes hacer es llevarlo tal cual a producción.
2. Resuelve sin LLM lo que no lo necesita. Los patrones estructurados (IDs, IPs, códigos) se detectan con reglas. Es el paso más barato y rápido del pipeline.
3. Recupera antes de razonar. Enviar solo los ejemplos y esquemas pertinentes, en lugar de todo el catálogo, explica buena parte del 93% de ahorro en tokens.
4. Asigna cada modelo a su tarea. Embeddings, reranking y generación no requieren el mismo modelo. Es la misma lógica de Akka, donde el modelo más barato ganó en la migración de 65 proyectos, y de las estrategias para reducir 75% el costo de IA empresarial con arquitecturas híbridas.
5. Valida siempre la salida. En Orca, un filtro solo se entrega si pasa la validación estática y la API real. El generador queda limitado a esquemas y ejemplos aprobados. Es un buen antídoto contra las respuestas inventadas, un reto que también aborda el sistema RAG con el que Amazon redujo 92% el tiempo de consultas regulatorias.
6. Pon seguridad en la entrada. Un guardrail frente a prompt injection es obligatorio cuando el usuario escribe libremente sobre datos sensibles.
7. Diseña para cambiar de modelo. Con una capa agnóstica, cada mejora del mercado se convierte en ahorro o calidad sin rearquitectar.

Cuándo tiene sentido

Este patrón rinde cuando tienes un lenguaje de consulta propietario o un esquema grande, y usuarios que necesitan respuestas rápidas sin ser expertos. Piensa en SOC, auditoría, cumplimiento o analítica interna. Si tu catálogo es pequeño, probablemente un prompt bien armado baste. Mide antes de complicarte: tokens por consulta, latencia de extremo a extremo y tasa de filtros válidos al primer intento.

Los resultados de Orca apuntan a que la ventaja competitiva ya no está en acceder a un modelo grande, sino en orquestar bien los pequeños pasos que lo rodean. Si tu equipo aún depende de un prompt gigante, ¿cuánto estás pagando por tokens que nadie necesitaba? Revisa tu flujo actual y prueba a descomponerlo. Las consultas de seguridad en lenguaje natural de Orca muestran que se puede ganar en costo, velocidad y precisión a la vez.