4 min de lectura

Datos sintéticos para búsqueda en lenguaje natural: Airbnb reduce 9,2 veces la divergencia con CASTLE

Datos sintéticos para búsqueda en lenguaje natural: Airbnb crea CASTLE y reduce 9,2 veces la divergencia frente a Promptagator. Lecciones para tu empresa.

Castillo de cristal luminoso que genera partículas de datos sintéticos y ondas de búsqueda sobre un fondo azul oscuro

Lanzar un buscador en lenguaje natural plantea un dilema de huevo y gallina: para entrenarlo necesitas tráfico real de búsquedas, pero sin un buen buscador ese tráfico no llega. Airbnb ha encontrado una salida con CASTLE, un marco que apuesta por los datos sintéticos para búsqueda en lenguaje natural y que genera a la vez las consultas y sus etiquetas de relevancia. La cifra clave: una divergencia de Kullback–Leibler (KL) de 1,01 frente a las consultas reales de los usuarios, contra 9,33 del mejor método de referencia, Promptagator. Es una reducción de 9,2 veces. En la divergencia, menos es mejor.

El truco está en no separar dos tareas que otros métodos, como InPars y Promptagator, tratan por separado: generar consultas con un LLM y luego usar otro modelo para decidir qué alojamientos son relevantes. Según los investigadores de Airbnb, esa separación introduce errores adicionales y desvía las consultas sintéticas de las reales. CASTLE parte de sesiones de reserva desidentificadas. Cuando un huésped reserva tras ver varias opciones, el alojamiento elegido es el ejemplo positivo y otro que vio y no reservó es el negativo. Se le pide a un LLM una consulta que encaje con el primero y no con el segundo, de modo que la etiqueta de relevancia nace del propio proceso de construcción y no de una evaluación posterior.

El marco combina tres estrategias de generación: plantillas, prompts con unas 500 consultas semilla obtenidas mediante investigación con usuarios, y prompts basados en los atributos que distinguen a cada alojamiento. Un mecanismo de variedad evita que todas las consultas tengan la misma longitud y redacción. Para los pares sin historial de reservas, como las propiedades recién publicadas, entra un «Virtual Judge», un evaluador basado en LLM que etiqueta pares adicionales. Hay además una variante, CASTLE-R, pensada para producción cuando ya empieza a acumularse tráfico real.

Además de la divergencia global, a nivel de tipo de atributo CASTLE logró un KL de 0,08, frente a 0,09 de las consultas semilla curadas a mano en encuestas. En la evaluación humana, tres expertos revisaron 200 tripletas y coincidieron con las etiquetas de CASTLE entre un 91% y un 93%.

Cómo aplicar datos sintéticos para búsqueda en lenguaje natural en tu empresa

No hace falta ser Airbnb para sacar partido a la idea. El problema de arranque en frío afecta a cualquier empresa que lance un buscador semántico, un asistente de catálogo o un sistema de recomendación. Estas son las lecciones prácticas:

  • Busca señales de comportamiento que ya tengas. Las reservas, compras, tickets resueltos o clics tras comparar opciones contienen preferencias reveladas. Un par «elegido frente a descartado» es una etiqueta gratuita.
  • Genera la consulta y la etiqueta en un mismo paso. Si la consulta se construye para describir al elemento positivo y excluir al negativo, evitas depender de un segundo modelo que puede equivocarse.
  • Invierte poco, pero bien, en semillas reales. Las 500 consultas de Airbnb no entrenan el sistema por sí solas, pero anclan el estilo del lenguaje real.
  • Diversifica los métodos de generación. Plantillas, ejemplos y atributos distintivos cubren casos diferentes. Fuerza variedad en longitud y redacción.
  • Prepara un plan para el catálogo nuevo. Un evaluador basado en LLM, como el Virtual Judge, puede cubrir productos sin historial, siempre que lo valides contra criterio humano.
  • Migra a datos reales cuando lleguen. CASTLE-R muestra que lo sintético es un puente, no un destino.
  • Si te interesa cómo Airbnb sostiene la capa de datos de sus modelos, mira cómo pasó de dos días a segundos de retraso en su sistema de recomendación en tiempo real con Chronon.

    Errores a evitar al evaluar modelos de IA entrenados con datos sintéticos

    La discusión en LinkedIn dejó una lección incómoda y útil. Mark Tsai, ingeniero de IA especializado en evaluación de LLM, preguntó si las particiones de entrenamiento y evaluación mantienen separados los IDs de alojamientos y las plantillas semilla. Su duda: el modelo podría estar reconociendo plantillas o propiedades conocidas, no aprendiendo a emparejar intención y atributos. Wendy Ran Wei, autora del artículo de Airbnb, respondió que evaluaron con consultas reales sin tocar e implementaron salvaguardas contra fugas de datos. Aclaró también que el estudio no reporta una comparación controlada entre particiones aleatorias y estrictas, y que eso queda como línea futura.

    Para tu equipo, la regla es simple: evalúa siempre sobre consultas reales que el modelo no haya visto y separa plantillas e identificadores entre entrenamiento y prueba. Desconfía también de las etiquetas generadas por un modelo cuando ese mismo modelo participa en la evaluación; Property Finder descubrió que el 96,8% de sus etiquetas venían del modelo que quería reemplazar. Y no sustituyas el criterio de expertos: el 91–93% de acuerdo de CASTLE se midió con personas, igual que en el caso de Amazon, que puntúa páginas enteras con un VLM apoyado en 5.478 etiquetas de expertos.

    El momento de actuar

    La pregunta ya no es si tu producto necesita búsqueda conversacional, sino cuánto tiempo puedes esperar a tener tráfico suficiente para entrenarla. Con datos sintéticos para búsqueda en lenguaje natural basados en tu propio comportamiento de usuario, puedes empezar antes, medir contra consultas reales y refinar con datos de producción. ¿Qué par de «elegido frente a descartado» está hoy dormido en tus registros?

    Preguntas frecuentes

    ¿Qué es CASTLE de Airbnb?

    CASTLE es un marco de Airbnb que usa sesiones de reserva desidentificadas y LLM para generar a la vez consultas sintéticas y etiquetas de relevancia. Sirve para entrenar modelos de búsqueda en lenguaje natural antes de contar con suficiente tráfico real, es decir, para resolver el problema de arranque en frío.

    ¿Qué resultados obtuvo CASTLE frente a otros métodos?

    CASTLE logró una divergencia KL de 1,01 frente a las consultas reales, contra 9,33 de Promptagator, el mejor método de referencia: una reducción de 9,2 veces. En la revisión humana de 200 tripletas, tres expertos coincidieron con sus etiquetas de relevancia entre un 91% y un 93%.

    ¿Cómo puede mi empresa usar datos sintéticos para búsqueda en lenguaje natural?

    Identifica comportamientos que ya registras, como compras o clics tras comparar opciones, y crea pares de elegido y descartado. Pide a un LLM consultas que describan el positivo y excluyan el negativo. Combina varias estrategias de generación y valida siempre con consultas reales y revisión humana.