Datos sintéticos para búsqueda en lenguaje natural: Airbnb reduce 9,2 veces la brecha con las consultas reales usando CASTLE
Datos sintéticos para búsqueda en lenguaje natural: Airbnb logra con CASTLE una divergencia 9,2 veces menor que su mejor rival. Qué puede copiar tu empresa.

¿Cómo entrenas un buscador que entiende frases como «cabaña romántica cerca de pistas de esquí» si todavía no tienes usuarios escribiéndolas? Airbnb ha presentado CASTLE, un marco que resuelve esa paradoja con datos sintéticos para búsqueda en lenguaje natural. El resultado más llamativo: una divergencia de Kullback-Leibler (KL) de 1,01 frente a las consultas reales de los usuarios, contra 9,33 del mejor método de referencia, Promptagator. Es una reducción de 9,2 veces, y cuanto menor es la divergencia, más se parecen las consultas generadas a las que escriben las personas.
CASTLE ataca el problema de arranque en frío, que es entrenar sin tráfico real suficiente. Parte de sesiones de reserva desidentificadas. Cuando un huésped reserva tras ver varias opciones, el alojamiento elegido es el ejemplo positivo y otro que vio pero no reservó es el negativo. Un LLM genera entonces una consulta que encaja con el primero y no con el segundo. Así, la etiqueta de relevancia nace en la construcción del dato y no en un paso de evaluación aparte, que era donde los enfoques previos como InPars y Promptagator, según los investigadores, acumulaban errores y se alejaban de las consultas reales. El sistema combina tres estrategias de generación: plantillas, ejemplos con unas 500 consultas semilla recogidas en investigación con usuarios, y prompts centrados en los atributos que distinguen cada alojamiento. Un mecanismo de variedad evita que todo suene igual en longitud y redacción.
Para pares sin historial de reservas, como los alojamientos recién publicados, entra un «Virtual Judge»: un evaluador basado en LLM que asigna relevancia a pares consulta-alojamiento adicionales. También existe CASTLE-R, una variante para cuando ya se acumula tráfico real. En la validación humana, tres expertos revisaron 200 tripletas y coincidieron con las etiquetas de CASTLE entre un 91% y un 93%. A nivel de tipo de atributo, la divergencia fue de 0,08, frente a 0,09 de las consultas semilla curadas a mano.
Qué enseña CASTLE sobre los datos sintéticos para búsqueda en lenguaje natural
La lección de fondo no es «usa un LLM para inventar datos». Es anclar lo sintético en comportamiento real. Airbnb no le pidió al modelo que imaginara búsquedas: le dio decisiones verdaderas de usuarios (qué reservaron y qué descartaron) y le pidió explicar la diferencia en lenguaje natural. De ahí sale la calidad.
Segunda lección: diseñar para que la etiqueta sea gratis. Si el dato nace con su respuesta correcta, eliminas una fuente de ruido. Esto contrasta con el riesgo que documentamos en el caso de Property Finder, donde el 96,8% de las etiquetas venía del modelo que se quería reemplazar: cuando un modelo etiqueta y otro aprende, los sesgos se retroalimentan. CASTLE usa su Virtual Judge solo donde faltan señales de comportamiento, que es una forma prudente de delimitar ese riesgo.
Tercera: una inversión pequeña en investigación cualitativa (unas 500 consultas semilla) rinde mucho cuando se combina con generación a escala.
Cómo aplicar esta estrategia en tu empresa
No hace falta ser Airbnb para usar la lógica de CASTLE. Si tu negocio tiene catálogo, documentos o servicios que los clientes buscan, esta es una ruta práctica:
Este enfoque encaja con una tendencia más amplia: usar LLM para reemplazar piezas heredadas de los sistemas de relevancia, como hizo Pinterest al sustituir su clustering por un modelo de 4.000 millones de parámetros. Y la propia Airbnb ya había mostrado que la infraestructura de datos importa, al pasar de dos días a segundos de retraso en sus recomendaciones con Chronon.
Lo que CASTLE aún no demuestra: la duda sobre fugas de datos
Conviene leer los resultados con criterio. En LinkedIn, el ingeniero de IA Mark Tsai preguntó si las plantillas semilla y los identificadores de alojamientos estaban separados entre entrenamiento y evaluación, y sugirió comparar una división aleatoria con otra más estricta para distinguir si el modelo aprende emparejamientos reutilizables entre intención y atributos o solo reconoce plantillas y propiedades familiares.
Wendy Ran Wei, autora del trabajo, respondió que evaluaron con consultas reales no vistas y aplicaron salvaguardas contra fugas al construir los conjuntos de evaluación. Aclaró, eso sí, que el paper no reporta esa comparación controlada y que queda como línea futura. Para un líder técnico, la moraleja es clara: antes de replicar, diseña tu propia evaluación con consultas reales y particiones estrictas.
El momento de actuar
Si tu buscador, tu asistente interno o tu catálogo todavía no tienen suficiente tráfico para entrenarse, esperar no es la única opción. CASTLE muestra que los datos sintéticos para búsqueda en lenguaje natural, bien anclados en comportamiento real y validados por humanos, pueden acercarse mucho a lo que escriben tus usuarios. La pregunta para tu equipo: ¿qué decisiones reales de tus clientes estás ignorando que podrían enseñarle a tu modelo a entenderlos?
Preguntas frecuentes
¿Qué es CASTLE de Airbnb?
CASTLE es un marco de Airbnb que usa sesiones de reserva desidentificadas y LLM para generar a la vez consultas sintéticas y etiquetas de relevancia. Permite entrenar modelos de búsqueda en lenguaje natural antes de contar con suficiente tráfico real, resolviendo el problema de arranque en frío.
¿Qué resultados obtuvo CASTLE frente a otros métodos?
En la evaluación, CASTLE logró una divergencia KL de 1,01 respecto a las consultas reales, frente a 9,33 de Promptagator, el mejor método de referencia: 9,2 veces menos. Además, tres expertos coincidieron con sus etiquetas de relevancia entre el 91% y el 93% en 200 tripletas muestreadas.
¿Cómo se generan las etiquetas de relevancia sin un paso de evaluación aparte?
CASTLE usa pares contrastivos: el alojamiento reservado es positivo y otro visto pero no reservado es negativo. El LLM crea una consulta que encaja con el primero y no con el segundo, así la etiqueta nace con el dato. Para alojamientos sin historial, un Virtual Judge basado en LLM asigna la relevancia.