Ranking con LLM en LinkedIn: destila un modelo de 7.000 millones a 400 millones de parámetros y multiplica por 10 su rendimiento
Ranking con LLM a escala: LinkedIn destiló un modelo de 7B a 400M parámetros y logró 10x de throughput con latencia P99 estricta. Lecciones para tu empresa.

Poner un modelo de lenguaje a ordenar resultados para más de 1.300 millones de miembros suena a promesa de laboratorio. LinkedIn lo hace en producción, y su receta no es comprar más GPU. El ranking con LLM de la plataforma funciona bajo un contrato de latencia P99 estricto gracias a tres decisiones: destiló un modelo de 7.000 millones de parámetros a 400 millones, comprimió el contexto de cada empleo en un solo token de embedding (un salto de 10 veces en throughput) y cazó cuellos de botella escondidos en el propio sistema.
Lo contó Sundara Raman Ramachandran, ingeniero líder del equipo de inferencia de LLM de LinkedIn, en QCon AI. Su equipo trabaja sobre un flujo de tres capas. Primero, la capa de comprensión de consultas convierte texto ambiguo en algo estructurado: un planificador identifica los criterios, un etiquetador añade datos del perfil del usuario y un reescritor resuelve referencias como «cerca de mi ubicación», que pasa a ser «Bay Area». Después, la capa de recuperación selecciona los K resultados más relevantes entre millones de ofertas. Por último, el ranker decide el orden final, y ahí está el problema difícil: los usuarios ya no escriben filtros, escriben frases como «¿quién en mi red puede ayudarme a registrar una patente?». Los LLM entienden esa intención, pero a escala de LinkedIn cada milisegundo cuenta. Ramachandran detalló además optimizaciones de bajo nivel: máscaras de flash attention personalizadas, rodeos al GIL de Python, `gc.freeze` y copias de memoria CUDA no bloqueantes. Él mismo contribuye al API de scoring de SGLang, el proyecto de código abierto donde los LLM se usan para ranking.
Cómo aplicar el ranking con LLM en tu empresa: lecciones de LinkedIn
La primera lección es que el modelo más grande rara vez es el modelo correcto para producción. La destilación de modelos (pasar de 7B a 400M) deja claro que el tamaño se decide por el presupuesto de latencia, no por el prestigio del benchmark. Si tu catálogo, tu buscador interno o tu motor de recomendación necesita responder en milisegundos, empieza por definir ese límite y trabaja hacia atrás. Los detalles de calidad de la destilación conviene verlos en la presentación completa, que dura 42 minutos.
La segunda: reduce lo que le pides al modelo en cada petición. Comprimir un contexto largo (la descripción de un empleo) en un único embedding es lo que habilitó el salto de 10x en throughput. Es una idea trasladable a otros sectores: fichas de producto, expedientes, tickets o contratos que se rankean contra una consulta.
Un plan de arranque razonable:
Qué errores evitar en la inferencia de LLM de baja latencia
El dato más revelador de la charla es dónde se pierde el tiempo: no solo en la red neuronal, sino en el recolector de basura de Python, en la contención del GIL o en copias de memoria que bloquean la GPU. Optimizar el modelo sin mirar el servidor que lo rodea es el error clásico. Para una inferencia de LLM que cumpla un P99, hay que medir la cola de la distribución, porque son los casos lentos los que rompen la experiencia del usuario.
El mismo principio aparece en otros casos recientes. DoorDash pasó de 16 a 2 segundos en sus agentes de IA y vinculó esa mejora con un aumento de pedidos. Y Pinterest sustituyó un sistema de clustering por un LLM de 4.000 millones de parámetros para personalizar notificaciones. En la misma línea de entender consultas en lenguaje natural, Airbnb trabaja con datos sintéticos para su búsqueda. Los tres comparten un patrón: la ventaja competitiva está en la ingeniería de despliegue, no en el modelo.
Una advertencia de honestidad: LinkedIn opera con un equipo especializado y una escala difícil de replicar. No hace falta imitar cada optimización de CUDA, pero sí adoptar la disciplina de definir latencia, reducir contexto y perfilar de punta a punta.
El siguiente paso para tu ranking con LLM
La pregunta para tu comité de innovación no es si usar un LLM para buscar o recomendar, sino cuánta latencia puede absorber tu negocio y qué parte del problema justifica un modelo grande. Si ya tienes un buscador que frustra a tus usuarios, ¿has medido su P99 y su coste por consulta? Ese es el punto de partida para decidir si un ranking con LLM, destilado y bien afinado, merece un piloto este trimestre.
Preguntas frecuentes
¿Qué es el ranking con LLM que usa LinkedIn?
Es el uso de modelos de lenguaje en la capa final de búsqueda y recomendación para decidir el orden de los resultados. En LinkedIn, tras la comprensión de la consulta y la recuperación de candidatos, el ranker con LLM ordena empleos o personas según la intención del usuario, bajo estrictos límites de latencia P99.
¿Cómo logró LinkedIn multiplicar por 10 el rendimiento de su ranking?
Según la charla de Sundara Raman Ramachandran, comprimió el contexto de cada empleo en un único token de embedding, lo que supuso un salto de 10 veces en throughput. Antes destiló un modelo de 7.000 millones de parámetros a uno de 400 millones y eliminó cuellos de botella del sistema.
¿Qué puede aprender una empresa mediana de este caso de inferencia de LLM?
Que conviene fijar primero el SLA de latencia, usar modelos destilados más pequeños, precalcular contextos estables y perfilar todo el sistema, no solo el modelo. Aunque no tengas la escala de LinkedIn, esas prácticas reducen costes y mejoran la experiencia de buscadores o recomendadores internos.