4 min de lectura

Ranking con LLM: LinkedIn reduce un modelo de 7.000 a 400 millones de parámetros para servir a 1.300 millones de miembros

Ranking con LLM a escala: LinkedIn destila un modelo de 7B a 400M y logra 10x más throughput bajo latencia P99 estricta. Lecciones prácticas para tu empresa.

Red neuronal cristalina que se comprime en un núcleo brillante y veloz, simbolizando la optimización de modelos LLM de baja latencia

Meter un modelo de lenguaje en el corazón de un buscador es fácil en una demo y brutal en producción. LinkedIn lo hizo con ranking con LLM para búsqueda y recomendaciones, y la clave no fue un modelo más grande, sino uno mucho más pequeño: su equipo destiló un modelo de 7.000 millones de parámetros hasta 400 millones y comprimió el contexto de cada empleo en un único token de embedding, lo que supuso un salto de 10 veces en throughput, según contó Sundara Raman Ramachandran, ingeniero líder del equipo de inferencia de LLM de la compañía, en QCon AI.

El contexto importa. LinkedIn tiene cerca de 1.300 millones de miembros en más de 200 países y opera con un QPS altísimo. Además, la búsqueda está cambiando: ya no se trata de teclear palabras clave y filtros, sino de escribir frases como «encuéntrame puestos de diseño en la industria del entretenimiento» o «¿quién en mi red puede ayudarme a registrar una patente?». El flujo tiene tres capas. Primero, comprensión de la consulta: un planificador, un etiquetador y un reescritor que convierten texto ambiguo («cerca de mi ubicación») en una consulta estructurada («Bay Area»). Segundo, recuperación: una búsqueda vectorial KNN sobre embeddings precalculados de millones de empleos, optimizada para recall antes que para precisión. Tercero, el ranking, donde el LLM decide el orden final. Lo sorprendente es su sencillez: el prompt en producción pide al modelo que, dados una consulta, un perfil y un empleo, responda «sí» o «no» a si encajan. Las probabilidades de esos tokens se convierten en la puntuación final, y se repite para cada candidato.

La parte menos glamurosa del trabajo está en la ingeniería de sistemas. Ramachandran describió cómo el equipo eliminó cuellos de botella ocultos para cumplir los SLA de latencia P99: máscaras de atención flash personalizadas, soluciones para el GIL de Python, el uso de `gc.freeze` para reducir las pausas del recolector de basura y copias de memoria CUDA no bloqueantes. En la parte de la charla disponible no se detallan cifras de latencia concretas, pero el mensaje es claro: el modelo es solo una parte del problema.

Qué puedes aplicar en tu empresa para escalar el ranking con LLM

No hace falta tener 1.300 millones de usuarios para sacar partido de este caso. Estas son las lecciones transferibles:

  • Empieza con la tarea más simple posible. Un prompt de sí/no con probabilidades es más fácil de evaluar, depurar y calibrar que una generación libre. Si tu caso es ordenar candidatos, puntúa; no pidas redacción.
  • Reduce el tamaño del modelo antes de comprar más GPU. La destilación de modelos de 7B a 400M permite desplegar con menos hardware y menos latencia. Un modelo grande sirve como «profesor» y uno pequeño como «alumno» para producción.
  • Comprime el contexto. Convertir un documento largo en un único token de embedding fue lo que dio la mejora de 10x. Si tus prompts repiten grandes bloques de texto (fichas de producto, contratos, ofertas), plantéate precalcularlos.
  • Separa recuperación y ranking. Deja que una capa barata y rápida reduzca millones de opciones a unas decenas, y reserva el LLM para ordenarlas.
  • Mide la cola, no el promedio. Los SLA se rompen en el P99. Perfila todo el servicio: tokenización, serialización, recolección de basura y transferencias entre CPU y GPU.
  • Cuándo tiene sentido y qué errores evitar

    Este enfoque compensa cuando el ranking depende de entender la intención en lenguaje natural y las reglas o los modelos clásicos se quedan cortos. Si tu buscador funciona bien con filtros y palabras clave, empieza por mejorar la comprensión de la consulta antes de rehacer el ranking.

    El error típico es tratar la inferencia de LLM como un problema de modelo y no de infraestructura. Otras empresas llegan a conclusiones parecidas: en el caso de DoorDash, que pasó de 16 a 2 segundos de latencia en sus agentes, la velocidad se tradujo directamente en negocio. También hay paralelismos con Pinterest, que sustituyó su sistema de clustering por un modelo de 4.000 millones de parámetros para personalizar notificaciones. Y si te preocupa la eficiencia de memoria al servir muchas peticiones en paralelo, merece la pena revisar cómo i14 sirve 1.280 conversaciones a la vez con un modelo de atención lineal.

    Otro riesgo es optimizar a ciegas. Antes de destilar o comprimir, fija un conjunto de evaluación y una métrica de relevancia, y comprueba que el modelo pequeño no pierde calidad en los casos que más importan a tu negocio.

    Ranking con LLM: la pregunta que debes hacerte ahora

    La lección de LinkedIn es incómoda y útil: el ranking con LLM no se gana con el modelo más potente, sino con el más pequeño que cumpla la calidad exigida, alimentado con contexto comprimido y servido por una infraestructura sin fugas de latencia. ¿Sabes cuánto de tu P99 se va hoy en el modelo y cuánto en todo lo que lo rodea? Responder a eso es el primer paso para decidir si tu empresa está lista para llevar un LLM a producción.

    Preguntas frecuentes

    ¿Cómo usa LinkedIn los LLM para el ranking de resultados?

    LinkedIn pasa a un LLM la consulta, el perfil del miembro y cada empleo candidato, y le pregunta si encajan con un sí o un no. Con las probabilidades de esos tokens calcula la puntuación final de cada resultado y aplica después reglas de negocio para decidir el orden mostrado.

    ¿Qué es la destilación de modelos y qué logró LinkedIn con ella?

    La destilación de modelos entrena un modelo pequeño para imitar a uno grande. LinkedIn redujo un modelo de 7.000 millones de parámetros a 400 millones, lo que ayuda a cumplir los SLA de latencia P99 y a servir más peticiones por GPU en el ranking con LLM.

    ¿Cómo se logró un aumento de 10 veces en el throughput?

    Según la charla, LinkedIn comprimió el contexto de cada empleo en un único token de embedding, lo que redujo el trabajo del modelo por candidato y permitió un salto de 10x en throughput. Además eliminó cuellos de botella de sistema, como el GIL de Python o las copias de memoria CUDA bloqueantes.