4 min de lectura

Agentes de IA para programar: JioHotstar probó 6 sistemas de búsqueda de código y descubrió que más herramientas no siempre rinden más

Agentes de IA para programar: JioHotstar comparó 6 enfoques de búsqueda de código. Descubre qué funcionó, qué no y cómo elegir según la tarea de tu equipo.

Añadir una capa de indexación o RAG a tus agentes de IA para programar no garantiza mejores resultados. Esa es la conclusión incómoda de JioHotstar, la plataforma de streaming india, tras comparar seis formas de ayudar a un agente a moverse por un código enorme. Según su evaluación, las capas de recuperación no mejoraron de forma consistente ni la tasa de tareas resueltas ni el consumo de tokens.

Abhishek Bansal, Senior Staff Engineer de la compañía, enfrentó seis enfoques: las herramientas básicas del sistema de archivos (buscar texto y abrir ficheros), Sourcebot, Graphify, CocoIndex Code, Repowise y un pipeline propio de RAG. Usó subconjuntos de SWE-bench y CodeScaleBench, además de un banco de preguntas y respuestas sobre el código real de JioHotstar. El modelo que resolvía las tareas fue Claude Sonnet, y se midieron precisión, tokens, turnos del agente y usabilidad de las herramientas.

Los resultados dependieron del tipo de tarea:

  • El sistema de archivos sin extras fue competitivo en tareas concretas.
  • Sourcebot, con búsqueda de texto indexada, definiciones, referencias y lectura de archivos, superó la línea base en las tareas difíciles de SWE-bench Verified y además costó menos.
  • En las tareas simples de SWE-bench Lite, la recuperación añadió sobrecarga sin mejorar de forma constante el resultado.
  • En CodeScaleBench, la recuperación semántica ayudó más cuando el problema estaba descrito de forma ambigua y no se podía localizar con una búsqueda exacta.
  • Otro hallazgo: los agentes preferían las operaciones de siempre de un desarrollador (buscar texto, leer archivos, localizar símbolos) frente a abstracciones de más alto nivel que exigían verificación adicional.

    Un matiz clave sobre los benchmarks de agentes de IA

    Conviene leer estos datos con cautela. Tarun Bhargava, desde los comentarios, pidió ver cifras de costo y precisión con varias ejecuciones de la misma configuración, algo razonable cuando se usan subconjuntos pequeños y modelos probabilísticos. Hay además un contexto externo. Según Marktechpost, en febrero de 2026 OpenAI dejó de reportar SWE-bench Verified: sus auditores concluyeron que el 59,4% de 138 problemas difíciles revisados tenía tests defectuosos y hallaron indicios de contaminación con datos de entrenamiento. Otros laboratorios lo siguen usando como referencia direccional, pero ya no es una vara de medir limpia. Por eso el valor del trabajo de JioHotstar está en su método (incluyó un banco propio sobre su código) más que en un ranking de herramientas.

    Cómo elegir la recuperación de código para tus agentes de IA para programar

    JioHotstar no declara un ganador universal y recomienda una estrategia por capas. Esto es lo que puedes aplicar en tu organización:

    1. Empieza por la línea base. Dale al agente acceso a repositorios locales con búsqueda y lectura de archivos. Todo lo demás debe demostrar que mejora eso.
    2. Usa búsqueda estructural para problemas concretos. Si la tarea nombra funciones, errores o módulos, una herramienta como Sourcebot suele bastar y sale más barata.
    3. Reserva el índice semántico para requisitos ambiguos o transversales. Es donde la recuperación por significado compensó su costo.
    4. Mide las trazas de uso de herramientas, no solo la precisión. Revisa si la recuperación reduce la exploración innecesaria o solo suma llamadas.
    5. Diseña herramientas que el agente quiera usar. Si sus operaciones se parecen a lo que hace un desarrollador, las adoptará. Si exigen verificar cada resultado, las evitará.
    6. Repite las pruebas. Corre varias veces cada configuración antes de decidir inversión o licencias.

    La prueba con tu propio código importa tanto como los benchmarks públicos. La deuda técnica también influye: Google midió que un TODO olvidado puede costar 77% más tokens a un agente y 105% más tiempo, así que antes de comprar otra capa de indexación vale la pena limpiar el repositorio.

    Más allá del código: el contexto que ningún índice captura

    Siddharth Vaithinathan planteó en LinkedIn la pregunta de fondo: ¿deben los agentes entender solo el código o también a la empresa que lo escribió? Un índice del repositorio no explica por qué se tomó una decisión de arquitectura, qué restricciones la condicionaron ni qué incidentes dejaron lecciones. Su propuesta es extender la base de conocimiento con arquitectura, restricciones, decisiones, justificaciones e incidentes, para que el agente evalúe el diseño existente antes de proponer cambios.

    Es una hipótesis, no un resultado medido, pero apunta a una tarea concreta para tu equipo: documentar decisiones e incidentes en un formato que un agente pueda consultar. Y para saber si algo funciona, necesitas un marco de pruebas sistemático; el caso de Elastic y su framework único de evaluación de agentes muestra por qué conviene montarlo antes de escalar. Si además tus agentes consumen muchas fuentes internas, la gobernanza pesa: Uber controla 5.000 herramientas en 800 servidores con un gateway MCP.

    La pregunta que debes hacerte antes de invertir

    El mensaje de JioHotstar es sobrio: no existe una herramienta universal, existe la adecuada para cada tarea. Antes de contratar otra plataforma, pregunta a tu equipo qué porcentaje de sus tareas son concretas y cuántas son ambiguas, y mide con tus propios repositorios. Así tus agentes de IA para programar gastarán menos tokens y explorarán menos a ciegas. ¿Sabes hoy cuántas de las llamadas que hace tu agente son útiles y cuántas son ruido?

    Preguntas frecuentes

    ¿Qué evaluó JioHotstar sobre los agentes de IA para programar?

    Comparó seis enfoques para que un agente navegue un código grande: herramientas del sistema de archivos, Sourcebot, Graphify, CocoIndex Code, Repowise y un RAG propio. Usó subconjuntos de SWE-bench y CodeScaleBench, además de preguntas sobre su código, con Claude Sonnet como modelo, midiendo precisión, tokens y turnos.

    ¿Qué es mejor para un agente de código: búsqueda estructural o semántica?

    Depende de la tarea. En JioHotstar, la búsqueda estructural (Sourcebot) rindió bien en problemas concretos y costó menos en tareas difíciles de SWE-bench Verified. La recuperación semántica ayudó más en requisitos ambiguos. Recomiendan mantener el sistema de archivos como base y sumar capas solo donde demuestren valor.

    ¿Por qué hay que tomar con cautela los resultados de SWE-bench?

    Porque JioHotstar usó subconjuntos y modelos probabilísticos, y se pidió repetir ejecuciones para confirmar costos y precisión. Además, según Marktechpost, OpenAI dejó de reportar SWE-bench Verified en febrero de 2026 por tests defectuosos y posible contaminación. Sirve como referencia direccional, no como medida definitiva.