4 min de lectura

Agentes de IA para programar: JioHotstar prueba 6 métodos de búsqueda de código y descubre que más capas no siempre ganan

JioHotstar comparó seis formas de ayudar a los agentes de IA para programar a navegar código. La búsqueda estructural y la semántica ganan en tareas distintas.

La tentación es obvia: si tu agente se pierde en un repositorio enorme, le pones un índice, una base vectorial, un RAG. JioHotstar acaba de medir si eso funciona, y el resultado incomoda a más de un proveedor. En su evaluación de agentes de IA para programar, las herramientas básicas de archivos seguían siendo competitivas, y añadir capas de recuperación no mejoró de forma consistente ni la tasa de tareas resueltas ni el consumo de tokens.

Abhishek Bansal, Senior Staff Engineer de JioHotstar, comparó seis enfoques: herramientas de sistema de archivos (el baseline), Sourcebot, Graphify, CocoIndex Code, Repowise y un pipeline propio de RAG. Usó subconjuntos de SWE-bench y de CodeScaleBench, más un banco de preguntas y respuestas sobre el propio código de la plataforma. El modelo resolutor fue Claude Sonnet, y se midieron precisión, tokens, turnos del agente y usabilidad de las herramientas.

Los patrones fueron claros. En las tareas concretas, el baseline con búsqueda de texto y lectura de archivos se mantuvo competitivo. Sourcebot, que ofrece búsqueda de texto indexada, definiciones de símbolos, referencias y lectura de archivos, superó al baseline en las tareas más difíciles de SWE-bench Verified y además costó menos. En las más simples de SWE-bench Lite, la recuperación casi siempre añadió sobrecarga sin mejorar resultados. CodeScaleBench mostró lo contrario: la búsqueda semántica de código ayudó más cuando el agente debía interpretar descripciones ambiguas y traducirlas a detalles de implementación que no aparecen en una búsqueda exacta. Otro hallazgo: los agentes preferían operaciones de desarrollador conocidas (buscar texto, leer archivos, localizar símbolos) frente a abstracciones de más alto nivel que exigían verificación extra.

Una cautela: el resumen publicado no incluye cifras absolutas de precisión ni de coste. Tarun Bhargava señaló, además, que con subconjuntos limitados y modelos probabilísticos haría falta ver los resultados de varias ejecuciones de la misma configuración. Conviene tratar el estudio como una brújula, no como un veredicto.

Qué dice el contexto del mercado sobre los benchmarks

El estudio llega en un momento en que los rankings públicos generan dudas. Según MarkTechPost, Claude Code lidera en calidad de código con un 87,6% en SWE-bench Verified y GPT-5.5 encabeza Terminal-Bench con un 82,7%. Pero el mismo medio recuerda que OpenAI declaró contaminado ese benchmark en febrero de 2026, y que se sigue usando para comparar herramientas. Plataformas como Artificial Analysis ya miden también coste, uso de tokens y tiempo de ejecución, no solo precisión. El enfoque de JioHotstar encaja con esa tendencia: lo que importa es cuánto cuesta y cuánto rodeo da el agente para llegar a la respuesta.

Cómo elegir la recuperación de código para tus agentes de IA

La lección central es que no existe una capa de recuperación universal. Esto es lo que puedes aplicar:

  • Conserva el sistema de archivos como línea base. Antes de comprar o construir nada, mide cuánto resuelve tu agente solo con búsqueda de texto, lectura de archivos y localización de símbolos.
  • Segmenta tus tareas. Para correcciones concretas y bien delimitadas, la búsqueda estructural (texto indexado, símbolos, referencias) rinde bien y suele costar menos. Para requisitos ambiguos o transversales, prueba un índice semántico.
  • Mide las trazas de uso de herramientas, no solo la precisión. JioHotstar recomienda comprobar si la recuperación reduce la exploración innecesaria. Si el agente da los mismos turnos y gasta los mismos tokens, la capa extra es peso muerto.
  • Diseña herramientas que el agente quiera usar. Si una abstracción obliga a verificar sus resultados con búsquedas tradicionales, el agente volverá a lo conocido y pagarás dos veces.
  • Repite las pruebas. Con modelos probabilísticos, una sola corrida engaña. Ejecuta varias veces cada configuración antes de decidir.
  • Esta disciplina de medición se parece a la que exige cualquier despliegue serio. Si ya piensas en cómo evaluar agentes de IA como hizo Elastic con un único framework de pruebas, añade la recuperación de código como una variable más a comparar.

    El siguiente reto: que el agente entienda la empresa, no solo el código

    Siddharth Vaithinathan planteó en LinkedIn una pregunta de fondo: ¿deberían los agentes entender también a la empresa que produjo el código? Un índice del repositorio no explica por qué se tomó una decisión de arquitectura, qué restricciones la moldearon ni qué incidentes enseñaron algo al equipo. Su propuesta es ampliar el conocimiento del agente a arquitectura, restricciones, decisiones, justificaciones, incidentes y resultados, para que evalúe el diseño existente antes de proponer cambios. El estudio no prueba esa hipótesis, pero señala una dirección. Algo parecido ocurre con el contexto basura: Google midió que un simple TODO olvidado en el código encarece los agentes de IA, lo que confirma que la calidad del contexto pesa tanto como su cantidad. Y quien ya se plantea cómo evitar que los agentes pierdan el hilo puede revisar cómo Tenex usa Git para dar memoria a sus agentes.

    El mejor momento para decidir es antes de comprar

    La conclusión práctica para quien lidera tecnología: antes de añadir otra herramienta a tu stack de agentes de IA para programar, haz un piloto pequeño con tus propias tareas, compara contra el sistema de archivos y mira las trazas. ¿Sabes hoy cuántos turnos y tokens gasta tu agente por tarea, y cuántos de ellos son exploración que una capa de recuperación podría evitar, o provocar?

    Preguntas frecuentes

    ¿Qué enfoques de recuperación de código comparó JioHotstar para sus agentes de IA?

    Comparó seis: herramientas de sistema de archivos como línea base, Sourcebot, Graphify, CocoIndex Code, Repowise y un pipeline RAG propio. Los probó con subconjuntos de SWE-bench y CodeScaleBench, además de un banco de preguntas sobre su código, usando Claude Sonnet como modelo resolutor.

    ¿Qué método es mejor para agentes de IA que programan: búsqueda estructural o semántica?

    Depende de la tarea. La búsqueda estructural, como Sourcebot, rindió bien en tareas concretas y difíciles de SWE-bench Verified, y costó menos. La búsqueda semántica ayudó más con requisitos ambiguos en CodeScaleBench. JioHotstar recomienda mantener el sistema de archivos como base y elegir según el tipo de problema.

    ¿Añadir un RAG o un índice de código siempre reduce el coste de los agentes de IA?

    No. La evaluación halló que añadir capas de recuperación no mejoró de forma consistente la resolución de tareas ni redujo los tokens. En tareas simples de SWE-bench Lite casi siempre añadió sobrecarga. Por eso JioHotstar recomienda medir las trazas de uso de herramientas, además de la precisión.