Agentes de IA para programar: JioHotstar prueba 6 métodos de búsqueda de código y descubre que más capas no siempre ganan
JioHotstar comparó seis formas de ayudar a los agentes de IA para programar a navegar código. La búsqueda estructural y la semántica ganan en tareas distintas.
La tentación es obvia: si tu agente se pierde en un repositorio enorme, le pones un índice, una base vectorial, un RAG. JioHotstar acaba de medir si eso funciona, y el resultado incomoda a más de un proveedor. En su evaluación de agentes de IA para programar, las herramientas básicas de archivos seguían siendo competitivas, y añadir capas de recuperación no mejoró de forma consistente ni la tasa de tareas resueltas ni el consumo de tokens.
Abhishek Bansal, Senior Staff Engineer de JioHotstar, comparó seis enfoques: herramientas de sistema de archivos (el baseline), Sourcebot, Graphify, CocoIndex Code, Repowise y un pipeline propio de RAG. Usó subconjuntos de SWE-bench y de CodeScaleBench, más un banco de preguntas y respuestas sobre el propio código de la plataforma. El modelo resolutor fue Claude Sonnet, y se midieron precisión, tokens, turnos del agente y usabilidad de las herramientas.
Los patrones fueron claros. En las tareas concretas, el baseline con búsqueda de texto y lectura de archivos se mantuvo competitivo. Sourcebot, que ofrece búsqueda de texto indexada, definiciones de símbolos, referencias y lectura de archivos, superó al baseline en las tareas más difíciles de SWE-bench Verified y además costó menos. En las más simples de SWE-bench Lite, la recuperación casi siempre añadió sobrecarga sin mejorar resultados. CodeScaleBench mostró lo contrario: la búsqueda semántica de código ayudó más cuando el agente debía interpretar descripciones ambiguas y traducirlas a detalles de implementación que no aparecen en una búsqueda exacta. Otro hallazgo: los agentes preferían operaciones de desarrollador conocidas (buscar texto, leer archivos, localizar símbolos) frente a abstracciones de más alto nivel que exigían verificación extra.
Una cautela: el resumen publicado no incluye cifras absolutas de precisión ni de coste. Tarun Bhargava señaló, además, que con subconjuntos limitados y modelos probabilísticos haría falta ver los resultados de varias ejecuciones de la misma configuración. Conviene tratar el estudio como una brújula, no como un veredicto.
Qué dice el contexto del mercado sobre los benchmarks
El estudio llega en un momento en que los rankings públicos generan dudas. Según MarkTechPost, Claude Code lidera en calidad de código con un 87,6% en SWE-bench Verified y GPT-5.5 encabeza Terminal-Bench con un 82,7%. Pero el mismo medio recuerda que OpenAI declaró contaminado ese benchmark en febrero de 2026, y que se sigue usando para comparar herramientas. Plataformas como Artificial Analysis ya miden también coste, uso de tokens y tiempo de ejecución, no solo precisión. El enfoque de JioHotstar encaja con esa tendencia: lo que importa es cuánto cuesta y cuánto rodeo da el agente para llegar a la respuesta.
Cómo elegir la recuperación de código para tus agentes de IA
La lección central es que no existe una capa de recuperación universal. Esto es lo que puedes aplicar:
Esta disciplina de medición se parece a la que exige cualquier despliegue serio. Si ya piensas en cómo evaluar agentes de IA como hizo Elastic con un único framework de pruebas, añade la recuperación de código como una variable más a comparar.
El siguiente reto: que el agente entienda la empresa, no solo el código
Siddharth Vaithinathan planteó en LinkedIn una pregunta de fondo: ¿deberían los agentes entender también a la empresa que produjo el código? Un índice del repositorio no explica por qué se tomó una decisión de arquitectura, qué restricciones la moldearon ni qué incidentes enseñaron algo al equipo. Su propuesta es ampliar el conocimiento del agente a arquitectura, restricciones, decisiones, justificaciones, incidentes y resultados, para que evalúe el diseño existente antes de proponer cambios. El estudio no prueba esa hipótesis, pero señala una dirección. Algo parecido ocurre con el contexto basura: Google midió que un simple TODO olvidado en el código encarece los agentes de IA, lo que confirma que la calidad del contexto pesa tanto como su cantidad. Y quien ya se plantea cómo evitar que los agentes pierdan el hilo puede revisar cómo Tenex usa Git para dar memoria a sus agentes.
El mejor momento para decidir es antes de comprar
La conclusión práctica para quien lidera tecnología: antes de añadir otra herramienta a tu stack de agentes de IA para programar, haz un piloto pequeño con tus propias tareas, compara contra el sistema de archivos y mira las trazas. ¿Sabes hoy cuántos turnos y tokens gasta tu agente por tarea, y cuántos de ellos son exploración que una capa de recuperación podría evitar, o provocar?
Preguntas frecuentes
¿Qué enfoques de recuperación de código comparó JioHotstar para sus agentes de IA?
Comparó seis: herramientas de sistema de archivos como línea base, Sourcebot, Graphify, CocoIndex Code, Repowise y un pipeline RAG propio. Los probó con subconjuntos de SWE-bench y CodeScaleBench, además de un banco de preguntas sobre su código, usando Claude Sonnet como modelo resolutor.
¿Qué método es mejor para agentes de IA que programan: búsqueda estructural o semántica?
Depende de la tarea. La búsqueda estructural, como Sourcebot, rindió bien en tareas concretas y difíciles de SWE-bench Verified, y costó menos. La búsqueda semántica ayudó más con requisitos ambiguos en CodeScaleBench. JioHotstar recomienda mantener el sistema de archivos como base y elegir según el tipo de problema.
¿Añadir un RAG o un índice de código siempre reduce el coste de los agentes de IA?
No. La evaluación halló que añadir capas de recuperación no mejoró de forma consistente la resolución de tareas ni redujo los tokens. En tareas simples de SWE-bench Lite casi siempre añadió sobrecarga. Por eso JioHotstar recomienda medir las trazas de uso de herramientas, además de la precisión.
Fuentes
- JioHotstar Benchmarks Knowledge Bases for AI Coding Agents
- JioHotstar Tests Six Retrieval Methods for AI Coding Agents on SWE ...
- InfoQ AI ML Data Engineering:JioHotstar 评测 Knowledge Bases for AI ...
- Best AI Agents for Software Development Ranked: A Benchmark-Driven Look ...
- Building Benchmark Tasks for AI Coding Agents: A Behind-the ... - LinkedIn
- AI Coding Agent Benchmarks & Leaderboard | Artificial Analysis