Sesgo de evaluación en IA: Property Finder descubrió que el 96,8% de sus etiquetas eran del modelo que quería reemplazar

Si tu equipo está comparando modelos de IA contra las etiquetas que generó el modelo que ya usas en producción, probablemente estás midiendo mal. Eso le pasó a Property Finder, el portal inmobiliario líder en Oriente Medio y el Norte de África: al revisar su evaluación descubrieron que el 96,8% de sus etiquetas eran predicciones del modelo incumbente, no verdades verificadas por humanos. Ese sesgo de evaluación en IA hacía que cualquier alternativa pareciera peor. Al corregirlo, el equipo eligió en Amazon Bedrock un modelo con mayor precisión y un 86% menos de costo.

El caso: tenían un problema de medición, no de modelo

Property Finder procesa decenas de miles de imágenes de propiedades cada día. Cada anuncio trae unas 15 fotos, y cada foto se evalúa en 11 atributos de calidad: detección de marcas de agua, clasificación de habitaciones, estado de amueblado, calidad fotográfica e indicadores de construcción. Todo debe revisarse antes de publicar. Con ese volumen, buscaron una opción más barata y chocaron con un muro: frente a su «respuesta correcta», todo candidato perdía.

La razón, según el blog de AWS Machine Learning (coescrito con ingenieros de Property Finder y el AWS Generative AI Innovation Center), era circular. Solo el 3,2% de las muestras tenía etiqueta humana, y ese pequeño lote tenía categorías fuera de la especificación, como «Office». El resto replicaba al modelo actual, con errores incluidos: marcas de agua con letras inventadas o faltantes, y fotos con varias habitaciones forzadas a una sola etiqueta. Como resume el propio texto, la parte difícil no fue encontrar un mejor modelo, sino descubrir que la metodología de evaluación era el bloqueo.

La solución tuvo tres piezas. Primero, un nuevo ground truth anotado a mano por un experto en calidad de anuncios inmobiliarios, sin ver las predicciones previas: 356 imágenes de Emiratos Árabes Unidos (256 para ajustar prompts y 100 adicionales para la comparación final), más un set de Egipto como verificación regional. Segundo, el paso de etiqueta única a clasificación multietiqueta: un pasillo con un dormitorio al fondo es ambas cosas. Tercero, métricas más completas: Micro F1 como principal, Macro F1 para no ocultar fallos en clases raras, IoU por muestra y exactitud exacta para los nueve atributos de respuesta única.

Con esa vara de medir, aplicaron optimización de prompts inspirada en el aprendizaje por refuerzo: cada versión del prompt es un «agente», el Micro F1 es la recompensa y el análisis de errores guía la mejora. El ciclo llegó hasta la versión v27, con asistentes de IA revisando imágenes fallidas y, al final, el framework automatizado MIPROv2 de DSPy. Las etiquetas del resumen de ReadMex mencionan también Llama 4 Maverick 17B de Meta, aunque el extracto disponible no detalla qué modelo ganó ni sus cifras por atributo. Otros agregadores, como WorldNeural, coinciden en el dato central: 86% menos de costo en los 11 atributos.

Cómo evitar el sesgo de evaluación en IA en tu empresa

La lección es incómoda: si tu «dataset de oro» sale de producción, no es de oro. Antes de cambiar de proveedor o modelo, revisa tu evaluación:

Audita el origen de tus etiquetas. Calcula qué porcentaje viene del modelo actual. Si supera un dígito bajo, tu comparación está contaminada.

Anota de forma independiente. Expertos de dominio, sin acceso a las salidas del incumbente y con sesiones de aclaración para casos ambiguos.

Revisa la especificación de etiquetas. Si los humanos inventan categorías o la realidad es multietiqueta, corrige el esquema antes de medir.

Elige métricas que cuenten la historia completa. Micro F1 para la corrección global, Macro F1 y precisión/recall por etiqueta para detectar fallos en clases raras.

Itera con el error como brújula. Versiona los prompts, mide cada cambio contra un set de desarrollo y reserva datos para la comparación final.

Hay límites que conviene asumir. Con 356 imágenes solo se detectan diferencias moderadas entre modelos; en clases poco frecuentes, las diferencias pequeñas pueden pasar inadvertidas. El propio equipo propone un enfoque híbrido para ampliar el dataset: modelos de distintas familias proponen etiquetas y señalan desacuerdos, y los humanos arbitran cada caso, de modo que ninguna salida de modelo se use directamente como etiqueta.

Cuándo tiene sentido revisar tu evaluación

El momento es antes de migrar, no después. Si buscas reducir costos, el caso de Property Finder muestra que el ahorro puede ser enorme (86%), pero solo es visible con una vara de medir honesta. Es el mismo patrón que vimos cuando Akka portó 65 proyectos y el modelo más barato ganó: el modelo caro rara vez es el mejor por defecto. Y si ya operas agentes en producción, el episodio de evaluación de agentes de IA en producción donde un agente de AWS confundió $410 con $410 millones recuerda que medir mal tiene consecuencias reales. Para ver el efecto de una buena métrica, mira cómo uniopen pasó de 0,42 a 0,85 de F1 en moderación de contenido.

La pregunta para tu próxima reunión de arquitectura: ¿cuántas de tus etiquetas fueron verificadas por una persona y cuántas las escribió el modelo que quieres reemplazar? Hasta que tengas esa respuesta, el sesgo de evaluación en IA puede estar costándote dinero y frenando mejores opciones.