5 min de lectura

Evaluación de calidad de contenido con IA: Amazon puntúa páginas enteras con un VLM y 5.478 etiquetas de expertos

Evaluación de calidad de contenido con IA: Amazon usa un VLM, OCR y CatBoost para puntuar páginas A+ y decirle a cada marca qué corregir. Así funciona.

Ilustración conceptual de una página de producto analizada por un ojo de IA, un árbol de decisión y barras de recomendaciones

Los vendedores que usan A+ Content en Amazon aumentan sus ventas entre 8% y 20% frente a los que no lo usan. Pero ese contenido lo producen desde marcas con equipos de diseño propios hasta emprendimientos con recursos mínimos, y la calidad es muy desigual. Amazon Marketplace ha resuelto el problema con una evaluación de calidad de contenido con IA que no mira cada imagen o texto por separado, sino la página completa, tal como la ve el cliente. Lo contó en el blog de machine learning de AWS un equipo formado por James Kim, Carrie Song, David Oh, Harsh Asnani y Simai Zhang.

Cómo funciona la evaluación de calidad de contenido con IA en Amazon

La idea central es sencilla: una página de producto combina imágenes, texto y diseño en una sola historia, y su calidad depende de cómo encajan esas piezas. El ejemplo del equipo lo ilustra bien. En una página de licuadora, cada elemento aprobaría una revisión individual: foto nítida, viñetas correctas, imagen de estilo de vida bien iluminada. Sin embargo, las viñetas pueden anunciar una jarra de 64 onzas mientras la foto muestra un modelo individual, o la imagen de la cocina puede aparecer antes que el producto. Esos fallos solo se ven al evaluar el conjunto. Por eso Amazon renderiza la página como una única captura y se la entrega a un modelo de visión-lenguaje (VLM).

El VLM recibe una rúbrica con cuatro dimensiones: narrativa visual, presentación de características, diseño de la página y optimización de la conversión. Para cada una devuelve una puntuación de 0 a 10, un nivel de confianza y una explicación en lenguaje natural. En lugar de afinar el VLM, que exigiría infraestructura de GPU y arriesgaría el sobreajuste con pocos miles de ejemplos, el equipo lo mantiene fijo. Usa sus salidas como variables para entrenar un clasificador CatBoost, que predice las etiquetas de los expertos. Las etiquetas salieron de 5.478 páginas de 10 categorías, calificadas como buenas o malas por un experto en marketing de ecommerce y cuatro anotadores profesionales. Las clases quedaron casi equilibradas (49,6% de alta calidad) y el acuerdo de cada anotador con el consenso, medido con kappa de Cohen, estuvo entre 0,845 y 0,915. El clasificador se comparó con una referencia en un 20% de datos reservados (unas 1.100 páginas). El fragmento disponible del artículo no incluye esas métricas finales, así que conviene leer el original antes de citar cifras de precisión.

El sistema también combina las señales semánticas del VLM con señales de legibilidad por OCR. Además usa explicabilidad con SHAP para traducir cada decisión en recomendaciones concretas para los vendedores, y suma un componente de generación basado en difusión que produce activos visuales mejorados. Todo corre sobre Amazon SageMaker AI, desde la ingesta y anotación de datos hasta el alojamiento del modelo, la explicabilidad y el monitoreo en producción.

Qué puedes aplicar en tu empresa

El caso es útil más allá de Amazon porque separa tres decisiones que suelen mezclarse: qué modelo "ve", quién define qué es "bueno" y cómo se explica el veredicto.

  • Evalúa el conjunto, no las piezas. Si tu producto es una experiencia compuesta (una ficha de producto, un correo, una landing, un informe), la coherencia entre elementos importa tanto como cada elemento. Una captura completa pasada a un VLM es una forma barata de empezar.
  • No afines de entrada. Amazon mantiene el VLM congelado y entrena solo un clasificador pequeño. Actualizar el sistema cuando cambian los criterios es un trabajo de CPU, no un proyecto de fine-tuning. Compáralo con el enfoque de Exowatt, que sí afina modelos para superar a los de frontera con hasta 49 veces menos costo: la elección depende de cuántos datos etiquetados tengas.
  • Invierte en etiquetas humanas fiables. Cinco evaluadores, voto mayoritario y kappa superior a 0,8 son el verdadero cimiento del sistema. Cuida también de dónde vienen tus etiquetas: Property Finder descubrió que el 96,8% de las suyas procedían del modelo que quería reemplazar.
  • Exige explicación, no solo una nota. Un puntaje sin recomendaciones no cambia el comportamiento del cliente. Combinar la justificación del VLM con SHAP permite decir qué corregir y cuánto pesa cada factor.
  • Respeta los matices por categoría. Los criterios de una página de electrodomésticos no son los de una de moda. Entrenar con datos de 10 categorías ayuda a reflejarlo.
  • Cuándo conviene este enfoque y qué riesgos vigilar

    El momento adecuado llega cuando tienes volumen suficiente para que la revisión manual sea inviable, criterios de calidad que los expertos ya saben aplicar y unos miles de ejemplos etiquetables. Si te faltan esos ingredientes, empieza por construir el conjunto de anotaciones. La documentación de SageMaker ofrece herramientas de etiquetado con humanos en el circuito (Amazon A2I) y de monitoreo de calidad del modelo, que compara predicciones con etiquetas reales en producción. Una advertencia práctica: la propia documentación indica que SageMaker Model Monitor ya no está abierto a nuevos clientes, así que si planeas replicar la arquitectura, valida desde el principio con qué herramienta vas a vigilar la deriva.

    Otro riesgo es medir calidad con una rúbrica que luego se vuelve objetivo en sí mismo: si los vendedores optimizan para el puntaje, hay que reentrenar con etiquetas nuevas. Una evaluación similar aplicada a otro tipo de contenido es la de uniopen, que pasó de 0,42 a 0,85 de F1 en moderación personalizando Amazon Nova, un buen contraste sobre qué se logra al adaptar el modelo al criterio propio.

    La lección de fondo es que la evaluación de calidad de contenido con IA funciona cuando combina un modelo generalista, un criterio humano bien medido y una explicación accionable. ¿Tiene tu organización contenido compuesto cuya calidad hoy se juzga a ojo, y los expertos capaces de etiquetar unos pocos miles de ejemplos para empezar?

    Preguntas frecuentes

    ¿Cómo evalúa Amazon la calidad del contenido A+ con IA?

    Amazon renderiza la página completa como una sola captura y un modelo de visión-lenguaje la puntúa de 0 a 10 en cuatro dimensiones: narrativa visual, características, diseño y conversión. Esas salidas, junto con señales de OCR, alimentan un clasificador CatBoost entrenado con etiquetas de expertos. SHAP explica cada decisión y genera recomendaciones para el vendedor.

    ¿Por qué Amazon no afinó el modelo de visión-lenguaje?

    Afinarlo exigiría infraestructura de GPU y, con solo unos miles de ejemplos etiquetados, tendría riesgo de sobreajuste. Amazon mantiene fijos el VLM y la rúbrica, y entrena solo un clasificador CatBoost. Así, actualizar el sistema cuando cambian los criterios o llegan más anotaciones es un trabajo corto que solo usa CPU.

    ¿Qué datos usó Amazon para entrenar el sistema de evaluación?

    Se usaron 5.478 páginas de producto de 10 categorías, calificadas como alta o baja calidad por un experto en marketing de ecommerce y cuatro anotadores profesionales. Las clases quedaron casi equilibradas (49,6% de alta calidad) y el acuerdo de cada anotador con el consenso, medido con kappa de Cohen, estuvo entre 0,845 y 0,915.