Métricas de éxito de IA generativa: por qué un college de Filadelfia dejó de medir horas ahorradas y empezó a medir decisiones

Si tu empresa evalúa la IA generativa preguntando "¿cuántas horas nos ahorró?", probablemente esté mirando el lugar equivocado. Esa es la conclusión de tres profesionales del Community College of Philadelphia que estudiaron cómo cambió el trabajo administrativo tras introducir estas herramientas. Su hallazgo central: no hubo agendas vacías ni menos correos, pero sí un cambio real en la forma del trabajo. Para los líderes que definen las métricas de éxito de IA generativa, es una advertencia seria: puedes sentirte decepcionado con una tecnología que sí está funcionando.

El estudio, publicado en MIT Sloan Management Review por Vishal Shah, Andrenna Gibson y Tanika Teagle, es un análisis observacional de ventana fija de cuatro años. Los autores compararon las mismas seis semanas (del 1 de febrero al 15 de marzo) en cuatro años distintos, con la llegada de las herramientas en 2026 frente a los tres años anteriores. Se centraron en tres perfiles de una misma unidad administrativa: líderes ejecutivos, líderes operativos y profesionales de atención directa a estudiantes. La plantilla y las horas de trabajo se mantuvieron estables, así que las diferencias reflejan cambios en cómo se hace el trabajo, no en la capacidad. Y se midió qué tipo de trabajo producían, no la velocidad ni la tasa de automatización.

El patrón general: la coordinación no desapareció, se desplazó. Menos reuniones y más escritura; menos aclaraciones y más primeros borradores claros; menos deliberación de ida y vuelta y más cierre rápido de decisiones. Según el resumen del estudio, cada rol ganó algo distinto: decisión en los ejecutivos, velocidad en los líderes operativos y eficiencia de resolución en quienes atienden a estudiantes. No hubo una métrica de productividad que subiera en todos. Un análisis de keynews.ai lo resume como un desafío a la idea de que la IA generativa reduce las horas trabajadas: pide replantear el éxito más allá de la eficiencia laboral, clave para quien calcula el ROI de la IA generativa.

Cómo redefinir las métricas de éxito de IA generativa en tu organización

El estudio tiene límites que conviene tener presentes: es un solo organismo educativo, es observacional y los autores trabajan dentro de la institución. No prueba causalidad ni ofrece cifras de ahorro. Aun así, el marco es muy útil para cualquier empresa que quiera medir el impacto de la IA con más criterio. Algunas acciones concretas:

Segmenta por rol antes de medir. Un director, un gerente de operaciones y un agente de atención no ganan lo mismo. Define una métrica distinta para cada uno: tiempo hasta la decisión, tiempo de ciclo o casos resueltos al primer contacto.

Compara ventanas idénticas. Elige un periodo representativo y contrástalo con los mismos periodos de años previos, como hicieron los autores. Así aíslas el efecto de estacionalidad.

Observa la composición del trabajo. Pregunta cuánto tiempo se destina a reuniones frente a redacción, y cuántas rondas de aclaración necesita un entregable antes de cerrarse.

Mide la calidad del primer borrador. Si la IA mejora los "primeros pases", hay menos retrabajo aguas abajo, aunque el calendario siga lleno.

Fija la línea base antes del despliegue. Sin datos previos de decisiones, coordinación y resolución, no podrás demostrar nada después.

El error a evitar es convertir el ahorro de tiempo con IA en el único criterio de aprobación. Otros casos recientes apuntan en la misma dirección. Spotify, por ejemplo, duplicó sus cambios de código y descubrió que escribir ya no es el cuello de botella: el esfuerzo se movió de lugar, no desapareció. Y en Anthropic, según un análisis previo, las reuniones suben 20% mientras cambia la contratación de perfiles junior, una muestra de que la IA reconfigura la colaboración en direcciones que una métrica de horas no capta.

Cuándo tiene sentido pedir resultados duros

Nada de esto significa renunciar a las cifras. Hay procesos donde la métrica de tiempo sí es la correcta, como la automatización de tareas repetitivas. Es el caso de Capital One, que redujo 85% los errores de auditoría y pasó una tarea de 5 horas a 3 minutos. La clave es elegir la métrica según el tipo de trabajo que cambia. Si la IA asiste en juicio, redacción y coordinación, lo que debes medir es decisiones cerradas, ciclos acortados y casos resueltos, no solo minutos.

Para los líderes que piensan cuándo adoptar: no esperes a que la agenda se despeje para declarar éxito, y no abandones el piloto porque las horas no bajaron. Define primero qué cambio esperas ver y en quién.

La pregunta que debes hacerte esta semana

Las métricas de éxito de IA generativa más valiosas son las que reflejan cómo cambió la forma de tu trabajo. Antes de tu próxima revisión de resultados, pregunta a cada equipo: ¿qué decisiones se cierran ahora más rápido, qué entregables llegan mejor al primer intento y qué reuniones dejaron de ser necesarias? Si no tienes respuestas, tu problema no es la IA, sino lo que estás midiendo.