Ex-insider de Facebook revoluciona la moderación de contenido con IA que procesa 40 millones de revisiones diarias

Brett Levenson llegó a Facebook en 2019 pensando que podría solucionar los problemas de moderación de contenido con mejor tecnología. La realidad le demostró que el problema era mucho más profundo: los revisores humanos tenían apenas 30 segundos para evaluar contenido flagueado usando un manual de 40 páginas traducido automáticamente, y sus decisiones tenían una precisión de apenas 50% - prácticamente como lanzar una moneda al aire.

"Era como tirar una moneda si los revisores humanos podían realmente aplicar las políticas correctamente, y esto era muchos días después de que el daño ya había ocurrido", explicó Levenson a TechCrunch. Esta frustración lo llevó a fundar Moonbounce, startup que acaba de recaudar $12 millones en una ronda liderada por Amplify Partners y StepStone Group.

Moonbounce ha desarrollado un sistema de IA para moderación de contenido en tiempo real que procesa más de 40 millones de revisiones diarias y sirve a más de 100 millones de usuarios activos. Su modelo de lenguaje grande (LLM) puede evaluar contenido, proporcionar una respuesta en menos de 300 milisegundos y tomar acciones inmediatas: desde ralentizar la distribución hasta bloquear contenido de alto riesgo al instante.

La plataforma ya trabaja con empresas como Channel AI, Civitai, Dippy AI y Moescape, abarcando tres verticales principales: aplicaciones de citas con contenido generado por usuarios, compañías de IA que crean personajes o compañeros virtuales, y generadores de imágenes con IA. Según el head of trust and safety de Tinder, este tipo de servicios basados en LLM han logrado una mejora de 10 veces en la precisión de detección.

Cómo implementar moderación de contenido inteligente en tu empresa

La experiencia de Levenson en Facebook y el éxito de Moonbounce ofrecen lecciones valiosas para cualquier empresa que maneje contenido generado por usuarios o sistemas de IA:

Adopta el concepto de "política como código": En lugar de documentos estáticos de políticas, convierte tus reglas en lógica ejecutable y actualizable que se integre directamente con los sistemas de aplicación. Esto elimina la interpretación humana inconsistente y reduce drásticamente los tiempos de respuesta.

Implementa moderación proactiva, no reactiva: Los sistemas tradicionales actúan días después del daño. La moderación de contenido con IA debe funcionar en tiempo real, evaluando cada pieza de contenido en el momento de su creación o publicación.

Considera la moderación como ventaja competitiva: Como señala Levenson, "la seguridad puede ser realmente un beneficio del producto". Las empresas están descubriendo formas innovadoras de usar esta tecnología para hacer de la seguridad un diferenciador y parte de su propuesta de valor.

Establece múltiples niveles de acción: No todo debe ser binario (permitir/bloquear). Implementa acciones graduales como ralentizar la distribución para revisión humana posterior, redirigir conversaciones problemáticas, o modificar prompts en tiempo real para guiar hacia respuestas más seguras.

Evalúa proveedores externos especializados: Con la presión legal y reputacional creciente sobre las empresas de IA, muchas están buscando ayuda externa para fortalecer su infraestructura de seguridad. Un tercero puede ofrecer objetividad sin el contexto que podría sesgar al sistema interno.

La próxima frontera de Moonbounce es el "iterative steering" - en lugar de rechazos contundentes ante temas sensibles, el sistema interceptará conversaciones y las redirigirá, modificando prompts en tiempo real para empujar hacia respuestas más constructivas. Esta capacidad surge como respuesta directa a casos como el suicidio de un adolescente de Florida en 2024 que se obsesionó con un chatbot de Character AI.

La moderación de contenido con IA ya no es solo una medida defensiva - se está convirtiendo en una ventaja competitiva esencial. ¿Está tu empresa preparada para hacer de la seguridad parte central de su propuesta de valor?