Sistema de Moderación de Contenido — Filtrar contenido ofensivo en texto, audio, imagen y video
El Sistema de Moderación de Contenido es un servicio multimodal que detecta y filtra contenido ofensivo en cuatro tipos de contenido: texto, audio, imágenes y video. Se construyó entre enero y abril de 2025.
En lugar de tratar la moderación como un problema solo de texto, el sistema maneja cada medio con un método adecuado. El texto pasa por una normalización de leetspeak para que las palabras disfrazadas también se detecten. El audio se modera tapando con un pitido solo los segmentos ofensivos, lo que mantiene útil el resto de la grabación. Las imágenes y el video se moderan con OpenAI CLIP.
Construí el backend en Flask que lo une todo: endpoints RESTful de moderación, autenticación por token, rate limiting y registro en base de datos de cada resultado.
Características principales
- Moderación de texto — detecta lenguaje ofensivo, incluidas grafías ofuscadas, mediante normalización de leetspeak
- Moderación de audio — tapa con un pitido solo los segmentos ofensivos y conserva el contexto
- Moderación de imagen y video — clasificación de contenido con OpenAI CLIP
- Registro de moderación — cada resultado se guarda en una base de datos para su revisión
Capacidades de la plataforma
- Endpoints RESTful — una sola superficie de API para todos los tipos de contenido
- Autenticación por token — solo los clientes autorizados pueden enviar contenido
- Rate limiting — protege el servicio del abuso y del uso descontrolado
Arquitectura técnica
Desafíos
- Detectar texto ofensivo ofuscado a propósito (leetspeak)
- Censurar audio sin silenciar ni descartar todo el clip
- Moderar contenido visual, no solo texto
Soluciones
- Normalicé el leetspeak antes de comparar, de modo que las palabras ofuscadas se traten como su grafía normal
- Tapé con un pitido solo los segmentos de audio ofensivos y mantuve intacto el resto del clip
- Usé OpenAI CLIP para moderar imágenes y video