Content-Moderationssystem — Anstößige Inhalte in Text, Audio, Bild und Video filtern
Das Content-Moderationssystem ist ein multimodaler Dienst, der anstößige Inhalte in vier Inhaltstypen erkennt und filtert: Text, Audio, Bilder und Video. Es entstand zwischen Januar und April 2025.
Statt Moderation als reines Textproblem zu behandeln, geht das System mit jedem Medium so um, wie es dazu passt. Text durchläuft eine Leetspeak-Normalisierung, damit verschleierte Wörter trotzdem erkannt werden. Audio wird moderiert, indem nur die anstößigen Abschnitte überpiept werden, sodass der Rest der Aufnahme nutzbar bleibt. Bilder und Videos werden mit OpenAI CLIP moderiert.
Ich habe das Flask-Backend gebaut, das alles zusammenhält: RESTful-Moderationsendpunkte, Token-basierte Authentifizierung, Rate-Limiting und Datenbank-Logging jedes Moderationsergebnisses.
Kernfunktionen
- Text-Moderation — erkennt anstößige Sprache, auch verschleierte Schreibweisen, durch Leetspeak-Normalisierung
- Audio-Moderation — überpiept nur die anstößigen Abschnitte und erhält den umgebenden Kontext
- Bild- & Video-Moderation — Inhaltsklassifikation mit OpenAI CLIP
- Moderations-Logging — jedes Ergebnis wird zur Prüfung in einer Datenbank gespeichert
Plattform-Fähigkeiten
- RESTful-Endpunkte — eine API-Oberfläche für alle Inhaltstypen
- Token-basierte Authentifizierung — nur autorisierte Clients können Inhalte einreichen
- Rate-Limiting — schützt den Dienst vor Missbrauch und ausufernder Nutzung
Technische Architektur
Herausforderungen
- Anstößigen Text erkennen, der absichtlich verschleiert wird (Leetspeak)
- Audio zensieren, ohne den ganzen Clip stummzuschalten oder zu verwerfen
- Visuelle Inhalte moderieren, nicht nur Text
Lösungen
- Leetspeak vor dem Abgleich normalisiert, sodass verschleierte Wörter wie ihre normale Schreibweise behandelt werden
- Nur die anstößigen Audioabschnitte überpiept und den Rest des Clips erhalten
- OpenAI CLIP für die Moderation von Bildern und Videos eingesetzt