Förderung von Vertrauen und Sicherheit in der Gaming-Community
Die Gaming-Branche wächst und erreicht einen deutlichen Aufschwung. Die 187,7 Milliarden Dollar schwere Industrie ist mit 3,4 Milliarden Spielern weltweit größer als die globale Musik-, Film- und On-Demand-Unterhaltungsbranche zusammen. Während die Gaming-Community weiter wächst und die Spieler mehr denn je miteinander vernetzt sind, nehmen gleichzeitig die Risiken zu, denen die Spieler ausgesetzt sind. Da Online-Gaming zu einer neuen sozialen Plattform wird, gibt es viele Faktoren, die Sie bei Ihrer Vertrauens- und Sicherheitsstrategie berücksichtigen müssen:
- Millionen von Benutzern können alte, auf Menschen basierende Moderationsdienste überfordern
- nutzergenerierte Inhalte (UGC), darunter 3D-Modelle und Level-Skripte
- Sprach- und Video-Chat
- neue Gesetzgebung
Spieleentwicklungsunternehmen investieren große Mengen an Ressourcen, um Benutzer vor unangemessenem und schädlichem Material zu schützen. Die Sicherung eines ständig wachsenden Spiele-Ökosystems mit Unmengen an nutzergenerierten Inhalten hat sich als enorme Herausforderung erwiesen. Gaming-Unternehmen versuchen, den besten Weg zu finden, um ein ausgewogenes Verhältnis zwischen der Bereitstellung von fesselnden, vernetzten Erlebnissen der nächsten Generation und der Einhaltung von Verbraucherschutzgesetzen zu finden.
An dieser Stelle kommen Dienste zur Inhaltsmoderation ins Spiel. Diese Dienste sind ein Tool, das Spieleentwickler bei der Entwicklung und Umsetzung einer effektiven Sicherheitsstrategie zum Schutz von Online-Communities nutzen können, ohne dabei das Engagement und die Kreativität einzuschränken.
Stef Corazza, Leiter des Roblox-Studios bei Roblox, sagt in diesem Video der letzten Game Developers Conference (GDC), dass generative KI (GenAI) Menschen dabei helfen kann, die Spielumgebung effektiv zu überwachen. Roblox bietet beispielsweise Echtzeitübersetzung und Chatmoderation, „um sicherzustellen, dass die Inhalte koscher und ungiftig sind." Solche Arbeiten seien nichts für Menschen, sagt er:„Wenn man schädliches Verhalten innerhalb von 100 Millisekunden erkennen muss, kann ein Mensch das nicht schaffen."
Aufbau der idealen Vertrauens- und Sicherheitsplattform
Wenn Sie über das optimale Vertrauen und die Sicherheit nachdenken, die für die Spieleentwicklung erforderlich sind, muss Ihr Tool für die Inhaltsmoderation auf datenbasierten Entscheidungen, dem Wohlbefinden der Moderatoren und dem Durchsatz der moderierten Inhalte aufbauen. Das Tool sollte sich an verschiedene Produktrichtlinien und Inhalts-Toleranzstufen anpassen, während es Informationen aus vielen Datenpunkten sammelt und Analysen durchführt. Es gibt fünf grundlegende Bausteine einer Plattform zur Inhaltsmoderation, die berücksichtigt werden sollten:
- Richtlinien und Vorschriften: die Eckpfeiler jeder Plattform als Community-Regeln
- Automatisierte Moderationspipeline: Hilft dabei, eingehende Inhalte mithilfe von künstlicher Intelligenz (KI) zu automatisieren und als anstößig zu kennzeichnen, den Moderationsprozess zu beschleunigen und die menschliche Interaktion mit Inhalten zu minimieren (oder ganz zu verhindern)
- Menschliche Moderatoren: Für die Kennzeichnung, Überprüfung und Lösung von Grenzfällen sind immer noch Menschen erforderlich, selbst in Unternehmen auf fortgeschrittenem Niveau.
- Datenanalyse: Hilft, die Inhalte zu verstehen und liefert Leistungs- und Genauigkeitsmetriken
- Systemmanagement: Hier können Sie das gesamte System steuern, konfigurieren und betriebliche Einblicke gewinnen.
Je nachdem, wo das Gaming-Unternehmen bei der Umsetzung dieser grundlegenden Aspekte steht, kann es einer von drei Vertrauens- und Sicherheitsstufen zugeordnet werden:
- Anfänger: einfache menschliche Moderation, keine Erkennungstools für schädliche Inhalte, Richtlinien und Vorschriften stecken noch in den Kinderschuhen, viele unangemessene Inhalte
- Mittel: einfache KI-Erkennungstools und ein gewisses Maß an Community-Richtlinien vorhanden
- Fortgeschritten: unternehmenseigene Plattform und ausgereifte Richtlinien, eine große Anzahl von Moderatoren, Investitionen in trainierte KI-Modelle, die meisten schädlichen Inhalte werden gelöscht, bevor sie jemand oder zumindest die meisten Benutzer sehen können
Für ein Unternehmen, das in seiner Vertrauens- und Sicherheitsstrategie als "fortgeschritten" gilt, ist dies ein Beispiel dafür, wie die Plattform zur Moderation von Inhalten aussehen kann:
Das Potenzial von KI und menschlicher Expertise
Mit dem Boom nutzergenerierter Inhalte wurde die KI zu einem wichtigen Moderationstool für Spieleunternehmen. Sie kann jedoch nicht allein moderieren - sie braucht Regeln und Modelle, um ethisch zu funktionieren. Um eine vorhersehbare Effektivität zu erzielen, müssen Unternehmen ein hybrides Modell aus menschlicher und KI-Moderation auf ihrer Plattform einsetzen. Wenn dem System einer der oben genannten Bausteine fehlt oder es andere Einschränkungen hat, muss der Mensch eingreifen und das System unterstützen, indem er entweder Verstöße manuell kennzeichnet oder die Entscheidungen selbst trifft. In dieser Phase ist es wichtig zu verhindern, dass Menschen ständig mit sehr expliziten Inhalten konfrontiert werden.
Nico Perony, Leiter der KI-Forschung bei Unity, ist der Meinung, dass Moderation unerlässlich ist und dass die Zusammenarbeit mit der Technologie ein effektiver Weg ist, diesen Prozess anzugehen. In unserem GDC-Panel sagte er, dass Unity KI und maschinelles Lernen einsetzt, um toxische Kommentare in Gaming-Umgebungen aufzuspüren. "Wir nutzen KI, um menschliche Moderatoren zu unterstützen, nicht nur um schlechtes Verhalten zu signalisieren, sondern auch und vor allem, um positives Verhalten und positives Spiel zu fördern."
Es gibt verschiedene KI-Lösungen auf dem Markt, die dieses Problem lösen können. Um dieses "fortgeschrittene" Niveau zu erreichen, müssen Unternehmen diese generischen Lösungen jedoch wahrscheinlich an ihre eigenen Bedürfnisse anpassen. KI kann zur Verbesserung der Metadaten eingesetzt werden, um Menschen bessere Entscheidungen zu ermöglichen und die Exposition gegenüber expliziten Inhalten zu vermeiden. Diese Lösungsmechanismen sollten Inhalte sicher an den am besten geeigneten menschlichen Agenten weiterleiten, um ein ausgewogenes Verhältnis zwischen Moderationsgeschwindigkeit und -genauigkeit zu gewährleisten.
Ein Blick in die Zukunft
Online-Spiele bieten Spielern und der Community die Möglichkeit, unvergessliche und angenehme Erlebnisse zu haben, insbesondere in einer Zeit, in der traditionelle soziale Interaktionen nicht möglich sind. Einen völlig unmoderierten Raum zuzulassen, ist eine leichtsinnige Praxis. Es ist jedoch nicht einfach, den Wunsch der Nutzer, an ihren eigenen Inhalten teilzuhaben, mit der Bereitstellung eines sicheren Ökosystems für die Community in Einklang zu bringen. Spieleentwickler tragen eine wichtige Verantwortung, die über die Unterhaltung hinausgeht: Sie müssen ihre Online-Communities vor potenziell schädlichen Inhalten schützen. Mit der richtigen Kombination aus Community-Richtlinien und ethischer KI kann eine effektive Plattform zur Inhaltsmoderation eingeführt werden, die einen sicheren Raum für alle bietet.
