Hate Speech und Fake News automatisch erkennen

Darmstadt/Dieburg – Wie sich Hass und Lügen im Netz systematisch greifen und herausgreifen lassen, damit befasst sich das Forschungsvorhaben „DeTox – Detektion von Toxizität und Aggressionen in Postings und Kommentaren im Netz“ an der Hochschule Darmstadt (h_da). In Zusammenarbeit mit der Meldeplattform „Hessen gegen Hetze“ des Hessen Cyber Competence Center, dem h_da-Forschungszentrum Angewandte Informatik und dem Fraunhofer Institut für Sichere Informationstechnologie SIT in Darmstadt werden automatisierte Erkennungs- und Klassifikationsverfahren von Hate Speech und Fake News unter Anwendung künstlicher Intelligenz untersucht und entwickelt.

Eine zentrale Rolle im Projekt spielt die Erkenntnis, dass soziale Medien zunehmend von Menschen dominiert werden, „die diffamieren, beleidigen und bedrohen“, wie es in der Projektbeschreibung heißt. Dabei werde über automatisch generierte Nachrichten der Eindruck erweckt, dass diese extremen Meinungen in der Bevölkerung weit verbreitet seien. Den Betreibern der Social Media-Plattformen gelinge es nicht mehr, das zu moderieren. „Daher besteht ein dringender Bedarf an Methoden zur automatischen Identifizierung verdächtiger Beiträge“, sagt Prof. Dr. Melanie Siegel.

Für DeTox hat das Fraunhofer SIT ein Software-Tool entwickelt, mit dem sich die Tweets klassifizieren lassen, im Fachjargon „annotieren“ genannt. Damit lässt sich bei den einzelnen Tweets etwa markieren, inwiefern die Äußerung positiv, negativ oder neutral ist, ob es sich um Hate Speech handelt oder inwiefern es strafrechtliche Relevanz hat. Das Tool wird über das Füttern mit Tweets immer weiter trainiert, um relevante Merkmale in Texten automatisch erkennen zu können. “ Sechs studentische Hilfskräfte klassifizieren aktuell tausende von Tweets und erzeugen so einen Datensatz, der der internationalen Forschung zur Verfügung gestellt wird.

Das Projekt läuft noch bis Mitte 2022, doch erste interessante Zwischenerkenntnisse werden bereits sichtbar. Zum Beispiel: „Dass man auch Fake News schon an der Art der Sprache erkennen kann“, nennt Melanie Siegel ein Beispiel und lobt hier die am Projekt beteiligte Doktorandin Mina Schütz, die das herausgearbeitet habe. Zwar lasse sich Hate Speech aufgrund der offensiven Sprache auf den ersten Blick einfacher greifen als eine Lüge, die mehr im Kontext bewertet werden muss. Aber, so unterstreicht Doktorandin Mina Schütz: „Es gibt linguistische Aspekte, die Fake News andeuten.“

Aus den Daten werden im Projekt schließlich Modelle zur automatischen Klassifikation von Hate Speech und Fake News trainiert. Die ersten Modelle wurden auf dem diesjährigen GermEval-Wettbewerb im September 2021 getestet. Sie werden aktuell mit den neuen Daten erweitert und verbessert. Ein erster Demonstrator kann noch in diesem Jahr vorgestellt werden.

Professorin Siegel ist derweil wichtig, dass man mit DeTox keinesfalls ein System zur vollautomatischen Filterung von Hate Speech und Fake-News entwickle. Es gehe vielmehr um ein Tool zur Vorklassifizierung als Hilfe für Personen, die die Ergebnisse dann letztlich bewerten und aussortieren müssen. Menschen, wie sie bei der Meldestelle „Hessen gegen Hetze“ arbeiten. Denn Melanie Siegel findet ganz grundsätzlich: „Wir können es nicht den Plattformen selbst überlassen, Hate Speech und Fake News zu filtern.“

Weiterführende Links

Projekt-Website: projects.fzai.h-da.de/detox/projekt/