Hate Speech-Forschung: „BoTox“ soll strafrechtlich relevante Hasskommentare im Netz automatisiert erkennen und melden
Projekt wird vom vom hessischen Innenministerium mit 292.000 Euro gefördert
Ein Beitrag von Simon Colin
Dienstag, 5. März 2024
ikum
Es wird gepöbelt, gehetzt, gelogen und zu Gewalt aufgerufen: Hass in den sozialen Netzwerken ist ein Massenphänomen geworden. Doch wie lassen sich mögliche Straftatbestände in Hasskommentaren und Fake News automatisiert erkennen, herausfiltern und schneller ahnden? Damit beschäftigt sich das Forschungsprojekt „BoTox“ der Hochschule Darmstadt (h_da) in Kooperation mit der Hochschule Fresenius. Es wird bis 2025 vom hessischen Innenministerium mit 292.000 Euro gefördert.
Rassistische, menschenverachtende und sexistische Beschimpfungen, Shit-Stürme oder auch Bedrohungen sind trauriger Alltag in den sozialen Medien. „Wenn aber Sätze auftauchen wie: Ich habe mir eine Waffe gekauft – dann muss die rote Warnlampe aufleuchten“, sagt Prof. Dr. Melanie Siegel. „Das bedeutet eine mögliche konkrete Gefahr, die strafrechtlich erkannt und automatisch an die richtigen Stellen weitergemeldet werden muss.“ Genau daran arbeiten die Computerlinguistin und ihr Forschungsteam vom Fachbereich Media der h_da aktuell in ihrem Forschungsprojekt „BoTox – Bot- und Kontexterkennung im Umfeld von Hasskommentaren“. Hierzu kooperieren sie mit der Meldestelle „Hessen gegen Hetze“ des Landes Hessen.
„Unser Fokus liegt auf der Erkennung der strafrechtlichen Relevanz von Hasskommentaren“, sagt Prof. Dr. Melanie Siegel. Die Forschenden wollen ein System entwickeln, das automatisch erkennt, wann Textbeiträge und Kommunikationsverläufe mögliche Aspekte wie etwa Beleidigung, Volksverhetzung oder auch den Aufruf zur Gewalt erfüllen. „Wir haben zwölf unterschiedliche Straftatbestände herausgearbeitet“, so die Professorin. Die neue Anwendung soll mit Hilfe automatischen Lernens und künstlicher Intelligenz diese Inhalte nicht nur erkennen, auswerten und vorklassifizieren, sondern sie auch gleich an die Meldestelle „Hessen gegen Hetze“ weiterleiten.
Ziel ist, die Arbeit der Meldestelle zu unterstützen, zu erleichtern und effizienter zu machen. „Damit bei einer Bedrohung schneller agiert werden kann“, sagt die Computerlinguistin. Dafür braucht das Forschungsteam auch juristische Kenntnisse und Grundlagen. Die steuert Prof. Dr. Dirk Labudde von der Hochschule Fresenius in Idstein bei, mit dem Melanie Siegel schon bei früheren Projekten zusammengearbeitet hat. Labudde ist juristischer Gutachter und Professor für digitale Forensik.
Erforschen will das h_da-Team weitere Aspekte. Relevant ist nämlich auch, ob der Hasskommentar von einem Bot, also einem Computerprogramm, oder einem Menschen verfasst wurde. In Zeiten von KI-Anwendungen wie ChatGPT gar nicht so leicht herauszufinden, sagt Siegel. Texte automatisch zu generieren ist wesentlich einfacher geworden. Zwar haben die Entwickler von OpenAI ethische Leitplanken in ihre Software eingebaut, aber die lassen sich umgehen, „wenn man die richtigen Fragen und Aufgaben stellt“, so die Professorin.
Anschauen will sich das Team auch den Kontext, in dem Hass und Hetze auftauchen: Wie verbreitet ist Hassrede insgesamt im Netz und was passiert, wenn User dagegenhalten? Wird es dann besser oder schlimmer? Ist es sinnvoller, die Trolle nicht zu „füttern“, oder sollte man bewusst toxische Aussagen kritisieren? „Was kann man gegen Hasskommentare tun?“, beschreibt die h_da-Expertin den Ansatz.
Um die Software auf die automatische Erkennung von Hassrede und all diese Aspekte zu trainieren, ist eine große Datenmenge nötig. Damit das System überhaupt lernt zu unterscheiden, brauchen die Forschenden eine ausreichend große Anzahl zutreffender Beispiele von Hasskommentaren, aber auch eine Vielzahl unzutreffender Aussagen. Die Daten sollen zudem die Realität abbilden.
Hate Speech, sagt Prof. Dr. Melanie Siegel, wird deutlich häufiger von Männern als von Frauen gepostet. Ultrarechte Gruppierungen sind dabei aktiver als ultralinke, so die Erkenntnis. Auch das müssen die Datensätze widerspiegeln. Wichtig ist ebenso die Bewertungsgrundlage. Drei ihrer studentischen Hilfskräfte lesen dieselben Kommentare und bewerten diese dann. Ist es eine extreme Meinung, beleidigend oder schon volksverhetzend? Fallen die Bewertungen ähnlich aus? „Eine Sisyphos-Arbeit“, sagt Siegel.
Hierbei greifen die Forschenden auf Daten von Social Media-Plattformen wie Telegram, Facebook und Youtube zurück. Jedoch nicht mehr auf X (vormals Twitter), da die Kosten für Forschungslizenzen nicht mehr leistbar sind, sagt die Professorin. Hilfreich sind die Daten der Meldestelle „Hessen gegen Hetze“, die zunehmend bekannter wird. Meldeten Userinnen und User anfänglich rund 2000 Kommentare pro Monat, ist es heute die gleiche Anzahl pro Woche.
Prof. Dr. Melanie Siegel befasst sich als Professorin für semantische Technologien seit 2017 mit Hass und Lügen im Netz und war eine der ersten Wissenschaftlerinnen, die dieses Phänomen im deutschsprachigen Raum intensiv untersucht haben. Die „offensive Sprache im Internet“, so der Fachterminus, ist einer ihrer Forschungsschwerpunkte.