Wie häufig Fake-Profilbilder auf Twitter sind

Hinweis zur Verwendung von Bildmaterial: Die Verwendung des Bildmaterials zur Pressemitteilung ist bei Nennung der Quelle vergütungsfrei gestattet. Das Bildmaterial darf nur in Zusammenhang mit dem Inhalt dieser Pressemitteilung verwendet werden. Falls Sie das Bild in höherer Auflösung benötigen oder Rückfragen zur Weiterverwendung haben, wenden Sie sich bitte direkt an die Pressestelle, die es veröffentlicht hat.

Eine ganze Reihe von Accounts in dem Sozialen Netzwerk X, ehemals Twitter, nutzt Porträts als Accountbilder, die mit Künstlicher Intelligenz erzeugt wurden. | Copyright: RUB, Marquard | Download

Hinweis zur Verwendung von Bildmaterial: Die Verwendung des Bildmaterials zur Pressemitteilung ist bei Nennung der Quelle vergütungsfrei gestattet. Das Bildmaterial darf nur in Zusammenhang mit dem Inhalt dieser Pressemitteilung verwendet werden. Falls Sie das Bild in höherer Auflösung benötigen oder Rückfragen zur Weiterverwendung haben, wenden Sie sich bitte direkt an die Pressestelle, die es veröffentlicht hat.

Jonas Ricker forscht an der Fakultät für Informatik und im Exzellenzcluster CASA daran, wie man KI-generierte Inhalte erkennt. | Copyright: RUB, Marquard | Download

❮ ❯

Das Team stellte die Arbeit am 1. Oktober 2024 in Padua auf dem 27th International Symposium on Research in Attacks, Intrusions and Defenses (RAID) vor.

Die Forschenden der Ruhr-Universität Bochum kooperierten für die Arbeit mit Kollegen des Helmholtz-Zentrums für Informationssicherheit CISPA in Saarbrücken und des Leibniz-Instituts für Sozialwissenschaften GESIS in Köln. Die Arbeiten fanden im Rahmen des Exzellenzclusters Cybersecurity in the Age of Large-Scale Adversaries, kurz CASA, statt.

Tausende von Accounts mit Fake-Profilbildern

„Mithilfe von KI kann man heutzutage täuschend echt aussehende Bilder erzeugen, die in den Sozialen Medien dafür missbraucht werden können, um scheinbar reale Accounts zu erstellen“, erklärt Jonas Ricker. Wie verbreitet solche KI-generierten Profilbilder sind, ist bislang kaum untersucht. Die Forschenden trainierten eine Künstliche Intelligenz darauf, reale von KI-generierten Bildern unterscheiden zu können. Mit diesem Modell analysierten sie automatisiert die Profilbilder von rund 15 Millionen Twitter-Accounts. Die Daten dafür stammten aus März 2023. Alle Accounts, die kein Porträtbild als Avatar nutzten, schlossen die Forschenden aus ihrem Datensatz aus. Etwa 43 Prozent aller Accounts verblieben in der Analyse. 7.723 davon klassifizierte das Modell als KI-generiert. Die Ergebnisse überprüften die Forschenden stichprobenartig auch manuell.

Im nächsten Schritt schaute sich das Team an, wie sich Accounts mit KI-generierten Bildern im Vergleich zu Accounts mit realen Personenbildern auf der Plattform verhielten. Fake-Bild-Accounts hatten im Durchschnitt weniger Follower*innen und folgten auch selbst weniger anderen Accounts. „Auffällig war auch, dass über die Hälfte der Fake-Bild-Accounts erst 2023 erstellt worden ist, teils wurden hunderte Accounts in einigen Stunden aufgesetzt – ein Hinweis, dass es sich nicht um echte Nutzerinnen oder Nutzer handelt“, folgert Jonas Ricker. Neun Monate nach der ersten Datensammlung schauten die Forschenden, ob die Fake-Bild-Accounts und eine gleiche Anzahl von Echt-Bild-Accounts noch aktiv waren und stellten fest, dass über die Hälfte der Fake-Bild-Accounts zu diesem Zeitpunkt von Twitter gesperrt worden war. „Ein weiteres Indiz, dass es sich um Accounts handelt, die unlauter agiert haben“, so Ricker.

Desinformation und politische Propaganda

Die Wissenschaftlerinnen und Wissenschaftler untersuchten darüber hinaus die Inhalte, mit denen die Fake-Bild-Accounts auf Twitter in Erscheinung traten. Dabei zeigten sich einige wiederkehrende Themen, etwa Politik – häufig mit Trump-Bezug –, Covid-19 und Impfungen, der Ukraine-Krieg, Verlosungen oder Finanzen inklusive Kryptowährungen. „Wir können nur mutmaßen, was dahintersteckt“, sagt Jonas Ricker. „Aber es ist davon auszugehen, dass einige Accounts erstellt wurden, um gezielt Desinformationen oder politische Propaganda zu verbreiten.“

In Zukunft will das Team weiter an der automatisierten Erkennung von Fake-Bildern arbeiten, auch von solchen, die mit neueren KI-Modellen erzeugt werden. In der vorliegenden Studie beschränkten sich die Wissenschaftlerinnen und Wissenschaftler auf das Modell „StyleGAN 2“, das der Webseite thispersondoesnotexist.com zugrunde liegt. Mit dieser können unechte Personenbilder mit einem Klick generiert werden. „Wir nehmen an, dass diese Seite oft für das Erzeugen von KI-generierten Profilbildern genutzt wird“, so Ricker. „Denn solche KI-generierten Bilder sind schlechter zurückzuverfolgen, als wenn sich jemand an einem echten Bild einer fremden Person für sein Profil bedient.“

Förderung

Die Arbeiten wurden unterstützt von der Deutschen Forschungsgemeinschaft im Rahmen der Exzellenzstrategie (EXC 2092 CASA – 390781972), vom Bundesministerium für Bildung und Forschung im Rahmen des Grants UbiTrans (16KIS1900), von der Leibniz Association Competition (P101/2020) sowie vom Deutschen Akademischen Austauschdienst.

Wissenschaftlicher Ansprechpartner:
Jonas Ricker
Lehrstuhl für Maschinelles Lernen
Fakultät für Informatik
Ruhr-Universität Bochum
Tel.: +49 234 32 22797
E-Mail: jonas.ricker@ruhr-uni-bochum.de

Originalpublikation:
Jonas Ricker, Dennis Assenmacher, Thorsten Holz, Asja Fischer, Erwin Quiring: AI-Generated Faces in the Real World: A Large-Scale Case Study of Twitter Profile Images, 27th International Symposium on Research in Attacks, Intrusions and Defenses (RAID), Padua, Italy, 2024, Paper Download: https://dl.acm.org/doi/10.1145/3678890.3678922