Deepfake-Detektor enttarnt Betrüger in Echtzeit
Fraunhofer SIT entwickelt Lösung zur Erkennung von KI-Manipulationen in Videokonferenzen: Demonstrator wird auf der it-sa vorgestellt
Forschende des Fraunhofer-Instituts für Sichere Informationstechnologie SIT in Darmstadt und Heilbronn haben einen Deepfake-Detektor entwickelt, der in Live-Videokonferenzen anzeigen kann, ob sich Personen mit falscher Identität im Call befinden. Ein Video, das die Funktionsweise des Demonstrators anschaulich macht, findet sich unter www.sit.fraunhofer.de/deepfake-detektor. Öffentlich vorgestellt wird die Entwicklung vom 27.-29. Oktober am Stand des Forschungszentrums ATHENE (Halle 6, 416) auf der Fachmesse it-sa in Nürnberg.
Deepfakes werden zunehmend zur realen Gefahr für Unternehmen. Die organisierte Kriminalität nutzt Deepfakes für Betrugszwecke, beispielsweise den CEO Fraud in Live-Videokonferenzen. Hier verschaffen sich Betrüger Zutritt zu Videokonferenzen oder laden verantwortliche Mitarbeitende zu einem Gespräch ein und geben sich dort als Vorgesetzter aus, um beispielsweise Überweisungen zu veranlassen. Dazu ersetzen sie in der Konferenz das eigene Gesicht durch KI-generierte Inhalte. Technologien wie Face Swapping oder komplett KI-generierte Videos und Audios werden zunehmend besser, gut gemachte Deepfakes lassen sich oftmals nicht mehr mit dem menschlichen Auge enttarnen. Um dem entgegenzuwirken, haben Forschende des Fraunhofer SIT einen Deepfake-Detektor entwickelt, der Video-Deepfakes in Echtzeit enttarnen kann.
Entscheidung des Detektors wird nachvollziehbar
Der Deepfake-Detektor des Fraunhofer SIT kann analysieren, welche Gesichter im Bild während einer Videokonferenz zu sehen sind. Pro Gesicht bewertet der Detektor mit einer Punktzahl, wie hoch die Wahrscheinlichkeit ist, dass es sich um Deepfakes handelt. Diese Unterscheidung leistet ein Klassifikationsmodell, wobei die Erkennungsgenauigkeit durch Lichtverhältnisse oder die Übertragungsqualität beeinflusst wird. Je besser Licht und Übertragung, desto genauer kann das Modell erkennen, ob es sich um einen Deepfake handelt oder nicht. Die Forschenden haben das Modell mit authentischen und manipulierten Daten trainiert, sodass der Detektor automatisch selbst zwischen Deepfakes und echten Gesichtern unterscheiden kann.
Darauf aufbauend zeigt ein zweiter Modus des Detektors, worauf sich das Modell bei der Analyse gestützt hat, um die Entscheidung nachvollziehbar zu machen. Über eine Grad-CAM-Analyse (Gradient-weighted Class Activation Mapping) macht der Detektor sichtbar, welche Stellen im Gesicht bzw. welche Bereiche im gesamten Videobild zu der Entscheidung geführt haben. Diese sind als farbige Heatmap hervorgehoben.
Die Entwicklung ist Teil der Forschungsaktivitäten des Fraunhofer SIT am Fraunhofer Heilbronn Forschungs- und Innovationszentrum, Fraunhofer HNFIZ. Der Deepfake-Detektor wird vom 27.-29. Oktober am Stand des Forschungszentrums ATHENE (Halle 6, 416) auf der Fachmesse it-sa in Nürnberg vorgestellt.
Weitere Informationen
Zum Deepfake-Detektor-Erklärvideo: www.sit.fraunhofer.de/deepfake-detektor
Mehr zum Messeauftritt des Fraunhofer SIT auf der it-sa: www.sit.fraunhofer.de/itsa26/
Mehr Infos zu unserer Forschung im Bereich IT-Forensik: www.sit.fraunhofer.de/itforensics
Wissenschaftlicher Ansprechpartner:
Prof. Dr. Martin Steinebach
Ähnliche Pressemitteilungen im idw
