Forschungsergebnisse, Forschungsprojekte

Mithilfe von Künstlicher Intelligenz (KI) können Objekte in Bildern und Videos identifiziert werden. Dieses computergestützte Sehen (Computer Vision) lässt sich auch verwenden, um große Mengen visueller Daten zu analysieren.

Forschende um Felix Friedrich vom AIML haben eine Methode namens „LlavaGuard“ entwickelt, mit der sich nun bestimmte Bildinhalte filtern lassen. Das Tool nutzt dazu sogenannte Vision-Language Models (VLMs). Im Gegensatz zu Large Language Models (LLM) wie etwa ChatGPT, die nur Text verarbeiten können, sind Vision-Language Models in der Lage, Bild- und Textinhalte gleichzeitig zu erfassen.

„LlavaGuard“ kann zudem auch sehr komplexe Anforderungen erfüllen, denn er zeichnet sich durch seine Fähigkeit aus, sich an verschiedene gesetzliche Bestimmungen und Anforderungen von Nutzenden anzupassen. So kann das Tool beispielsweise zwischen Regionen unterscheiden, in denen Aktivitäten wie etwa Cannabiskonsum legal oder illegal sind. Zudem kann „LlavaGuard“ bewerten, ob Inhalte für bestimmte Altersgruppen angemessen sind und diese entsprechend einschränken oder anpassen. „Derartige Sicherheits-Tools gab es bislang nur für die Analyse von Texten. Bei der Filterung von Bildern lässt sich derzeit nur die Kategorie ‚Nacktheit‘ umsetzen, nicht aber andere wie etwa ‚Gewalt‘, ‚Selbstverletzung‘ oder ‚Drogenmissbrauch‘“, sagt Friedrich.

Dabei kennzeichnet „LlavaGuard“ problematische Inhalte nicht nur, sondern liefert detaillierte Erläuterungen zu seinen Sicherheitsbewertungen, indem es Inhalte in Kategorien einteilt (zum Beispiel „Hass“, „illegale Substanzen“, „Gewalt“ etc.) und erklärt, warum sie als sicher oder unsicher eingestuft werden. „Diese Transparenz ist das Besondere an unserem Tool und entscheidend für Verständnis und Vertrauen“, erklärt Friedrich. Es mache „LlavaGuard“ damit zu einem unschätzbaren Werkzeug für Forschende, Entwickler:innen und politische Entscheidungsträger:innen.

Die Forschung zu „LlavaGuard“ ist ein integraler Bestandteil des Clusterprojekts „Reasonable Artificial Intelligence (RAI)“ an der TU Darmstadt und verdeutlicht das Engagement der Universität, sichere und ethische KI-Technologien voranzutreiben. „LlavaGuard“ wurde entwickelt, um die Sicherheit großer generativer Modelle zu erhöhen, indem Trainingsdaten gefiltert und die Ausgabe problematischer Motive erläutert und begründet werden, wodurch das Risiko der Erzeugung schädlicher oder unangemessener Inhalte verringert wird.

Die Anwendungsmöglichkeiten von „LlavaGuard“ sind weitreichend. Obwohl das Tool sich derzeit noch in der Entwicklung befindet und sich auf die Forschung konzentriert, kann es bereits in Bildgeneratoren wie etwa „Stable Diffusion“ integriert werden, um die Produktion unsicherer Inhalte zu minimieren. Darüber hinaus könnte „LlavaGuard“ in Zukunft auch für den Einsatz auf Social-Media-Plattformen angepasst werden, um Nutzende durch das Herausfiltern unangemessener Bilder zu schützen und so ein sichereres Online-Umfeld zu fördern.

Über „RAI“
In den letzten zehn Jahren hat Deep Learning (DL) bedeutende Fortschritte in der Künstlichen Intelligenz ermöglicht, dennoch weisen aktuelle KI-Systeme Schwächen auf, darunter mangelndes logisches Denkvermögen, Schwierigkeiten im Umgang mit neuen Situationen und die Notwendigkeit kontinuierlicher Anpassungen. Nicht zuletzt erfordern aktuelle KI-Systeme umfangreiche Ressourcen. „RAI“ strebt die Entwicklung der nächsten Generation von KI an: KI-Systeme, die mit einer „vernünftigen” Menge an Ressourcen auf Basis „vernünftiger Datenqualität” und „vernünftigen” Datenschutzes lernen. Diese sind mit „gesundem Menschenverstand“ und der Fähigkeit, mit neuen Situationen und Kontexten umzugehen, ausgestattet und basieren auf vernünftigen Trainingsparadigmen, die eine kontinuierliche Verbesserung, Interaktion und Anpassung ermöglichen.
„RAI“ wurde im Rahmen der Exzellenzstrategie des Bundes und der Länder zur Vollantragstellung in der Förderlinie „Exzellenzcluster“ aufgerufen. Insgesamt ist die TU Darmstadt mit drei Projektskizzen im Wettbewerb der Exzellenstrategie vertreten. Neben „RAI“ sind dies „CoM2Life“ zu kommunizierenden Biomaterialien und „The Adaptive Mind“ (TAM) aus dem Bereich der Kognitionswissenschaften.

Über die TU Darmstadt
Die TU Darmstadt zählt zu den führenden Technischen Universitäten in Deutschland und steht für exzellente und relevante Wissenschaft. Globale Transformationen – von der Energiewende über Industrie 4.0 bis zur Künstlichen Intelligenz – gestaltet die TU Darmstadt durch herausragende Erkenntnisse und zukunftsweisende Studienangebote entscheidend mit. Ihre Spitzenforschung bündelt die TU Darmstadt in drei Feldern: Energy and Environment, Information and Intelligence, Matter and Materials. Ihre problemzentrierte Interdisziplinarität und der produktive Austausch mit Gesellschaft, Wirtschaft und Politik erzeugen Fortschritte für eine weltweit nachhaltige Entwicklung. Seit ihrer Gründung 1877 zählt die TU Darmstadt zu den am stärksten international geprägten Universitäten in Deutschland; als Europäische Technische Universität baut sie in der Allianz Unite! einen transeuropäischen Campus auf. Mit ihren Partnern der Rhein-Main-Universitäten – der Goethe-Universität Frankfurt und der Johannes Gutenberg-Universität Mainz – entwickelt sie die Metropolregion Frankfurt-Rhein-Main als global attraktiven Wissenschaftsraum weiter. www.tu-darmstadt.de

MI-Nr. 28/2024, Friedrich/cst

---

Originalpublikation:
Lukas Helff, Felix Friedrich, Manuel Brack, Kristian Kersting, Patrick Schramowski: “LLavaGuard: VLM-based Safeguards for Vision Dataset Curation and Safety Assessment”, in: arXiv:2406.05113
DOI: https://doi.org/10.48550/arXiv.2406.05113