Französische Forschung als Motor für ein neues KI-Modell
Trainiert vom Jean-Zay-Supercomputer und unter Beteiligung zahlreicher CNRS-Forscher wurde gerade das größte je geschaffene multilinguale und Open-Science-Sprachmodell fertiggestellt.
Künstliche Intelligenz betrifft heute viele verschiedene Bereiche. Dazu gehört auch die Textproduktion, die auf Sprachmodellen basiert, die ständig verbessert werden. Das Hauptinteresse dieser Modelle liegt in ihrer Fähigkeit, Wortsequenzen auf Grundlage der vorhergehenden Wörter korrekt vorherzusagen. Das Modell baut subtile Darstellungen von Sätzen und Wörtern auf, die es ihm dann ermöglichen, deren lexikalische Merkmale zu erfassen, auch wenn es die Sprache nicht im engeren Sinne versteht. Diese lexikalischen Repräsentationen werden als „word embeddings“ bezeichnet.
Viele der heute verfügbaren Sprachmodelle weisen jedoch Barrieren auf: Sie sind kompliziert zu untersuchen und die Unternehmen, die sie geschaffen haben, sind nicht vollständig transparent über ihre Gestaltung und Funktionsweise, da diese Tech-Giganten (Google, Microsoft) ihre Kommunikationsgeheimnisse nicht preisgeben. Ein weiteres Problem ist die massive Verwendung des Englischen zulasten anderer Sprachen. Hugging Face, ein von Franzosen in New York gegründetes Start-up-Unternehmen, das eine der weltweit führenden Plattformen für maschinelles Lernen anbietet, hat daher im Sommer 2021 das Projekt BigScience gestartet. Es zielt darauf ab, nach dem Modell der offenen und partizipativen Wissenschaft das größte mehrsprachige und Open-Source-Sprachmodell zu trainieren: Bloom.
Von dem Projekt begeistert, schlossen sich zahlreiche Partner dem Abenteuer an, bis schließlich rund tausend Forscher aus zweiundsiebzig Ländern beteiligt waren. Sie kommen sowohl aus der akademischen Welt als auch aus Unternehmen wie Airbus, Meta AI, Orange Labs, Mozilla oder Ubisoft. Dank der Unterstützung des CNRS, von GENCI und vom IDRIS konnte ein entscheidender Schritt getan werden: Es wurde eine Maschine gefunden, die Bloom trainieren kann. Das CNRS stattete das Projekt mit einer Zuwendung in Form von 5 Millionen Rechenstunden auf dem Jean-Zay-Supercomputer aus, einem der leistungsstärksten in Europa. BigScience und sein Modell Bloom wären ohne die Leistung von Jean Zay nicht möglich gewesen.
BigScience wurde auch vom französischen Staat im Rahmen der nationalen Strategie für KI unterstützt. Das Projekt schafft auch technologische Möglichkeiten für die französische Sprache, die Wirtschaft und den Innovationsmarkt.
Mithilfe dieser verschiedenen Arten der Unterstützung konnte BigScience den Lernprozess von Bloom durchführen. Das Modell nimmt einen Text oder einen Satz auf und behält nur das erste Wort, dann versucht ea, das zweite, dann das dritte usw. zu erraten. Es verfeinert seine Wahrscheinlichkeiten und Statistiken so lange, bis es das erwartete Niveau erreicht hat. Damit dies gelingt, muss Bloom den Vorgang jedoch für eine Textmenge wiederholen, die mehreren Millionen Büchern entspricht. Das erfordert so viele Versuche, dass nur Supercomputer dies in einer angemessenen Zeit schaffen können. Jean Zay trainierte Bloom auf diese Weise vier Monate lang, wobei er dank 400 parallel arbeitender, hochmoderner Grafikprozessoren ein Viertel seiner Gesamtleistung aufbrachte. Während seines Lernprozesses erlangte Bloom die Fähigkeit, 176 Milliarden Parameter in Texten zu verwalten, und arbeitete mit 46 Sprachen gleichzeitig, verteilt auf so unterschiedliche Quellen wie Literatur oder Sportmeldungen.
Später können Interessierte das Modell von Bloom nutzen und abwandeln, um verschiedene KIs zu erstellen. Diese kostenlose Möglichkeit erfordert lediglich eine Vereinbarung über die Art der Lizenz des endgültigen Tools, die eine verantwortungsvolle Nutzung gewährleistet. Schließlich wird es möglich sein, Artefakte aus dem Training zu gewinnen, um reproduzierbare Experimente durchzuführen und so die Forschung an diesen Modellen voranzutreiben, was nur durch einen freien und offenen Zugang zu diesen Schritten möglich ist.
Wissenschaftlicher Ansprechpartner:
CNRS
Originalpublikation:
https://www.wissenschaft-frankreich.de/ingenieurswissenschaften/franzoesische-forschung-als-motor-fuer-ein-neues-ki-modell/
Die semantisch ähnlichsten Pressemitteilungen im idw
