Software-Entwicklern fehlt bei KI-Assistenten „gesundes Misstrauen“ - anders als bei Kollegen
Wenn Code programmiert wird, arbeiten oft zwei Software-Entwickler paarweise zusammen. Dies senkt die Fehlerquote, zudem geben die Kollegen ihr Wissen einander weiter. Seit einiger Zeit übernehmen verstärkt KI-Assistenten diese Rolle. Das ist nicht nur von Vorteil, wie eine empirische Studie von Saarbrücker Informatikern zeigt: Programmierer schauen beim Code von KI-Assistenten nicht so genau hin und lernen auch weniger von ihnen. Die Studie wird nun auf einer renommierten Konferenz in Seoul vorgestellt.
Die Qualität von Software steigt, wenn die Programmierung von zwei Personen gemeinsam übernommen wird. In der Fachwelt spricht man von „Pair Programming“. „Entwickler sollen sich dabei gegenseitig inspirieren und problematische Lösungen vermeiden helfen. Sie können zudem ihr eigenes Wissen an Kollegen weitergeben und dafür sorgen, dass möglichst viele Personen im Unternehmen mit dem Quellcode vertraut sind“, erklärt Sven Apel, Informatik-Professor der Universität des Saarlandes. Er hat mit seinem Team untersucht, ob dieses Verfahren genauso verlässlich mit KI-Assistenten funktioniert. In einer empirischen Studie bildeten insgesamt 19 Studierende mit Programmiererfahrung Zweierteams, sechs hatten jeweils einen menschlichen Kollegen, sieben Testpersonen programmierten mit einem KI-Assistenten zusammen. Die methodische Grundlage zur Messung des Wissenstransfers wurde von Niklas Schneider im Rahmen seines Bachelorstudiums entwickelt.
Die Forscher nutzten für die Studie den von Microsoft im Jahr 2021 eingeführten „Github Copilot“, der inzwischen wie ähnliche Produkte anderer Unternehmen von vielen Softwareentwicklern genutzt wird. Er hat die Art und Weise, wie programmiert wird, stark verändert. „Software kann damit viel einfacher entwickelt werden, so dass riesige Mengen Programmcode in kurzer Zeit entstehen. Dies birgt aber auch die Gefahr, dass sich Fehler einschleichen, die möglicherweise erst als Langzeitfolge sichtbar werden“, warnt Sven Apel. Von daher wollte der Informatikforscher mit seinem Team verstehen, welche Mechanismen beim Programmieren in Zweierteams die Arbeit gegenseitig befruchten und was davon auch auf die Zusammenarbeit mit KI-Assistenten übertragbar ist. Die Testteams bekamen dafür eine Programmieraufgabe gestellt, bei der sie Algorithmen entwickeln mussten, um diese dann in eine gemeinsame Projektumgebung zu integrieren.
„Beim gemeinsamen Programmieren spielt der Wissenstransfer eine wesentliche Rolle. Die Entwickler diskutieren dafür kontinuierlich die anstehenden Probleme und suchen gemeinsam nach Lösungen. Dabei werden nicht nur Fragen und Antworten ausgetauscht, sondern es werden am Bildschirm bewährte Verfahren demonstriert oder proaktiv eigene Erkenntnisse weitergegeben“, erklärt Sven Apel. Dieses Wissen wurde, wie die Studie zeigt, auch in den Zweierteams mit KI-Assistenten ausgetauscht, diese agierten jedoch weniger intensiv miteinander und deckten eine geringeres Themenspektrum ab. Vielfach ging es nur um den reinen Programmiercode. „Die menschlichen Teams neigten hingegen dazu, vom Thema abzuschweifen und weniger konzentriert am jeweiligen Problem zu verweilen“, führt der Informatik-Professor als ein Ergebnis an.
Besonders überrascht war das Forscherteam jedoch von einer grundlegenden Beobachtung: „Die Test-Programmierer neigten dazu, die Vorschläge des KI-Assistenten ohne kritische Prüfung anzunehmen. Sie vertrauten darauf, dass der Code wie erwartet funktionieren wird. Zwischen den menschlichen Kollegen gab es hierbei viel häufiger kritische Rückfragen und ein gesundes Misstrauen, ob der jeweilige Partner wirklich alles richtig gemacht hat“, sagt Sven Apel. Der Informatik-Professor geht davon aus, dass sich diese Beobachtung auch auf andere Bereiche übertragen lässt, in denen Menschen einer KI schneller vertrauen als anderen Menschen. „Ich denke, das hat etwas mit Bequemlichkeit zu tun. Man denkt sich bei der KI, ‚das wird schon passen‘, obwohl man eigentlich weiß, dass auch dem virtuellen Assistenten Fehler passieren können“, sagt Apel. Er befürchtet, dass sich dadurch in großen Softwareprogrammen „technische Schulden“ anhäufen, also Kosten, die in Zukunft mehr Aufwand verursachen und die Weiterentwicklung der Software schwieriger und fehleranfälliger gestalten.
Für den Informatikforscher zeigt die empirische Studie, dass KI-Assistenten für die Softwareentwicklung derzeit noch nicht die Vielfalt der menschlichen Zusammenarbeit nachbilden können. „Sie sind sicherlich nützlich für einfache, sich wiederholende Programmieraufgaben. Für komplexere Themen ist der Wissensaustausch wesentlich, der derzeit besser von Mensch zu Mensch funktioniert, eventuell dann in Kombination mit der KI-Assistenz“, so Apel. Es müsse weiter erforscht werden, wie Mensch und KI vertrauensvoll zusammenarbeiten können, ohne dabei den kritischen Blick zu verlieren.
Alisa Welter, Doktorandin bei Informatik-Professor Sven Apel und Erstautorin der Publikation, wird das Forschungsergebnis bei der „40th IEEE/ACM International Conference on Automated Software Engineering“, einer der drei weltweit wichtigsten Konferenzen auf diesem Gebiet, vorstellen. Diese findet vom 16. bis 20. November in Seoul in Südkorea statt. Von etwa 1.200 Einreichungen wurden lediglich 150 wissenschaftliche Publikationen als Konferenzbeiträge akzeptiert. Die empirische Studie wurde von der Europäischen Union im Rahmen des ERC Advanced Grant „Brains On Code” finanziert (siehe dazu die Pressemitteilung vom 26.04.2022): https://saarland-informatics-campus.de/piece-of-news/brains-on-code/
Wissenschaftlicher Ansprechpartner:
Prof. Dr. Sven Apel
Professor für Software Engineering der Universität des Saarlandes
Tel. 0681 302- 57211
Email: apel@cs.uni-saarland.de
Alisa Welter
Doktorandin am Lehrstuhl für Software Engineering
E-Mail: welter@cs.uni-saarland.de
Originalpublikation:
https://www.se.cs.uni-saarland.de/publications/docs/WSD+.pdf
Weitere Informationen:
https://conf.researchr.org/home/ase-2025 - 40th IEEE/ACM International Conference on Automated Software Engineering
https://conf.researchr.org/details/ase-2025/ase-2025-papers/122/An-Empirical-Study-of-Knowledge-Transfer-in-AI-Pair-Programming
https://www.se.cs.uni-saarland.de - Lehrstuhl für Software Engineering
Die semantisch ähnlichsten Pressemitteilungen im idw
