KI und kritisches Denken: Was eine MIT-Studie über LLM-gestütztes Schreiben zeigt

Eine MIT-Studie untersucht, wie sich LLM-gestütztes Schreiben auf Gehirnaktivität, Erinnerungsleistung und das Gefühl der Eigenverantwortung auswirkt. Die vorläufigen Befunde zeigen, warum KI nicht unreflektiert, sondern bewusst als unterstützendes Werkzeug eingesetzt werden sollte.
llustrierte Frau denkt zwischen Notizbuch und KI-Laptop nach;

Rückblick auf bereits beschriebene Risiken von KI

In zurückliegenden psychologisch-orientierten Blogposts wurden bereits verschiedentlich Risiken von KI beschrieben und diskutiert, beispielsweise grundlegend bei inneren und zwischenmenschlichen Konflikten, genauer betrachtet hinsichtlich scheinbarer KI-Empathie, im Rahmen von Personalauswahlprozessen oder allgemein bezüglich der Validität, Reliabilität und Objektivität von Hyperautomationsverfahren.

Im aktuellen Blogpost soll anhand eines Studienbeispiels genauer eingegangen werden auf das Risiko der Verminderung von kritisch-reflektiertem Denken bei Aufgaben wie dem Schreiben von Aufsätzen (ähnlich diesem Blogpost).

Die relevante Studie vom Team um Nataliya Kosmyna vom Massachusetts Institute of Technology (MIT) in Cambridge befindet sich aktuell noch im Preprint-Status, sie hat also selbst noch keinen vollständigen kritisch-reflektierten wissenschaftlichen Peer-Review-Prozess durch unabhängige Gutachtende zur Veröffentlichung in einer wissenschaftlichen Fachzeitschrift erhalten.

Trotz dieser Neuheit bewegen sich ihre wissenschaftlichen Zitationszahlen nach Google Scholar bereits in einem als außergewöhnlich hoch einzuordnenden Bereich von 1500+.

„ChatGPT may be eroding critical thinking skills, according to a new MIT study”, „AI chatbots could be making you stupider“ – was steckt dahinter?

Neben den im vorhergehenden Abschnitt erwähnten 1500+ wissenschaftlichen Zitationen wurde die Arbeit der Gruppe um Nataliya Kosmyna auch breit populärwissenschaftlich thematisiert, beispielsweise vom Time Magazine unter der Überschrift „ChatGPT may be eroding critical thinking skills, according to a new MIT study” oder von der BBC unter der Überschrift „AI chatbots could be making you stupider“.

Im Preprint selbst fasst das Team die Kernbefunde unter anderem wie folgt zusammen:

  • Die Teilnehmenden der Studie sollten Essays verfassen und wurden dafür in verschiedene Gruppen eingeteilt, insbesondere die LLM-Gruppe (welche Large Language Models benutzte) und die „Brain-only“-Gruppe (welche „nur“ das eigene Gehirn ohne zusätzliche Hilfsmittel nutzte).
  • Die Teilnehmenden führten zunächst drei Sitzungen mit derselben Gruppenzuordnung durch. In der vierten Sitzung wurden die Herangehensweisen ausgetauscht: Die Teilnehmenden der LLM-Gruppe sollten nun keine zusätzlichen Hilfsmittel mehr verwenden („LLM-to-Brain“) und die Teilnehmenden der „Brain-only“-Gruppe sollten LLMs als zusätzliche Hilfsmittel verwenden („Brain-to-LLM“).
  • Um die gedankliche Beteiligung und mentale Belastung objektiv zu erfassen sowie ein tieferes Verständnis zugrundeliegender Gehirnaktivität zu gewinnen wurde Elektroenzephalografie eingesetzt (EEG, wie wir sie beispielsweise vergleichbar auch im Rahmen der AG Hewig nutzen, siehe zuletzt etwa Forster et al., 2023; Rodrigues et al., 2021; Ziebell et al., 2023).
  • Außerdem wurden die Teilnehmenden beispielsweise nach jeder Sitzung interviewt.
  • Während der ersten drei Sitzungen lieferte die EEG-Analyse robuste Anzeichen dafür, dass sich die LLM-Gruppe und die „Brains-only“-Gruppe in ihren neuronalen Verbindungsmustern deutlich unterschieden, was auf unterschiedliche kognitive Strategien hindeutete: Die EEG-Konnektivität in der LLM-Gruppe war am schwächsten ausgeprägt, während die „Brains-only“ Gruppe die deutlich stärker ausgeprägteren Netzwerkaktivierungen zeigte.
  • Auch in der vierten Sitzung zeigten die Teilnehmenden der „LLM-to-Brain“-Gruppe eine schwächere neuronale Konnektivität wohingegen die Teilnehmenden der „Brain-to-LLM“-Gruppe erneut deutlich stärker ausgeprägtere Aktivierungen aufwies.
  • Zudem blieb die LLM-Gruppe etwa bei der Fähigkeit zurück, aus den Aufsätzen zu zitieren, die sie erst wenige Minuten zuvor verfasst hatte, wogegen die „Brain-only“-Gruppe eine deutlich höhere Erinnerungsleistung erreichte. Zusätzlich war beispielsweise auch das in den Interviews berichtete Gefühl der Eigenverantwortung für die Aufsätze der LLM-Gruppe gering, während es in der „Brain-only“-Gruppe deutlich stärker ausgeprägt war.

Möglichkeiten des Umgangs mit dem Risiko der Verminderung des kritisch-reflektierten Denkens durch KI und der Nutzung möglicher positiver Effekte

Wie bereits in unseren eingangs genannten psychologisch-orientierten Blogposts, appellieren auch Nataliya Kosmyna und ihr Team abschließend an die ethisch-moralische menschliche Verantwortung im Umgang mit KI.

Da sich die Auswirkungen des Einsatzes von LLM auf die Bildung in der breiten Bevölkerung erst allmählich abzeichnen, weisen sie mit ihrer Studie auf den potentiellen Rückgang der Lernfähigkeiten durch KI als ein dringendes Problem hin und hoffen, dass ihre Studie als erster Anhaltspunkt zum Verständnis der kognitiven und praktischen Auswirkungen von KI auf Lernumgebungen dient.

Abschließend sei betont, dass auch Nataliya Kosmyna als Erstautorin der behandelten Studie eine positive produktive Kooperationen zwischen künstlicher Intelligenz und menschlicher Intelligenz durchaus für möglich und wünschenswert hält und in dieser Hinsicht ebenso verschiedene wissenschaftliche Arbeiten im Peer-Review-Verfahren veröffentlicht hat (siehe zum Beispiel das Profil von Nataliya Kosmyna beim MIT Media Lab, ihr Google-Scholar-Profil oder auch den Wikipedia-Beitrag zu Nataliya Kosmyna), etwa im Rahmen des International BCI Meetings 2021, bei dem der Autor dieses Blogposts ebenfalls involviert war (Huggins et al., 2022; Han et al., 2022).

Für die Zukunft sind im Projekt Hyko daher bereits weitere Blogposts in Planung, um ein gründliches Bild der Möglichkeiten von KI-Nutzung aus psychologischer Sicht noch weiter ausgearbeitet darzustellen.

Sie beschäftigen sich auch mit der Frage, wie KI verantwortungsvoll in Arbeitsprozesse integriert werden kann?

Literatur

  • Forster, A., Rodrigues, J., Ziebell, P., Sanguinetti, J. L., Allen, J. JB., & Hewig, J. (2023). Transcranial focused ultrasound modulates the emergence of learned helplessness via midline theta modification. Journal of Affective Disorders, 329, 273–284. https://doi.org/10.1016/j.jad.2023.02.032

  • Han, Y., Ziebell, P., Riccio, A., & Halder, S. (2022). Two sides of the same coin: Adaptation of BCIs to internal states with user-centered design and electrophysiological features. Brain-Computer Interfaces, 9(2), 102–114. https://doi.org/10.1080/2326263X.2022.2041294

  • Huggins, J. E., Krusienski, D., Vansteensel, M. J., Valeriani, D., Thelen, A., Stavisky, S., Norton, J. J. S., Nijholt, A., Müller-Putz, G., Kosmyna, N., Korczowski, L., Kapeller, C., Herff, C., Halder, S., Guger, C., Grosse-Wentrup, M., Gaunt, R., Dusang, A. N., Clisson, P., … Aarnoutse, E. (2022). Workshops of the eighth international brain–computer interface meeting: BCIs: the next frontier. Brain-Computer Interfaces, 9(2), 69–101. https://doi.org/10.1080/2326263X.2021.2009654

  • Rodrigues, J., Weiß, M., Hewig, J., & Allen, J. JB. (2021). EPOS: EEG processing open-source scripts. Frontiers in Neuroscience, 15, 660449. https://doi.org/10.3389/fnins.2021.660449

  • Ziebell, P., Rodrigues, J., Forster, A., Sanguinetti, J. L., Allen, J. JB., & Hewig, J. (2023). Inhibition of midfrontal theta with transcranial ultrasound explains greater approach versus withdrawal behavior in humans. Brain Stimulation, 16(5), 1278–1288. https://doi.org/10.1016/j.brs.2023.08.011