Betrachten Sie ChatGPT wie eine Online-Community und Sie sind startklar

Wenn man in den Mainstream-Medien und Wissenschaftsmagazinen liest, fällt es schwer, nicht in den kollektiven Rausch zu verfallen, dass generative KI-Systeme wie ChatGPT einen «Paradigmenwechsel» in der Art und Weise herbeiführen, wie wir mit Informationen im Allgemeinen und der Suche im Besonderen arbeiten. Einige Wissenschaftler gehen sogar so weit, die sich abzeichnende weite Verbreitung von generativen KI-Systemen wie ChatGPT mit den gesellschaftlichen Veränderungen zu vergleichen, die durch die Einführung von Schreibmaschinen oder sogar die Entstehung der Schriftsprache selbst hervorgerufen wurden (LMU 2023). Es wird erwartet, dass ChatGPT im Unterricht eingesetzt wird, «ob es mir gefällt oder nicht, ob ich mich sicher fühle oder nicht, dies verändert unsere Landschaft und unseren Informationsraum.»

«Sei vorsichtig – du weisst nie, was du bekommst!» ist ein wichtiger Ratschlag, wenn man sich mit Online-Communities und ChatGPT-ähnlicher KI beschäftigt.

Die Leistung von ChatGPT ist insofern faszinierend, als dass es manchmal Antworten produziert, die so ausgefeilt sind, dass sie aussehen, als wären sie von erfahrenen menschlichen Autoren verfasst worden. Zu anderen Zeiten produziert ChatGPT Texte, die aufgrund ihrer autoritären Stimme weitgehend überzeugend erscheinen, aber bei näherer Betrachtung auseinanderfallen, so dass einige der Texte völliger Unsinn sein können. Die Literatur ist voll von glorreichen Beispielen (Knight 2022), und es werden immer mehr. ChatGPT kann auch falsche Informationen produzieren, wie z. B. die Titel von Veröffentlichungen, die es gar nicht gibt. Die Rechenprozesse, die diese Falschinformationen produzieren, werden oft als Halluzinationen anthropomorphisiert, was bedauerlich ist, da es die Tatsache herunterspielt, dass das System nicht richtig funktioniert. Aufgrund dieser falschen Informationen wurden Wissenschaftler um Kopien von wissenschaftlichen Arbeiten gebeten, die sie nie geschrieben haben (z. B. Lemire 2023). Als ich ChatGPT nach den fünf wichtigsten Veröffentlichungen fragte, die ich zum verkörperten Informationsverhalten verfasst hatte, erhielt ich fünf Referenzen, die zwar relevant aussahen, aber ebenfalls nicht existierten. Als ich die Abfrage ein Jahr später, im Januar 2024, wiederholte, gab sich ChatGPT zunächst zurückhaltend («Es tut mir leid, aber ich kann keine Echtzeit- oder spezifischen Listen von Forschungsarbeiten liefern»), aber nach einigem Nachfragen lieferte es zwei Referenzen, die überzeugend aussahen, aber auch hier existiert keine von ihnen tatsächlich.

Ein Werkzeug, keine Quelle

Es ist wichtig, komplexen Systemen wie Expertensystemen oder generativen KI-Systemen wie ChatGPT einen Sinn zu geben, weil sie den Menschen helfen, ihre Erwartungen in Bezug auf Wahrhaftigkeit, Genauigkeit und Verantwortung zu steuern. Entscheidend ist, dass sich die Menschen nicht immer bewusst sind, dass sie ChatGPT oder ähnliche generative KI-Produkte verwenden, da die Technologie tief in vertraute Produkte integriert ist, von Suchmaschinen bis hin zu Textverarbeitungsprogrammen.

Wolfram (2023) liefert eine gründliche wissenschaftliche Untersuchung der inneren Funktionsweise von ChatGPT-ähnlichen Systemen, aber nur sehr wenige der unzähligen Menschen, die ChatGPT nutzen, werden die Abhandlung lesen, ganz zu schweigen von den anspruchsvollen mathematischen Konzepten. Smith (2023) zitiert die häufig vertretene Ansicht, dass «[ChatGPT] ein Werkzeug ist, keine Quelle«, wobei der Vorschlag, ChatGPT als Werkzeug zu betrachten, verwirrend sein könnte, da wir von Werkzeugen erwarten, dass sie richtig funktionieren, wenn sie richtig benutzt werden. Oder, um den Punkt zu betonen, den ich zuvor gemacht habe: Werkzeuge halluzinieren nicht.

Im Folgenden werde ich eine Möglichkeit anbieten, die Leistung von ChatGPT zu verstehen, indem ich sie mit der allgemeineren Erfahrung des Engagements in Online-Communities vergleiche. Der Ansatz ist in vielerlei Hinsicht sinnvoll, unter anderem auch deshalb, weil grosse Sprachmodelle (Large Language Models, LLMs) Textmuster wiederverwenden können, die sie aus Beispielen gelernt haben, die sie aus Online-Community-Diskussionen entnommen haben, in der Regel ohne um Erlaubnis zu fragen.

Wie Menschen ChatGPT nutzen

In vielerlei Hinsicht ähnelt ChatGPT dem Umgang mit Online-Communities. Wenn wir eine Online-Community wie ein Informationssystem betrachten (z. B. Schwabe und Prestipino 2005), können Kriterien der Informationsqualität wie Vollständigkeit, Struktur, Personalisierung und Aktualität der Informationen verwendet werden, um die Qualität der Informationen zu messen, die Online-Communities als Antwort auf Anfragen (Teilnehmerfragen) zurückgeben.

Als ich untersuchte, wie Mitglieder von Online-Communities auf Anfragen reagieren, stellte ich Verhaltensmuster in Online-Communities fest, die weit über ihre dokumentierte Fähigkeit als Informationssysteme hinausgehen (Lueg 2006). Insbesondere gingen die Mitglieder von Online-Communities auf die Anfragen von Informationssuchenden oft auf eine Art und Weise ein, die der eines qualifizierten Vermittlers ähnelt (Lueg 2007). Ich habe die Begriffe «Vermittlung» und «Erweiterung» eingeführt, um das Phänomen zu beschreiben, dass die Mitglieder von Online-Communities den Informationssuchenden oft dabei helfen, ihren Informationsbedarf, den sie bei der Kontaktaufnahme mit der Online-Community geäußert haben, zu verstehen und oft auch neu zu überdenken.

Während das Engagement in Online-Communities oft qualitativ hochwertige Informationen in Bezug auf Vollständigkeit, Struktur, Personalisierung und Aktualität liefert, können Community-Mitglieder auch Informationen liefern, die veraltet, schlichtweg falsch und/oder absichtlich irreführend sind. So haben Lee et al. (2022) im Zusammenhang mit Fandom eine Vielzahl von Falsch-/Desinformationen festgestellt, wie z. B. Beweiscollagen, Desinformation, spielerische Falschdarstellung und die Weiterverbreitung von entlarvten Inhalten, die auch in anderen Zusammenhängen beobachtet wurden, z. B. in der Politik, im Gesundheitswesen oder bei Katastrophen. Die von den Forschern untersuchte Online-Community verfügte zwar über einige Taktiken, um die Auswirkungen von Fehlinformationen/Desinformationen abzuschwächen, doch ist dies eine Erinnerung daran, dass je nach spezifischem Kontext Vorsicht geboten ist, wenn Informationen von Online-Communities betrachtet werden. Dies ist besonders wichtig, wenn die Informationssuchenden nicht über eigenes Fachwissen verfügen.

Wenn man die Art und Weise, wie Menschen mit ChatGPT umgehen, mit der Art und Weise vergleicht, wie sie mit Online-Gemeinschaften umgehen, könnte dies den Menschen helfen, die komplexe Computertechnologie zu verstehen und ihre Erwartungen in Bezug auf Wahrhaftigkeit, Genauigkeit und Verantwortung zu steuern. Letzteres scheint besonders relevant zu sein, da niemand von einer Online-Community erwarten würde, dass sie die Verantwortung für die von ihr bereitgestellten Informationen übernimmt, während die Anthropomorphisierung von ChatGPT als vertrauenswürdiger «Experte» dazu führen könnte, dass dies wider besseres Wissen tatsächlich geschieht. Wie auch andere Expertensysteme sollte ChatGPT nicht als verlässlicher Experte gesehen werden, der die Informationsprobleme löst, sondern bestenfalls als ein Entscheidungshilfesystem, das immer noch erhebliches Wissen auf Seiten des Informationssuchenden erfordert.

Referenzen

1. Ritter, W. (2022). ChatGPT’s Most Charming Trick Is Also Its Biggest Flaw. Wired, 7 Dec 2022. https://www.wired.com/story/openai-chatgpts-most-charming-trick-hides-its-biggest-flaw/
2. Lee, J. H., Santero, N., Bhattacharya, A., May, E., & Spiro, E. (2022). Gemeinschaftsbasierte Strategien zur Bekämpfung von Fehlinformationen: Learning from a popular culture fandom. Misinformation Review. Harvard Kennedy School. https://doi.org/10.37016/mr-2020-105
3. Lemire, D. (2023) Tweet vom 6. März 2023. https://twitter.com/lemire/status/1632823733617324033
4. LMU (2023). ChatGPT: Einschätzungen von LMU- Forschenden. Blog-Eintrag vom 20.02.2023 https://www.lmu.de/de/newsroom/newsuebersicht/news/chatgpt-einschaetzungen-von-lmu-forschenden.html
5. Lueg, C. (2006). Mediation, Expansion und Unmittelbarkeit: Wie Online-Communities den Informationszugang im Tourismussektor revolutionieren. Proc ECIS 2006. Göteborg, Schweden. https://aisel.aisnet.org/cgi/viewcontent.cgi?article=1106&context=ecis2006
6. Lueg, C. (2007). Querying Information Systems or Interacting with Intermediaries? Towards Understanding the Informational Capacity of Online Communities. Proc ASIS&T 2007, Milwaukee WI, USA. https://asistdl.onlinelibrary.wiley.com/doi/10.1002/meet.1450440249
7. Schwabe, G., Prestipino, M., (2005). Wie Tourismusgemeinschaften die Qualität von Reiseinformationen verändern können. Proc. ECIS 2005. https://aisel.aisnet.org/cgi/viewcontent.cgi?article=1147&context=ecis2005
8. SinhaRoy, S. (2024). Ist ChatGPT ein Lügner? Umfrage untersucht die Einstellung von Bibliotheksfachleuten gegenüber dem KI-gesteuerten Chatbot. Amerikanische Bibliotheken, Januar 20, 2024. https://americanlibrariesmagazine.org/blogs/the-scoop/is-chatgpt-a-liar/
9. Smith, C. (2023). Informationskompetenz für das ChatGPT-Zeitalter. Was Bibliotheksmitarbeiter über generative KI wissen sollten. Amerikanische Bibliotheken, 25. Juni 2023. https://americanlibrariesmagazine.org/blogs/the-scoop/information-literacy-chatgpt/
10. Wolfram, S. (2023). Was macht ChatGPT … und warum funktioniert es? Feb 14, 2023. https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/