De gevolgen van ChatGPT en andere Large Language Models (LLM’s) voor wetenschappelijk onderzoek zijn groot. ChatGPT kan niet alleen worden gebruikt om papers te schrijven, maar bijvoorbeeld ook om onderzoekshiaten aan te wijzen, programma's te schrijven, bestaande teksten te herzien en zoekopdrachten uit te voeren. Hoe moeten wetenschappers omgaan met deze, mogelijk ontwrichtende, nieuwe technologie? Hierop probeert Claudi Bockting, hoogleraar Klinische psychologie in de Psychiatrie en co-directeur van het Centre for Urban Mental Health van de UvA, met interdisciplinair onderzoeksteam een antwoord te vinden in de Nature-publicatie. Ze schreef het artikel samen met Evi-Anne van Dis, postdoc bij de afdeling Psychiatrie van Amsterdam UMC, Jelle Zuidema en Robert van Rooij van het Institute for Logic, Language and Computation (ILLC) van de UvA, en Johan Bollen van Indiana University.

‘Met elkaar kwamen we al snel tot de conclusie dat het geen optie is om de technologie proberen te verbieden. Op korte termijn zal GPT overal gebruikt worden en mogelijk zelfs geïntegreerd zijn in tekstverwerkingsprogramma’s’, aldus Bockting.

Misleidende output

Van Dis, Bollen, van Rooij, Zuidema en Bockting verwachten dat het gebruik van ChatGPT op verschillende manieren een bedreiging kan zijn voor de wetenschappelijke praktijk. Met name de nauwkeurigheid van de chatbot, of beter gezegd het gebrek daaraan, is een punt van zorg. De onderzoekers legden ChatGPT tal van vragen en taken voor, waar bepaald niet altijd het gewenste resultaat uit voortkwam. Van Dis: ’ChatGPT antwoordde soms met onjuiste of misleidende teksten, bijvoorbeeld op de vraag hoeveel patiënten met een depressie na behandeling terugvallen. ChatGPT antwoordde dat behandeling over het algemeen langdurig is, wat min of meer betekent dat terugval weinig voorkomt. Uit wetenschappelijk onderzoek weten we echter dat terugval kan oplopen tot 51% in het eerste jaar na de behandeling.’

Vijf aandachtspunten

In hun Nature-artikel formuleren de onderzoekers vijf aandachtspunten voor de wetenschap bij het gebruik van ChatGTP en andere LLM’s:

1. Houd vast aan menselijke checks op de output van LLM’s;
2. Stel binnen de wetenschappelijke gemeenschap met elkaar accountability-regels op, gericht op transparantie, integriteit en eerlijkheid;
3. Investeer in betrouwbare en transparante Large Language Models, in handen van onafhankelijke non-profitorganisaties;
4. Omarm de voordelen van AI. Als LLM’s betrouwbaarder en transparanter worden, kunnen ze ook vele mogelijkheden bieden voor de wetenschap - bijvoorbeeld om de almaar toenemende werkdruk te verminderen. Daarbij moet echter wel een afweging worden gemaakt tussen de voordelen van AI en het verlies van autonomie;
5. Trek het debat breder. De auteurs raden onderzoeksgroepen aan om ChatGPT intern te bespreken. Daarnaast moet de wetenschappelijke gemeenschap ChatGPT bespreken met  relevante partijen, van uitgevers tot ethici, het liefst in de vorm van een internationale top. De auteurs benoemen in hun Nature-artikel tien vragen die daarbij als leidraad kunnen dienen.

‘We roepen op tot een wereldwijd debat dat we (blijvend) moeten voeren over de vraag hoe AI-technologie een positieve game-changer voor de wetenschap kan worden. Uiteindelijk moet dit leiden tot de ontwikkeling van concrete en praktische richtlijnen voor onderzoekers’, zegt Bockting tot besluit.

Publicatiegegevens

Eva van Dis, Johan Bollen, Willem Zuidema, Robert van Rooij & Claudi Bockting: ‘ChatGPT: five priorities for research. Conversational AI is a game-changer for science. Here’s how to respond’, in: Nature (9 februari 2023). https://doi.org/10.1038/d41586-023-00288-7