Lezers zijn niet in staat om fictie van kunstmatige intelligentie te onderscheiden van verhalen die door mensen zijn geschreven. Bovendien worden AI-teksten objectief gezien vaak als beter en meeslepender beoordeeld, hoewel lezers tegelijkertijd vasthouden aan een sterk vooroordeel tegen machinaal gegenereerde literatuur. Dat blijkt uit het onderzoek ‘Bot or not: Can people tell the difference between stories written by a human or by an AI system?’. De studie, uitgevoerd door psychologen Sydney Sears en Deena Skolnick Weisberg, is onlangs gepubliceerd in het academische tijdschrift Judgment and Decision Making (Cambridge University Press).
In drie verschillende experimenten werden in totaal ruim 2.500 volwassenen getest op hun perceptie van, en herkenningsvermogen voor, AI-gegenereerde fictie. De uitkomsten werpen een interessant licht op de huidige schrijfkwaliteiten van AI en de menselijke verwachtingen daarvan.
AI scoort hoger op kwaliteit
In de eerste studie kregen deelnemers verhalen voorgelegd. De teksten die door ChatGPT waren geschreven, werden gemiddeld beoordeeld als kwalitatief sterker en meeslepender dan de verhalen van menselijke auteurs.
Sterk vooroordeel tegen AI
Hoewel de AI-verhalen beter scoorden, bleek de framing rondom de auteur cruciaal. Zodra deelnemers verteld werd dat een verhaal door een mens was geschreven (ongeacht of dit daadwerkelijk zo was), gaven ze direct een hogere waardering. Het vertellen dat een tekst door AI was gemaakt, zorgde consequent voor lagere scores.
Onderscheid maken is een blinde gok
In de vervolgstudies kregen lezers zowel menselijke als AI-verhalen te lezen, met de opdracht de bron te raden. Deelnemers bleken de herkomst niet beter te kunnen vaststellen dan puur toeval (kansniveau).
Literaire kennis biedt geen voordeel
Opvallend was dat zelfverklaarde literaire expertise lezers niet hielp om de AI-teksten te ontmaskeren. Enkel ervaring met en inhoudelijke kennis van AI-systemen zélf bleek een positieve invloed te hebben op het correct identificeren van de bron.
De onderzoekers concluderen dat AI-programma’s inmiddels creatief werk kunnen genereren dat door het publiek als minstens zo goed – of zelfs beter – wordt ervaren dan het werk van menselijke auteurs. Tegelijkertijd toont de studie aan dat lezers sterk onderschatten waartoe AI op dit moment in staat is op het gebied van creatief schrijven, wat resulteert in een duidelijke bias tegen de automatische verhalenverteller.
