‘Mijn onderzoek onderstreept dat AI‑systemen wezenlijk anders zijn dan mensen’, vertelt Tong. ‘Dat AI‑systemen vloeiende taal kunnen produceren, betekent niet automatisch dat ze taal begrijpen zoals mensen dat doen.’

Tussen de regels door lezen

Metaforen en humor zijn niet simpelweg versieringen van taal. Ze helpen mensen om complexe ideeën uit te leggen, emoties te uiten, relaties op te bouwen en grip te krijgen op de wereld om hen heen. Elke dag gebruiken mensen uitdrukkingen als ‘iets loslaten’ of ‘een standpunt verdedigen’, zonder bewust stil te staan bij de figuurlijke betekenis daarvan. Bij humor draait het om vergelijkbare mentale processen. Om een grap te begrijpen moet je vaak onverwachte verbanden, tegenstrijdigheden of gedeelde culturele verwijzingen herkennen. ‘Voor metaforen en grappen moeten we ideeën bij elkaar brengen die niet vanzelfsprekend bij elkaar horen’, licht Tong toe. ‘Bij mensen gaat dat meestal vanzelf, maar voor AI‑systemen blijft het verrassend lastig.’

Tong ontwikkelde verschillende nieuwe datasets en meetinstrumenten om specifiek AI‑systemen zoals ChatGPT te testen. Een daarvan is de Metaphor Understanding Challenge Dataset (MUNCH), met meer dan 10.000 zorgvuldig geannoteerde parafrases van metaforische zinnen. In tests met deze dataset hadden de bekende taalmodellen vaak moeite om letterlijke en figuurlijke betekenissen te onderscheiden en begrepen ze de bedoelde betekenis vaak niet.

Herkennen van bedoelingen

Tong onderzocht ook of AI kan herkennen waarom een metafoor wordt gebruikt. Metaforen kunnen veel verschillende functies hebben, van het uitleggen van ingewikkelde concepten tot het versterken van sociale banden. Samen met collega’s ontwikkelde Tong de eerste grootschalige taxonomie van metaforische bedoelingen, met negen specifieke categorieën. De huidige AI‑modellen konden sommige van deze bedoelingen redelijk goed herkennen, maar in veel gevallen bleven ze tegen beperkingen aanlopen.

Een grap is meer dan woorden

Humor bleek vooral een uitdaging te zijn wanneer zowel tekst als afbeeldingen een rol spelen. Om het begrip van humor te onderzoeken stelde Tong de zogenoemde Hummus‑dataset samen, een verzameling van 1.000 cartoons uit The New Yorker. Veel van die cartoons maken gebruik van visuele metaforen en subtiele verbanden tussen beeld en tekst om humoristische effecten te creëren. Het bleek dat zelfs zeer geavanceerde AI‑systemen vaak moeite hadden om visuele en tekstuele informatie zo te combineren dat ze de grap doorhadden. ‘Een grap begrijpen gaat om veel meer dan woorden herkennen’, aldus Tong. ‘Je hebt vaak culturele kennis, sociale context en gevoel voor wat een situatie onverwacht maakt nodig.’

Meer dan informatie verwerken

Nu AI dieper doordringt in het dagelijks leven – van virtuele assistenten en educatieve tools tot toepassingen op de werkvloer – wordt het steeds belangrijker dat deze systemen menselijke communicatie goed begrijpen. Tong concludeert dat AI eerst beter metaforen, humor en culturele context moet leren begrijpen. Pas dan kunnen toekomstige systemen echt betrouwbaar, intuïtief en uiteindelijk nuttiger zijn voor de mensen die ermee werken.

Tong: ‘Als een AI‑assistent onze metaforen of grappen niet goed begrijpt, kan dat gevolgen hebben voor hoe bruikbaar die is. Nu AI een steeds prominentere rol gaat spelen, moet het meer doen dan alleen informatie verwerken: het moet ook de subtiliteiten van menselijke communicatie begrijpen.’