De avatar

Deze demonstratie draait om een sprookjesfiguur-avatar die in gebarentaal met dove en slechthorende kinderen kan spreken. Op de Wetenschapsdag kunnen kinderen in Lab42 voor het grote scherm in de hal staan, met daaronder een webcam. Die webcam staat in verbinding met het Visualisation Lab, waar een gebarentolk in een motion capture-pak staat, die live kan reageren op wat de kinderen voor de webcam gebaren. Het publiek ziet vervolgens de avatar op het scherm reageren.

Het lab is overigens open: je kan de vrijwilliger dus ook zien werken in het motion capture-pak, en vragen stellen over hoe het allemaal werkt.

SignLab Amsterdam

Dit is een van de project rondom gebarentaal van SignLab Amsterdam, zoals een app voor betere communicatie met dove en slechthorende kinderen. “Er lopen verschillende projecten, die elkaar ook kunnen ondersteunen. Bijvoorbeeld die app. Daar zie je een filmpje van het gebaar, maar ook die avatar die het doet. Op die manier kun je hele zinnen leren,” aldus Gomèr Otterspeer, software engineer bij Signlab. “Uiteindelijk proberen we meer inzicht krijgen in gebarentaal vanuit een wetenschappelijke hoek, en dat taalwetenschappers ons materiaal kunnen gebruiken.”

“Wij proberen zo veel mogelijk data te leveren om daar wetenschap mee te doen. Dat is het doel van onze bezigheden hier,” zegt Jari Andersen, Motion Capture Specialist.

Daarnaast doen ze ook vrijwilligersprojecten voor dove kinderen. Eerder dit jaar bezochten ze bijvoorbeeld een dovenschool, waar ze ook een avatar streamden. In het Visualisation Lab stond een dove vrijwilliger, en via een webcam konden kinderen met hem interacteren.

“Voor kinderen was dit vrij bijzonder. Normaal gesproken, als je een animatiefilm kijkt, kun je dat alleen maar kijken naar zo’n personage. Dit was de eerste keer voor die kinderen dat ze ook konden praten met dat personage, met die avatar,” vertelt Gomèr. “Hij droeg overigens in gebarentaal een leesboek voor, dat draaide om mogen zijn wie je wil zijn. We wilden stimuleren dat als kinderen bijvoorbeeld een dokter willen worden, dat dat gewoon kan, ongeacht je doofheid.”

Wil je meer weten over de Wetenschapsdag. Bekijk dan de evenementenpagina.