Vierduizend kenmerken

Om een object of scène te herkennen op een foto of video, is het belangrijk dat de computer weet waar hij naar moet zoeken. Daarom heeft het programma ontzettend veel leervoorbeelden nodig. Snoek voedt de zoekmachine dan ook met zoveel mogelijk beeldfragmenten waaraan je een bepaalde zoekterm kunt koppelen. Vervolgens beoordeelt de zoekmachine het plaatje op zo'n vierduizend kenmerken, zoals variatie in kleur, vorm en structuur. Hieruit stelt de zoekmachine een  karakteristieke correlatie vast tussen de combinatie van kenmerken en de opgegeven zoekterm.

Aan de hand van het statistische model dat hieruit ontstaat, de zogenaamde concept detector, kan de computer vervolgens in een enorme databank zoeken naar andere afbeeldingen die aan het model voldoen. (zie filmpje via onderstaande link).

Afbeeldingen die aan het model voldoen moeten vervolgens teruggekoppeld worden naar de gebruiker. Dit gebeurt via een CrossBrowser. Op de verticale as staan de teruggevonden beelden, op de horizontale as de tijd. Handig, want een video bestaat uit ontzettend veel losse shots. En vaak is het zo dat als de beeldzoeker een gewenst resultaat oplevert, de shots voor en na dit goede resultaat óók voldoen aan de opgevraagde zoekopdracht.

Zoekmachine wedstrijden

'Het is ontzettend handig als je kunt zoeken op beelden en niet afhankelijk bent van de al dan niet bijgeleverde tekstuele omschrijving', aldus Snoek. En dat blijkt ook uit de aandacht die voor het probleem bestaat: naast de zoekmachine van het ISLA zijn er zo'n vijftig teams van  onderzoeksinstellingen, universiteiten en bedrijven bezig met het maken van videozoekmachines. Ieder jaar is er zelfs een wedstrijd.

De deelnemers maken allemaal gebruik van dezelfde testset, bijvoorbeeld een enorme hoeveelheid videomateriaal uit het archief van het Nationale Instituut voor Beeld en Geluid. De uitdaging is om zo snel mogelijk een specifieke zoekopdracht correct uit te voeren, bijvoorbeeld het identificeren van fragmenten met een keuken. Snoek werkt als volgt: Eerst labelt hij alle shots uit de set: ‘keuken' of ‘niet keuken'. Vervolgens verdeelt hij de set in tweeën: een testset en een trainingsset. De trainingsset gebruikt hij om de voor de afbeelding specifieke correlatie van de vierduizend kenmerken te vinden. Dit resulteert in een concept detector, die hij loslaat op de testset. Uiteindelijk controleert hij hoe goed het model heeft gewerkt: in hoeveel procent van de gevallen was een gevonden keuken ook echt een keuken en niet toevallig een badkamer? En hoe vaak heeft de computer een afbeelding van een keuken over het hoofd gezien?

Een tijdrovende klus

Het labelen van de beelden uit de trainingsset is ontzettend veel werk. Snoek was een zomermaand lang iedere ochtend en avond aan het labelen. Uiteindelijk had hij 101 categoriën gelabeld. Hij onderzocht de correlatie tussen het aantal leervoorbeelden en de performance. Boot bleek met vrij weinig voorbeelden goed te vinden. Maar mobiele telefoon was veel lastiger. 'Dat heeft vooral te maken met de achtergrond. Een boot is een gat in het water. Maar een mobiele telefoon gebruik je overal en is er dus minder goed uit te pikken.'

Snoek en zijn groep zijn goed in het zoeken van beelden. Maar Snoek geeft toe dat dit bij sommige wedstrijdonderdelen niet alleen te maken heeft met de kwaliteit van de software. 'Als je zoals ik zomers lang besteedt aan het labelen van videomateriaal, word je vanzelf heel goed in het herkennen van beelden; je bent er op getraind. Het hangt dus ook af van wie er achter de knoppen zit.'

Toch blijkt deze manier van informatie uitwisseling niet ideaal. 'We komen er steeds meer achter dat geleerde voorbeelden van de ene dataset niet goed werken op de andere dataset. Het lukt bijvoorbeeld nog niet goed om met consumentenfoto's van Flickr, begrippen te leren die we uit een dataset van Beeld en Geluid kunnen halen.' Waar het precies aan ligt weet Snoek niet. 'Misschien heeft het er mee te maken dat bij televisiemateriaal toch vaak dezelfde cameraposities worden gekozen, dat de belichting altijd van een bepaalde kwaliteit is enzovoorts, terwijl je op Flickr van alles tegenkomt. En wat zeker ook mee zal spelen is dat de software nog te veel een label geeft voor het hele plaatje, terwijl voor mensen vaak één vorm op de voorgrond overheerst. Maar hoe het precies zit, gaan we nog uitzoeken.'