Video’s vinden met emoticons

3 november 2015

Onderzoekers Spencer Cappallo, Thomas Mensink en Cees Snoek van de Universiteit van Amsterdam en Qualcomm Research Nederland ontwikkelden een zoekmachine waarmee je met behulp van emoji’s Youtube-video’s kunt doorzoeken. Met Emoji2Video zijn het geen woorden maar één of meerdere emoticons waarmee je de zoekopdracht vorm geeft. En dat is niet alleen lollig, aldus Snoek, maar het is ook de meest praktische manier wanneer het invoerscherm klein is, zoals bij een telefoon of horloge.

Als bezoeker op de site van Emoji2Video kun je kiezen uit 385 emoticons. Dit zijn kleine pictogrammen van voorwerpen, mensen, dieren en emoties, die tegenwoordig vast onderdeel zijn van telefoons, tablets of computers. Selecteer je bijvoorbeeld het pictogram van een danser en een piano, dan krijg je een scala aan video’s te zien waarin deze twee voorkomen. De zoekmachine gaat uit van een intuïtieve manier van zoeken, ongeacht welke taal je spreekt.

Deep learning technieken

Om de emoticons te koppelen aan video’s hebben de onderzoekers gebruik gemaakt van deep learning technieken. Elke vijftig frames werd er geanalyseerd wat er op dat specifieke moment in de video te zien was, en werd die informatie vertaald naar passende emoticons. Cappallo: ‘Het vertalen van beeld naar emoticons bestaat uit twee stappen. Eerst wordt het beeld vertaald naar bekende visuele concepten, daarna berekenen we in welke mate deze concepten relevant zijn voor een specifieke emoticon op basis van tekstuele informatie. Zo kunnen we een video naar een emoji vertalen zonder specifieke videovoorbeelden nodig te hebben voor elke emoji.'

De zoekmachine is nog volop in ontwikkeling. Er zijn nu pas 45.000 video’s beschikbaar, en dat is een fractie van wat er aan video’s op YouTube staat. Maar het doel is duidelijk. De machine kan het zoeken naar video’s vergemakkelijken; op kleine devices, en voor gebruikers die (nog) niet goed kunnen lezen en schrijven.

Gepubliceerd door  Faculteit Natuurwetenschappen, Wiskunde en Informatica