UvA onderzoekers winnen de Multimedia Grand Challenge 2014
Jan Zahálka, Stevan Rudinac en Marcel Worring van het Instituut voor Informatica (IvI) hebben de 1e prijs gewonnen in de Grand Challenge van de ACM Multimedia 2014 met hun bijdrage ‘New Yorker Melange: Interactive Brew of Personalized Venue Recommendations’.
New Yorker Melange
Als je als bezoeker voor het eerst in een stad bent of als je een bezoek wilt voorbereiden is een klassiek dilemma te bepalen welke plekken je wilt gaan bezoeken. Naast conventionele bronnen zoals reisgidsen en televiesieprogramma's is er een enorme hoeveelheid aan on-line bronnen die kunnen helpen met de keuze zoals Foursquare, Yelp, of TripAdvisor.
Deze bronnen zijn prima als je op zoek ben naar de populaire plekken, maar zijn geen afspiegeling van de indivualiteit van de inwoners of de verschillende bezoekers van de stad. Begrijpen welke voorkeuren mensen hebben wat betreft verschillende plekken in de stad en waarom verschillende plekken dezelfde soort mensen trekken is een moeilijk probleem.
Een hoop van dit soort informatie is echter te vinden in de grote hoeveelheid beelden die van deze plekken beschikbaar zijn en de metadata en beschrijvingen die te vinden zijn in sociale media. Dit is de basis van onze prijswinnende bijdrage de New Yorker Melange, een applicatie om interactief een stad te exploreren door de ogen van New Yorkers die soortgelijke voorkeuren hebben.
Het systeem introduceert een innovatieve manier om data van hele verschillende sociale bronnen te analyseren en interactief de voorkeuren te leren van de gebruikers. Experimentele validatie van de onderliggende technieken heeft aangetoond dat een multimodale aanpak waarin tekst analyse, beeld analyse en gebruikers interactie worden geïntegreerd significant betere resultaten geeft dan het gebruik van slechts een van de modaliteiten.
De 'Grand Challenge'
Sinds de start van ACM SIGMM in 1993, de ACM Multimedia is de meest belangrijke internationale conferentie in het multimedia veld en een belangrijk event om wetenschappelijke resultaten en innovatieve industriele producten in het multimedia veld te tonen. De Multimedia Grand Challenge bestaat uit een aantal problemen en uitdagingen aangedragen door de industrie met het doel om de multimedia onderzoeks gemeenschap te betrekken in het oplossen van relevante, interessante, en uitdagende vragen die gerelateerd zijn aan wat de bedrijven zien als multimedia uitdagingen voor de komende 3-5 jaar. De Multimedia Grand Challenge is voor het eerst gepresenteerd tijdens de ACM Multimedia 2009 en is nu een prestigieuze competitie in multimedia. DIt jaar waren de uitdagingen gedefinieerd door IBM, Microsoft, VideoLectures.NET, Technicolor en Huawei. IBM had "New York City 360º” gedefinieerd als hun onderwerp voor de Grand Challenge 2014 omdat de sociale media rond NYC enorm rijk is in diversiteit. Van de 10 finalisten van de Challenge werden de winnaars geselectteerd op basis van de kwaliteit van de presentatie/demonstratie, hoe interessant het systeem is, de technische bijdrage en de schaalbaarheid van de oplossing.