JASA geldt als een toonaangevend tijdschrift binnen het vakgebied.

De Punder startte het onderzoek tijdens zijn Research Master aan het Tinbergen Institute. Volgens de directeur van het instituut is het sinds de oprichting in 1987 niet eerder voorgekomen dat onderzoek dat voortkwam uit een Research Master-scriptie is gepubliceerd in de Journal of the American Statistical Association.

De ASE-onderzoeker wordt op 21 maart geïnterviewd over zijn onderzoek in het NPO Radio 1-programma Dr. Kelder en Co, waar hij te gast is in de rubriek Jonge Doctors.

Over het onderzoek

Als je wilt weten of je morgen op het terras kunt zitten, dan maakt een uiterst nauwkeurige inschatting van de kans op temperaturen tussen de 10 en 12 graden weinig uit. Je bent vooral geïnteresseerd in de kans op temperaturen boven de 18 graden. Maar hoe vergelijk je 2 voorspelde kansverdelingen met de werkelijke verdeling als alleen bepaalde uitkomsten er echt toe doen?

Als je alle uitkomsten even zwaar meeneemt in je evaluatie, dan kunnen goede voorspellingen van onbelangrijke temperaturen slechte voorspellingen van temperaturen van boven de 18 graden maskeren. Gooi je alles onder 18 graden volledig weg, dan kan een model zelfs 'beter dan de werkelijkheid' lijken. In voorspelevaluatie levert dat grote problemen op, omdat je dan een foutief model boven een model dat exact gelijk is aan de werkelijkheid verkiest.

De oplossing? Een slimme middenweg, gebaseerd op het klassieke idee van (statistisch) censureren. We gooien irrelevante uitkomsten niet weg, maar bundelen ze tot één categorie. De rest van de verdeling laten we daarbij volledig intact. Wiskundig levert dat voor elke (veralgemeniseerde) afstandsmaat een nieuwe lokale afstand op die eerlijk evalueert wanneer niet alle uitkomsten even belangrijk zijn. 

De door onze methode gelokaliseerde afstanden zijn ook van belang voor het doen van statistische toetsen. Zo bewijzen we dat onze methode tot de meest onderscheidende toets leidt voor bepaalde hypothesen. Ook in de praktijk is dit van groot belang. In toepassingen op het gebied van finance, inflatie en klimaat zien we dat onze manier van focussen ook empirisch tot een beter onderscheidingsvermogen leidt.

Samengevat bieden deze resultaten een theoretisch onderbouwd raamwerk voor voorspelevaluatie in situaties waarin slechts specifieke delen van de uitkomstenruimte daadwerkelijk van belang zijn.

Publicatiedetails

Ramon F. A. de Punder, Cees G. H. Diks, Roger J. A. Laeven en Dick J. C. van Dijk (2026). Localizing strictly proper scoring rules',  Journal of the American Statistical Association, 1–13.