Het team gebruikte hiervoor technieken die bekend zijn van andere complexe modellen, zoals degene die worden gebruikt bij weersvoorspelling en in de klimaatwetenschap. Zij ontdekten dat kleine variaties in de beginparameters van het Covid-model grote variaties in de uitkomsten geeft. En ze bieden een oplossing.

Toen de ziekte Covid-19 zich in de eerste maanden van 2020 plotseling over de wereld verspreidde, was er een grote behoefte aan modellen die konden voorspellen welke maatregelen het nuttigst zijn om de verspreiding van het coronavirus te remmen en het aantal doden te beperken. Er was nog veel onzekerheid rond dit nieuwe virus, de besmettelijkheid ervan en de impact op de volksgezondheid.

Een van de eerste veelbesproken modellen was het in maart gepubliceerde CovidSim model, ontwikkeld door een groep wetenschappers van het Imperial College London. Destijds hielp dit model zowel Britse als Amerikaanse politici ervan te overtuigen dat ze lockdowns moesten invoeren om het hoge aantal voorspelde doden te voorkomen. Maar in de loop van de maanden is vanuit verschillende hoeken openlijk getwijfeld of dit model wel zo betrouwbaar is.

De Londense Royal Society besloot daarom een team van onafhankelijke onderzoekers opdracht te geven om dit model rigoureus op de proef te stellen. Het aangestelde team werd geleid door Peter Coveney, die naast zijn werk als directeur van het Centre for Computational Science aan University College London (UCL) en hoogleraar fysische chemie aan dezelfde universiteit ook bijzonder hoogleraar is aan het Instituut voor Informatica van de Universiteit van Amsterdam.

Coveney en zijn team besloten om de robuustheid van het CovidSim model te testen met de hulp van technieken die bekend zijn uit de modellering van andere zeer complexe systemen, zoals weer- en klimaatmodellen. Ze gebruikten een supercomputer om het model 6000 keer te laten draaien, steeds met net iets andere beginparameters.

Coveney’s team ontdekte dat het aanpassen van die in het begin ingevoerde parameters tot grote variaties in de uitkomsten leidde. Een belangrijke vondst, aangezien veel van deze parameters een hoge mate van onzekerheid hebben. Het gaat bijvoorbeeld om parameters die te maken hebben met effectiviteit van gedragsmaatregelen. Zoals, hoe effectief is de maatregel ‘afstand houden’ precies als het gaat om het tegengaan van de verspreiding van het virus? Kleine variaties in de voorspelde effectiviteit van dergelijke maatregelen kunnen binnen het model worden versterkt en uiteindelijk leiden tot een verschil van tienduizenden verwachte sterfgevallen.

Cruciale parameters

Er zijn maar liefst 940 variabele parameters in het CovidSim-model. Maar het team van Coveney ontdekte dat negentien daarvan het meest cruciaal zijn voor het uiteindelijke resultaat. En tweederde van de variatie in de uitkomst van het model bleek te worden bepaald door een set van slechts drie parameters: de lengte van de fase waarin een individu al besmet is, maar het coronavirus nog niet kan doorgeven aan anderen; de effectiviteit van de gedragsmaatregel ‘afstand houden’; en hoe snel een besmette persoon in quarantaine gaat.

Dit alles betekent niet dat het model niet kan worden gebruikt. Coveney wil de voorspellingen van het Imperial College-team in maart bovendien niet te hard bekritiseren. Coveney: ‘Ze hebben hun best gedaan onder de gegeven omstandigheden.’ Maar hij benadrukt ook dat er een andere benadering van deze modellen nodig is: ‘Onze bevindingen zijn belangrijk voor de besluitvorming van overheden en het gezondheidsbeleid, aangezien CovidSim en soortgelijke epidemiologische modellen - terecht - nog steeds worden gebruikt bij het voorspellen van de verspreiding van COVID-19. Net als het voorspellen van het weer, brengt het voorspellen van een pandemie een hoge mate van onzekerheid met zich mee, en dit moet worden erkend.'

Oplossing

De oplossing is volgens Coveney om deze modellen altijd als een ensemble te laten draaien. Zoals gebruikelijk is in bijvoorbeeld de klimaatwetenschap. Het resultaat zou dan niet een enkel getal zijn, maar een bepaald bereik, met een maximum en minimum waarde. De gemiddelde waarde binnen dat bereik is de meest waarschijnlijke uitkomst. Toen het team van Coveney dit deed met het CovidSim-model om het dodental in het VK onder lockdown te voorspellen, was het gemiddelde dodental over een set van vele runs twee keer zo hoog als het dodental dat het Imperial College-team in maart voorspelde, maar het lag dichter bij de werkelijke cijfers.

De bevindingen van het team zijn nog niet als peer reviewed publicatie verschenen, maar zijn wel beschikbaar als preprint en zullen naar verwachting binnenkort officieel worden gepubliceerd. De preprint heeft al veel aandacht gekregen; hij wordt onder meer besproken in de nieuwsrubriek van Nature en op de goed gelezen blog van de British Science Museum Group.

Partners

Naast University College London en de Universiteit van Amsterdam zijn de andere partners die bij dit onderzoek betrokken waren het Nederlandse Centrum voor Wiskunde en Informatica (CWI), Brunel University London en het Poznan Supercomputing and Networking Centre in Polen.

Zodra deze beschikbaar is, wordt een link naar de peer reviewed versie van de studie toegevoegd aan dit artikel.