Amsterdam is geweldig (maar dat is toeval)

NWO heeft afgelopen week 35 Vici-beurzen uitgedeeld.  Er lopen nu zo’n 35 dolgelukkige onderzoekers rond die meer geld krijgen dan ze nodig hebben. (NWO had ook zo’n 250 onderzoekers met een kleinere beurs, goed voor een promovendus, blij kunnen maken, maar dit soort megabeurzen schijnen goed te zijn voor de rankings ofzo – dat verder geheel terzijde.)

Een opvallend iets aan die beurzenregen is dat de Universiteit van Amsterdam het verrassend goed doet: 11 van de 35 beurzen gaan naar de UvA. En dit is natuurlijk reden voor ophef op de sociale media.

Zelfs de Amerikaanse president bemoeit zich ermee (fake news alert).

Het Amsterdamse universiteitsblad Folia heeft geen verklaring hiervoor kunnen vinden. Een verklaring die dan overblijft, is dat het toeval is. Maar hoe uitzonderlijk is zoiets?

Laten we in de cijfers duiken. Landelijk zijn 233 aanvragen gedaan en zijn er 35 (15%) gehonoreerd. Bij de UvA zijn 11 van de 31 (35%) aanvragen gehonoreerd. Dus bij de rest van het land zijn 24 van de 202 (12%) aanvragen gehonoreerd. Omdat 35% best veel meer is dan 12% – bijna 3x zoveel – klinkt dit als een enorm verschil. Maar met kleine aantallen maakt een beursje meer of minder flink wat verschil: toeval kan een behoorlijke rol spelen. We kunnen toetsen hoe toevallig deze uitkomst is.

UvA Rest van Nederland
Aangevraagd

31

202

Gehonoreerd

11 (35%)

24 (15%)

Een manier om dit te doen is via de exacte toets van Fisher. (Detail: er zijn verschillende manieren. In grote lijnen geven ze voor deze data dezelfde conclusies.) Er van uitgaande dat de honoreringskans bij de UvA niet afwijkt van die in de rest van het land, is de kans op minstens een zo opvallende uitkomst als nu 1,1%. Dat klinkt onwaarschijnlijk. Doorgaans gebruikt men een 5% kans als grens tussen ‘significant’ en ‘niet significant’ (ook al zijn er prima redenen niet altijd maar 5% te nemen) dus het klinkt zelfs significant onwaarschijnlijk.

Maar: er is een aantal maren in te brengen. Ten eerste zijn er meer universiteiten dan de UvA. De kans op zulk toeval precies bij de UvA gebeurde is dan wel slechts een op de 90, de kans op zulk toeval bij een van de 14 VSNU-universiteiten is een stuk groter: zo’n 14% (1 – (1 – 0,011)14). Ook keert de NWO elk jaar ongeveer dit aantal Vici’s uit. De kans, puur gebaseerd op toeval, dat het eens in de vijf jaar ergens zo opvallend goed gaat als nu bij de UvA, is al meer dan 50% (1 – (1 – 0,011)5*14 = 0,54).

Vergelijk het met een loterij. De kans dat jij bij de volgende trekking wint, is behoorlijk klein (tip: niet meedoen is, gemiddeld genomen, voordeliger). De kans dat iemand wint, is echter 100%. Maar ook die persoon had van tevoren een behoorlijk kleine kans. Zo ook hier. Had je van tevoren voorspeld dat de UvA het in 2017 onwaarschijnlijk goed had gedaan, dan was dat een knappe voorspelling geweest. Maar dat zoiets zo nu en dan ergens gebeurt, is niks geks aan. En ook wel zo leuk voor de UvA. Ze halen daar al ja-ren-lang geen Spinozapremies of Nobelprijzen, het dak waait van de gebouwen en je moet college volgen in een drijvende tent. Vanuit hun underdog-positie gun je ze ook wel eens een pleziertje. 😜

Een andere mogelijke verklaring zit hem o.a. in de scheve verdeling van toekenningen. Bèta-aanvragen doen het zo’n 1,5 tot 2x beter dan aanvragen uit de alfa- en gamma-hoek. Universiteiten die bovengemiddeld veel aanvragen van natuur- en scheikundigen hebben, geven zichzelf daarmee een mooie voorsprong.

Samengevat: het klinkt opvallend, maar eigenlijk valt dat dus wel mee. (Statistiek doet dat wel vaker, interessante feitjes verpesten met nuance.) Maar als NWO als gevolg van dit toeval volgend jaar bewust meer geld naar andere universiteiten wilt sturen (hint: Groningen), heb ik daar geen bezwaar tegen.

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.