Tag Archives: politiek

Vraagtekens bij LSVb-onderzoek dat vraagtekens bij Engelse vaardigheid van docenten zet

English summary: A Dutch Student Union did some research and complains about the stone coal english of university teachers. I complain about the quality of the research.

TL;DR: het onderzoek van de LSVb trekt duidelijke conclusies. Die hadden niet getrokken mogen worden omdat (i) de feitelijke steekproef te klein is en (ii) de steekproef niet representatief is.

De LSVb kwam vandaag in het nieuws met haar onderzoek naar taalvaardigheid van docenten bij hbo en universiteit. Dit onderzoek kan grote impact hebben – zo vindt morgen in de Tweede Kamer een hoorzitting over Engels in het Hoger Onderwijs plaats, waar iemand namens de LSVb dit onderzoek zal verdedigen. Het zou dus fijn zijn als de conclusies uit dit onderzoek hout snijden. En dat doen ze niet. Niet eens een beetje.

Qua gebruikte methodologie zitten er twee grote haken en ogen aan het onderzoek: de steekproefomvang en de representativiteit van de steekproef.

Steekproefomvang. Voor het onderzoek hebben n = 269 studenten enkele vragen beantwoord (p.5). Omdat het onderzoek grotendeels gaat over (de kwaliteit van) Engelstalig onderwijs, zijn studenten die alleen maar Nederlandstalig onderwijs krijgen niet zo relevant voor dit onderzoek.  Bijna een kwart van de deelnemers (24%, p.8) heeft geen enkel studie-onderdeel in het Engels. Dit zijn 64 of 65 studenten (ik ken alleen de afgeronde percentages), zodat er maar 204 a 205 relevante studenten overblijven (laat ik aardig zijn en van 205 uit gaan). Da’s niet veel (ongeveer 4 à 5 studenten per onderwijsinstelling). Vooral omdat een volgend kwart van de studenten (26%) minder dan de helft van de vakken in het Engels heeft. Zij moeten hun uitspraken dus baseren op misschien wel dat ene college dat ze ooit in het Engels hadden. Het spreekt voor zich dat zij daarmee een minder goed beeld van de algemene Engelse taalvaardigheid van docenten hebben dan van studenten die 60ECTS per jaar in het Engels doen. Het aantal studenten in de steekproef dat minimaal een halve studie in het Engels krijgt, is dus zo’n 135.

Wat is nu het probleem met een kleine steekproef? Onzekerheid. Je bent niet geïnteresseerd in de mening van de steekproef, maar in die van de populatie van alle duizenden studenten in het hoger onderwijs. Je gebruikt de steekproef enkel om daar iets over te kunnen zeggen. En hoe kleiner de steekproef, hoe minder je kan zeggen. Stel je gooit 4x met een dobbelsteen en werpt daarbij twee keer een zes. In je steekproef heb je bij 50% van de worpen zes gegooid, maar het zou niet bij je opkomen om daaruit te concluderen dat de dobbelsteen onzuiver is. Het kan gewoon toeval zijn.

Zo ook hier. Een van de hoofdconclusies in het rapport is dat de meerderheid van de studenten het niveau van Engels van docenten ondermaats vindt. (Althans, deze conclusie is de kern van de kop boven het bericht.) In de steekproef heeft namelijk 57% dit aangegeven. Maar dat betekent niet dat in de populatie ook precies 57% dit vindt: door toeval kan het zo zijn dat de steekproef wat te kritisch, of juist niet kritisch genoeg is. En hoe kleiner de steekproef, hoe groter de rol van het toeval.

Een veelgebruikte manier om die onzekerheid uit te drukken is via een betrouwbaarheidsinterval. Kort door de bocht gezegd neem je met zo’n interval een onzekerheidsmarge mee. Er zijn verschillende manieren om in deze context zo’n interval te maken (als je daar meer over wilt weten, Wikipedia is een goed startpunt) en een snelle, makkelijke manier is via de benadering met een normale verdeling. Een 95% betrouwbaarheidsinterval voor een geschatte proportie p wordt dan gegeven door de formule p ± √(p (1 – p) / n). In dit geval komt het er op neer dat het betrouwbaarheidsinterval gegeven wordt door (50%, 64%).  Waarschijnlijk wel een meerderheid, maar hoe sterk die meerderheid is, is niet goed te schatten. En zelfs “waarschijnlijk wel een meerderheid” is niet hard te maken vanwege het probleem met representativiteit.

Steenkool
Het obligate blogplaatje. Ditmaal: steenkolen

Representativiteit. De LSVb maakt gebruik van een eigen studentenpanel van 5000 studenten. Er wordt niet duidelijk gemaakt hoe dit panel is samengesteld. Mogelijk is het een mooie, representatieve afspiegeling van de Nederlandse studentenpopulatie. Maar het kan ook zijn dat dit 5000 studenten zijn die “ja” antwoordden op de vraag “wil je in het panel” van de LSVb. En dan kan het best een vertekend panel zijn: bij een vakbond zie je bovengemiddeld vaak van die aktivistiese (zo spellen ze dat), shag-rokende types. De bedrijfseconomiestudent die bij het corps zit omdat hij, net als z’n pa, later iets bij een bank wil doen, is wat ondervertegenwoordigd. Maar het representativiteitsprobleem houdt hier niet op – het begint juist: van die 5000 hebben er maar 269 meegedaan met deze enquête. Dat is 5,4%. Dat is weinig. Dat is een probleem. Met name omdat je niet weet welke vijf procent meegedaan heeft. Zijn het de vijf procent die best tevreden zijn, de vijf procent die graag hierover willen klagen, of een mooie willekeurige steekproef? Je weet het niet en je kan het ook niet te weten komen. Het minste dat de onderzoekers hadden moeten doen, is in de discussie van hun rapport hierop reflecteren, maar er staat geen letter over in. Ze zouden er goed aan doen om dit recente stuk van Sanne Blauw en Armen Hakhverdian te lezen: Sanne en Armen leggen haarfijn uit wat voor rare uitspraken je kan krijgen als je niet goed over de representativiteit nadenkt.

Ten slotte. De conclusies die het LSVb trekt, had zij niet op deze manier mogen trekken. Op basis van dit onderzoek zijn slechts twee open-deur-conclusies te trekken:

  • Uit het onderzoek blijkt dat een deel van de studenten tevreden is over de taalvaardigheid van hun docent.
  • Uit het onderzoek blijkt dat een deel van de studenten ontevreden is over de taalvaardigheid van hun docent.

Dat betekent niet dat er morgen in de Tweede Kamer geen debat hierover kan plaatsvinden. Er zijn goede inhoudelijke redenen om Engels in het hoger onderwijs toe te juichen en er zijn goede inhoudelijke redenen om Engels in het hoger onderwijs juist niet te willen. Een inhoudelijk debat kan gevoerd worden. Maar niet op basis van dit LSVb-rapport.

Het referendum van GeenPeil en het prisoner’s dilemma

Het is GeenPeil gelukt om genoeg handtekeningen te verzamelen om een raadgevend referendum over het associatieverdrag met Oekraïne af te dwingen. Er is van alles te vertellen over de inhoudelijke voor- en nadelen van zo’n verdrag maar dat laat ik aan anderen over.

Wat veel interessanter is, is dat er in de wettelijke constructie van het referendum een rare weeffout zit: het is voor voorstanders van dit verdrag vantevoren niet duidelijk of het nu verstandig is om wel of niet te stemmen. En dat is natuurlijk raar. Bij een gewone verkiezing weet je ook dat het verstandig is om op Partij A te stemmen als je wilt dat Partij A veel stemmen krijgt.

Spelregels

Hoe komt dit? De Tweede Kamer heeft ingestemd met het associatieverdrag dus zonder referendum zou het er komen. Het referendum kan dus alleen aan de rem trekken – niet op het gaspedaal drukken. Het referendum kent vervolgens drie spelregels:

  1. Je kan voor of tegen stemmen, andere smaken zijn er niet. De optie met de meeste stemmen wint.
  2. Het referendum is pas geldig als de opkomst minimaal 30% van de stemgerechtigde bevolking is.
  3. Het staat de Tweede Kamer vrij om de uitkomst van het referendum te negeren en lekker te doen wat ze zelf wil.
Wiegel bij nacht (bron originele foto: npogeschiedenis.nl)
Wiegel bij nacht (bron originele foto: npogeschiedenis.nl)

Spelregel 3 is natuurlijk vrij zot: waarom zou je het volk om haar mening vragen als je vervolgens die mening naast je neerlegt. Dit is een raar poldercompromis tussen de voor- en tegenstanders van een referendum. Een poging tot een normaal referendum is 16 jaar geleden gestrand omdat niet alle Eerste Kamerleden zich gebonden voelden aan coalitie-afspraken. Te verwachten valt dat partijen die de uitslag totaal negeren bij de komende verkiezing afgestraft worden en onder de cynische maar aardig realistische aanname dat de meeste partijen niet vanuit ideologisch standpunt maar vanuit angst voor de kiezer hun standpunten bepalen, kunnen we er enigszins vanuit gaan dat spelregel 3 niet de belangrijkste is.

Blijven dus twee spelregels over: haal een meerderheid voor je standpunt en haal voldoende opkomst. Die klinken niet zo raar. Maar ze zijn het toch. Voor tegenstanders van het associatieverdrag is het eenvoudig om de strategie te bepalen: ga stemmen en stem tegen. Gebeurt dit in voldoende mate dan is de uitslag van het referendum in het voordeel van de tegenstemmers.

Stemstrategie

Voor voorstanders van het associatieverdrag is het lastiger. Er zijn namelijk twee scenario’s waarin zij hun zin krijgen:

  1. Minder dan 30% van de bevolking gaat stemmen en het referendum is niet geldig. De Kamer zal dan het oude voornemen om voor te stemmen handhaven en het verdrag wordt getekend.
  2. De opkomst is voldoende en een meerderheid heeft voorgestemd. Het volk heeft gesproken, de Kamer luistert, en het verdrag wordt getekend.

Het zal de meeste voorstanders worst wezen of scenario 1 of scenario 2 werkelijkheid wordt: het gaat om de uitkomst. Echter, bij beide scenario’s is een tegengestelde strategie nodig: bij scenario 1 is het beter om niet te stemmen, want elke stem verhoogt de opkomst (iets dergelijks betoogden twee DWARSe jongeren in de Volkskrant). Bij scenario 2 is het beter om wel te stemmen (en dan ook voor te stemmen), want elke voorstem is een stapje richting meerderheid. De kiezer weet vantevoren niet welke strategie de beste is, want dit hangt af van de keuze die de andere kiezers maken. Dit lijkt op het Prisoner’s Dilemma (of, eigenlijk, van het n-player Prisoner’s Dilemma) en enkele andere speltheoretische klassiekers.

Dit dilemma was niet nodig geweest als de Kamer wat beter nagedacht had bij het vaststellen van de spelregels van het raadgevend referendum. Ten eerste kan je je sowieso afvragen waarom je een minimale opkomst wilt vermelden als het referendum toch slechts raadgevend is. Als slechts 2% van de bevolking komt stemmen, zal bijna niemand het de Kamer kwalijk nemen dat ze zich weinig van de raad aantrekt. (Omdat die 2% vanzelfsprekend geen willekeurige steekproef van de bevolking is.) Maar als je dan toch een eis rond minimale opkomst wilt vermelden, doe dit dan zonder dilemma’s voor de kiezer te introduceren. Je staat als politicus tenslotte in dienst van die kiezer. Een eis als “Het referendum is geldig als voor één van de twee stemopties gekozen is door minimaal x% van de stemgerechtigde kiezers” zou dit dilemma in een klap oplossen. Zet x% bijvoobeeld op 20% en dan is de strategie voor zowel de tegenstander als de voorstander duidelijk. De tegenstander stemt tegen en hoopt dat minimaal 19,99999% van het land dat ook doet en dat er meer tegen- dan voorstemmen zijn. De voorstander stemt voor, ook hopend dat er meer voor dan tegen is. De voorstander hoeft zich dan niet meer zorgen te maken over het opkomstpercentage: hij zal er niet per ongeluk voor zorgen dat een tegen-uitslag bij het referendum voldoende opkomst heeft.

Vanzelfsprekend kan het bij elk soort volksraadpleging (bv. een ‘gewone’ verkiezing), voorkomen dat een stem een ongewenst effect heeft. Iemand die bij het stemmen twijfelt tussen CDA en VVD en besluit toch maar VVD te stemmen, kan er voor zorgen dat door die ene stem een restzetel van het CDA naar GroenLinks gaat. Had die persoon dat geweten, dan was hij mogelijk liever thuis gebleven. Maar, bij reguliere verkiezingen zijn dit soort paradoxale situaties (extreme) uitzondering; bij het raadgevend referendum zit het er in het fundament in gebakken.

Maïs. Het nr. 1 exportprodukt van Oekraïne. Heeft verder weinig met het verhaal te maken, maar zo nu en dan een plaatje doet het goed in een blogpost.
Maïs. Het nr. 1 exportprodukt van Oekraïne. Heeft verder weinig met het verhaal te maken, maar zo nu en dan een plaatje doet het goed in een blogpost.

 

Rekenvoorbeeld

Stel, dat bij het associatieverdrag 25% van het volk tegen en 40% voor is (en de overige 35% boeit het niet, die blijven thuis). Als alle voorstanders braaf gaan stemmen, wordt het associatieverdrag aangenomen. Als alle voorstanders demonstratief thuisblijven, wordt de opkomst niet gehaald en wordt het associatieverdrag aangenomen. Maar de voorstanders weten van elkaar niet wat ze gaan doen en moeten elk dus gokken wat de beste strategie is. Gevolg zal zijn dat ongeveer de helft thuisblijft en de andere helft voorstemt. Dan stemt dus 25% van het volk tegen, 20% voor, en is vervolgens het opkomstminimum behaald en heeft 56% van de stemmers aangegeven tegen het verdrag te zijn.

Er zitten 150 politici in de Tweede Kamer en nog eens 75 in de Eerste Kamer. Die hebben allemaal poppetjes rondlopen die hun advies geven. Was er bij die honderden mensen dan niemand die deze lacune even opgemerkt heeft? Of is dit allemaal strategie, zodat de politici bij een tegen-uitslag van het referendum straks kunnen zeggen “ja maar die opkomst-eis he, daarom bleven de voorstanders thuis. Deze uitslag bevestigt alleen maar dat wij op de goede koers zitten. Applaus voor onszelf.”. Hoe het ook zit, het referendum levert op deze manier in ieder geval één duidelijke verliezer op: de politiek.