English summary: A Dutch Student Union did some research and complains about the stone coal english of university teachers. I complain about the quality of the research.

TL;DR: het onderzoek van de LSVb trekt duidelijke conclusies. Die hadden niet getrokken mogen worden omdat (i) de feitelijke steekproef te klein is en (ii) de steekproef niet representatief is.

De LSVb kwam vandaag in het nieuws met haar onderzoek naar taalvaardigheid van docenten bij hbo en universiteit. Dit onderzoek kan grote impact hebben – zo vindt morgen in de Tweede Kamer een hoorzitting over Engels in het Hoger Onderwijs plaats, waar iemand namens de LSVb dit onderzoek zal verdedigen. Het zou dus fijn zijn als de conclusies uit dit onderzoek hout snijden. En dat doen ze niet. Niet eens een beetje.

Qua gebruikte methodologie zitten er twee grote haken en ogen aan het onderzoek: de steekproefomvang en de representativiteit van de steekproef.

Steekproefomvang. Voor het onderzoek hebben n = 269 studenten enkele vragen beantwoord (p.5). Omdat het onderzoek grotendeels gaat over (de kwaliteit van) Engelstalig onderwijs, zijn studenten die alleen maar Nederlandstalig onderwijs krijgen niet zo relevant voor dit onderzoek.  Bijna een kwart van de deelnemers (24%, p.8) heeft geen enkel studie-onderdeel in het Engels. Dit zijn 64 of 65 studenten (ik ken alleen de afgeronde percentages), zodat er maar 204 a 205 relevante studenten overblijven (laat ik aardig zijn en van 205 uit gaan). Da’s niet veel (ongeveer 4 à 5 studenten per onderwijsinstelling). Vooral omdat een volgend kwart van de studenten (26%) minder dan de helft van de vakken in het Engels heeft. Zij moeten hun uitspraken dus baseren op misschien wel dat ene college dat ze ooit in het Engels hadden. Het spreekt voor zich dat zij daarmee een minder goed beeld van de algemene Engelse taalvaardigheid van docenten hebben dan van studenten die 60ECTS per jaar in het Engels doen. Het aantal studenten in de steekproef dat minimaal een halve studie in het Engels krijgt, is dus zo’n 135.

Wat is nu het probleem met een kleine steekproef? Onzekerheid. Je bent niet geïnteresseerd in de mening van de steekproef, maar in die van de populatie van alle duizenden studenten in het hoger onderwijs. Je gebruikt de steekproef enkel om daar iets over te kunnen zeggen. En hoe kleiner de steekproef, hoe minder je kan zeggen. Stel je gooit 4x met een dobbelsteen en werpt daarbij twee keer een zes. In je steekproef heb je bij 50% van de worpen zes gegooid, maar het zou niet bij je opkomen om daaruit te concluderen dat de dobbelsteen onzuiver is. Het kan gewoon toeval zijn.

Zo ook hier. Een van de hoofdconclusies in het rapport is dat de meerderheid van de studenten het niveau van Engels van docenten ondermaats vindt. (Althans, deze conclusie is de kern van de kop boven het bericht.) In de steekproef heeft namelijk 57% dit aangegeven. Maar dat betekent niet dat in de populatie ook precies 57% dit vindt: door toeval kan het zo zijn dat de steekproef wat te kritisch, of juist niet kritisch genoeg is. En hoe kleiner de steekproef, hoe groter de rol van het toeval.

Een veelgebruikte manier om die onzekerheid uit te drukken is via een betrouwbaarheidsinterval. Kort door de bocht gezegd neem je met zo’n interval een onzekerheidsmarge mee. Er zijn verschillende manieren om in deze context zo’n interval te maken (als je daar meer over wilt weten, Wikipedia is een goed startpunt) en een snelle, makkelijke manier is via de benadering met een normale verdeling. Een 95% betrouwbaarheidsinterval voor een geschatte proportie p wordt dan gegeven door de formule p ± √(p (1 – p) / n). In dit geval komt het er op neer dat het betrouwbaarheidsinterval gegeven wordt door (50%, 64%).  Waarschijnlijk wel een meerderheid, maar hoe sterk die meerderheid is, is niet goed te schatten. En zelfs “waarschijnlijk wel een meerderheid” is niet hard te maken vanwege het probleem met representativiteit.

Representativiteit. De LSVb maakt gebruik van een eigen studentenpanel van 5000 studenten. Er wordt niet duidelijk gemaakt hoe dit panel is samengesteld. Mogelijk is het een mooie, representatieve afspiegeling van de Nederlandse studentenpopulatie. Maar het kan ook zijn dat dit 5000 studenten zijn die “ja” antwoordden op de vraag “wil je in het panel” van de LSVb. En dan kan het best een vertekend panel zijn: bij een vakbond zie je bovengemiddeld vaak van die aktivistiese (zo spellen ze dat), shag-rokende types. De bedrijfseconomiestudent die bij het corps zit omdat hij, net als z’n pa, later iets bij een bank wil doen, is wat ondervertegenwoordigd. Maar het representativiteitsprobleem houdt hier niet op – het begint juist: van die 5000 hebben er maar 269 meegedaan met deze enquête. Dat is 5,4%. Dat is weinig. Dat is een probleem. Met name omdat je niet weet welke vijf procent meegedaan heeft. Zijn het de vijf procent die best tevreden zijn, de vijf procent die graag hierover willen klagen, of een mooie willekeurige steekproef? Je weet het niet en je kan het ook niet te weten komen. Het minste dat de onderzoekers hadden moeten doen, is in de discussie van hun rapport hierop reflecteren, maar er staat geen letter over in. Ze zouden er goed aan doen om dit recente stuk van Sanne Blauw en Armen Hakhverdian te lezen: Sanne en Armen leggen haarfijn uit wat voor rare uitspraken je kan krijgen als je niet goed over de representativiteit nadenkt.

Ten slotte. De conclusies die het LSVb trekt, had zij niet op deze manier mogen trekken. Op basis van dit onderzoek zijn slechts twee open-deur-conclusies te trekken:

• Uit het onderzoek blijkt dat een deel van de studenten tevreden is over de taalvaardigheid van hun docent.
• Uit het onderzoek blijkt dat een deel van de studenten ontevreden is over de taalvaardigheid van hun docent.

Dat betekent niet dat er morgen in de Tweede Kamer geen debat hierover kan plaatsvinden. Er zijn goede inhoudelijke redenen om Engels in het hoger onderwijs toe te juichen en er zijn goede inhoudelijke redenen om Engels in het hoger onderwijs juist niet te willen. Een inhoudelijk debat kan gevoerd worden. Maar niet op basis van dit LSVb-rapport.