De LSVb komt regelmatig in het nieuws met spraakmakende onderzoeksresultaten. Niet zelden leiden deze onderzoeken tot Kamervragen en debatten bij lokale medezeggenschapsorganen. Aan de hand van drie voorbeelden toon ik aan dat de onderzoeken echter structureel zó slecht zijn uitgevoerd, dat het fundament voor de getrokken conclusies vaak totaal ontbreekt. Hierdoor worden publieke middelen verspild aan maatregelen om onbewezen problemen op te lossen. Dit leidt de aandacht en het geld af van de échte problemen – die er helaas genoeg zijn in het onderwijs.
De Landelijke Studentenvakbond (LSVb) is, naar eigen zeggen, dé belangenbehartiger van studerend Nederland. Wat LAKS is voor de middelbare scholier, is de LSVb voor de student aan hbo of universiteit. Zeker in een tijd waarin politici elkaar verdringen voor de interruptiemicrofoon om een nieuwe ‘onderwijsvernieuwing’ te suggereren (lees: altijd), is het belangrijk dat er een organisatie is die opkomt voor de belangen van de huidige en toekomstige student.
Hoe doet de LSVb dit? Grofweg op twee manieren. Enerzijds biedt zij op haar website extreem veel nuttige informatie aan over de rechten en plichten van studenten. Dat is nuttig, ziet er prima uit, heb ik niks over te klagen en daar gaat deze blog dus verder niet over. Anderzijds doet zij onderzoek. Een tijdje nadat een onderwijsvernieuwing is doorgevoerd, wordt gekeken of deze vernieuwing het beoogde effect heeft, of dat er toch andere zaken spelen. Tussendoor onderwijsvernieuwingen door wordt ook onderzoek gedaan naar onderwerpen die je elke paar jaar opnieuw kan bestuderen: in welke stad is de huur het hoogst, gaat het beter of slechter met medezeggenschap vergeleken met vorig jaar, enz.
Nuttig onderzoek, en ook onderzoek dat leuk te verkopen is. Wat de uitkomsten ook zijn: er is altijd één stad het duurst (en één het goedkoopst) en dat levert dus gegarandeerd een paar fijne krantenkoppen op. Aandacht is macht. Geen probleem: het is de taak van een vakbond om in de maatschappelijke belangstelling te blijven staan. Soms is het onderzoek wel heel erg open-deur (mijn favoriet: “studenten raken al hun geld kwijt aan kosten”), maar ook dat is niet zo’n probleem. Ik lees graag nieuwsberichten waar ik om moet grinniken. [Update: die favoriet was dus een 1-aprilgrap waar ik ingetuind ben. Nou ja, ik moest dus grinniken.]
Ik snap dat de LSVb’ers die onderzoeken naast hun studie schrijven, dat ze niet al jarenlange ervaring hebben met het doen van onderzoek, en dat het ook niet het doel is om onderzoek te verrichten van zodanige kwaliteit dat het in een wetenschappelijk toptijdschrift gepubliceerd kan worden. Dat is allemaal geen probleem. De LSVb is ook lang niet de enige die het moeilijk vindt om goed kwantitatief onderzoek over onderwijs te doen. Zelfs professionele onderzoeksbureaus klungelen wat aan als het om onderwijsonderzoek gaat. Maar “zij doen het ook” is geen excuus.
Het probleem – en de reden waarom ik stuk dit schrijf – is dat deze LSVb-onderzoeken echter steevast ronduit slecht zijn. De onderzoeken zijn zó erbarmelijk dat de conclusies die de LSVb trekt vaak totaal ongegrond zijn. Vervolgens gebruikt de LSVb die onderzoeken om moord en brand te schreeuwen over iets waar ze dus, op basis van haar eigen onderzoek, weinig tot niks over kan zeggen. En dat is een schande. In de eerste plaats voor de studenten zelf: als de LSVb te vaak met foute claims naar buiten komt, verliest zij haar geloofwaardigheid en daarmee de mogelijkheid om voor studenten op te komen. Het leidt ook tot onnodig gedoe. Juist vanwege de opiniebepalende positie van het LSVb, zijn hun onderzoeksresultaten regelmatig aanleiding voor Kamervragen of kritisch overleg bij het lokale medezeggenschap. Wanneer beleid gemaakt wordt op basis van onjuiste resultaten, is uiteindelijk de belastingbetaler èn de student de dupe. Dat de LSVb zo LAKS (woordgrapje-alert) met haar verantwoordelijkheden omgaat, is dus iets dat alleen maar tot narigheid leidt. Ik houd niet van narigheid.
Ik licht hieronder kort drie recente LSVb-onderzoeken toe en leg uit waar de fout in het onderzoek zit. Geen van deze fouten zit hem in ‘hogere statistiek’ of iets anders moeilijks: het is in principe gewoon een kwestie van logisch nadenken.
Niveau Engelse docenten ondermaats
Een half jaar geleden berichtte de LSVb dat “Een meerderheid van studenten [aangeeft] bij Engelstalige colleges door gebrekkige taalvaardigheid van docenten minder kennis op [doet]”. Dit onderzoeksresultaat werd een dag later al in de Tweede Kamer besproken. High stakes dus. Over dit LSVb-onderzoek heb ik in december al hier uitgelegd wat het probleem was. U bent één muisklik verwijderd van de details, maar kort samengevat waren er twee problemen. (i) De steekproefomvang was veel te klein: hoewel er een generaliserende uitspraak wordt gedaan over ‘de docent’ van de tientallen hbo’s en universiteiten in Nederland, bevatte de daadwerkelijke steekproef maar een handjevol studenten per instelling. (ii) Daarnaast waren deze studenten ook nog eens niet representatief want ze kwamen uit een speciaal panel dat LSVb gerekruteerd had. Wellicht zijn panelleden van een vakbond kritischer dan niet-vakbondsleden. Wellicht ook niet. Je weet het niet – en moet dus geen conclusies trekken alsof je het wel weet.
Studenten betalen te veel huur
We maken een sprongetje in de tijd naar 17 mei. Driekwart van de uitwonende studenten betaalt meer huur dan het wettelijk maximum. Vooral in Amsterdam is het erg. Ook dit LSVb-resultaat kwam uitgebreid in het nieuws en leidde tot Kamervragen, ditmaal van het CDA. Je kan je afvragen wat erger is: dat huurbazen zo structureel te veel huur vragen; of dat studenten daar massaal mee akkoord gaan terwijl het in Nederland toch relatief makkelijk is om iets te doen aan te hoge huren. Maar dat ga ik me niet afvragen, want ik vroeg me af: klopt dit wel? [Spoiler: nee.] Ik was niet de enige die die vraag stelde, en Amsterdams universiteitsblad Folia heeft er een ‘FactCheck’ over geschreven met duiding van lokale methodoloog Tom van der Meer. Van der Meer legt uit dat de steekproef (getrokken onder studenten die gingen kijken of hun huur niet te hoog was) totaal select is: er is geen geldige reden aan te nemen dat de steekproef representatief is voor de populatie. Folia komt dan ook tot de conclusie “Het zal niet veel mensen verbazen dat een groot deel van de Nederlandse studenten te veel betaalt voor zijn of haar kamer, maar de percentages uit dit onderzoek kunnen niet hard worden gemaakt.” De juiste krantenkop had dus moeten luiden: “Sommige studenten betalen meer huur dan nodig en we hebben geen idee hoeveel dit er zijn”.
Hbo-studenten financieel achtergesteld
Voorbeeld drie, van een week later. Uit onderzoek van de LSVb zou blijken dat hbo-studenten fors minder financiële compensatie krijgen bij studievertraging dan universitaire studenten. Het gaat om betalingen uit het profileringsfonds, d.w.z. compensatie voor studenten die belangrijke extra-curriculaire activiteiten doen (bestuurswerk, medezeggenschap, etc.) danwel door zaken als zwangerschap en functiebeperkingen vertraging op te laten lopen. Het klinkt redelijk om een zwangere hbo’er net zo te compenseren voor de studievertraging als een zwangere universitaire student. Na speurwerk komt de LSVb echter met harde cijfers: op het hbo € 10,42 per student, op universiteiten € 52,93, meer dan vijf keer zo veel. Vet oneerlijk!
Of niet: vet slecht rekenwerk. In een reactie geeft de Vereniging Hogescholen aan dat de LSVb een wel heel knullige fout gemaakt heeft: de LSVb heeft de totale profileringsfonds-uitgaven van hbo en universiteit gedeeld door het totale aantal studenten, in plaats van door het aantal studenten dat aanspraak op het fonds maakt. Wellicht kent de universiteit relatief meer studentbestuurders, studenttopsporters en studentzwangeren dan de hbo en zit de verklaring daar gewoon. NB: ook gewoon het tellen van aantallen studenten dat aanspraak op het fonds maakt, zoals de Vereniging Hogescholen suggereert, is niet zomaar goed. Wellicht is het zo dat bij het hbo er relatief veel aanvragers voor een kleine vergoeding zijn en bij de universiteit veel voor een grote en dat kan de resultaten vertekenen (de Simpsonparadox is overal). Als je dit punt echt wil onderzoeken, bekijk je per vergelijkbare studievertragingsreden hoe de vergoedingen op hbo en universiteit zijn. Als daar bijvoorbeeld uit blijkt dat een zwangere hbo’er minder (of meer) vergoeding krijgt dan een zwangere universiteitsstudent, heb je een goede reden om een persbericht te schrijven.
Tenslotte: een suggestie
Na al dit klagen dat de LSVb het niet goed doet, wil ik deze post met iets positiefs afsluiten, namelijk een stukje gratis advies naar de mensen toe. Als je een onderzoek wilt doen naar een maatschappelijk relevant onderwerp – en onderwijszaken zijn dat bijna altijd – vraag dan eens een methodoloog of statisticus om advies. Doe dit bij voorkeur voordat je begint met het verzamelen van de data, vaak gaat het namelijk daar al fout. Of, zoals Sir R.A. Fisher al zei “To call in the statistician after the experiment is done may be no more than asking him to perform a post-mortem examination: he may be able to say what the experiment died of”. Methodologen en statistici – zeker die die aan een universiteit werken – helpen graag een handje: wij worden door publiek geld betaald en denken dus graag mee voor de publieke zaak. Goed onderwijs met tevreden studenten is niet alleen in het belang van de student maar ook van de docent, wij dus.