Een statistisch handboek voor het hoger onderwijs

Een gemeenschappelijk groeidocument aan de hand van concrete cases

‘Ter voorbereiding op een visitatie vraagt de opleidingsdirecteur zich af of het gemiddelde tentamencijfer verandert na een tutorgesprek. Ze bekijkt de gemiddelde tentamencijfers voor en na tutorgesprekken. Welke statistische toets moet ze gebruiken? Aan welke voorwaarden moet de data voldoen?’

Het belang van statistische analyses groeit

Nu het gebruik van studiedata toeneemt, neemt ook de behoefte aan valide en betrouwbare analyses toe. Vaak volstaat voor een eerste indruk een beschrijvende statistiek in tabellen of grafieken. Maar om te bepalen of verbanden significant zijn en of een toets uitgevoerd mag worden, is meer nodig. Studiedata is niet gemakkelijk te analyseren: data is vaak niet normaal verdeeld, groepsgroottes zijn verschillend of zijn verspreid over tijd. Denk aan de verdeling van cijfers en leeftijden van studenten, een vergelijking tussen een kleine groep hbo-p studenten en een grote groep vwo-studenten, opleidingen binnen een faculteit, of de ontwikkeling van studieresultaten over de tijd. Dit maakt eenvoudigere statistische toetsen niet altijd toereikend.

Een gemeenschappelijke standaard voor statistische toetsen

We zien dat analyses verschillend worden uitgevoerd en uitkomsten verschillend worden gerapporteerd. Bestaand instructiemateriaal is nog niet toegesneden op situaties uit het hoger onderwijs. De zone Studiedata heeft daarom het initiatief genomen voor een Statistisch handboek studiedata. Het handboek draagt bij aan een gemeenschappelijke standaard, best practices –die nu nog ontbreken- en methodiek in het Nederlands hoger onderwijs voor toepassing van statistische toetsen. Het vereenvoudigt de uitvoering van statistische toetsen en versterkt de validiteit en betrouwbaarheid van beleidsadviezen. Uiteindelijk komt dit de kwaliteit van beleidsbeslissingen voor studenten ten goede.

Gemeenschappelijk groeidocument

De basis voor het handboek is een keuzemodel, waarbij twintig afzonderlijke keuzes uitgewerkt worden in tegels*. Achter iedere ‘tegel’ bevindt zich een uitleg van de regels om een toets te kiezen, een casus uit het onderwijs, de bijbehorende R-code, een uitleg van de interpretatie van de resultaten, en een uitwerking van de manier waarop de resultaten beschreven worden in een rapport. Nadat een versie met R-code is opgeleverd, volgen andere statistische pakketten en talen, te beginnen met Python en SPSS, en later STATA en Matlab.

Hands-on aanpak

De toetsen moeten direct inzetbaar zijn en getoetst worden op bruikbaarheid. Daarom wordt het handboek toets voor toets ontwikkeld en proefgedraaid vanuit de VU en gereviewd door leden van het versnellingsteam Studiedata. Inhoudelijk borgen hoogleraar Business Analytics, prof. S. Bhulai, en hoogleraar onderwijskunde, prof. M. Meeter, de kwaliteit. Ook wetenschappers van andere onderwijsinstellingen doen mee, onder andere de EUR, OU, TiU, Avans en Hanzehogeschool Groningen. We verwachten vanaf het voorjaar de eerste toetsen online beschikbaar te hebben. Als we zover zijn, melden we ons weer!

*Met dank aan de Wiki Statististiek van het AMC.