Interview: Irene van der Staaij, auteur van het Statistisch Handboek Studiedata

Vrijdag 14 februari lanceert de zone Studiedata het Statistisch Handboek Studiedata (SHS) bij SURF in Utrecht. Vandaag praten we met Irene van der Staaij, auteur van het SHS over het belang van een statisch handboek voor het analyseren van studiedata en hoe het zal bijdragen aan de kwaliteit van het hoger onderwijs.

Het Statistisch Handboek Studiedata wordt 14 februari gelanceerd. Vertel, waarom is dit belangrijk?

“Er wordt momenteel veel gewerkt met studiedata. Op hogescholen en universiteiten wordt er gekeken naar studentpopulaties en hoe zij zich bewegen binnen instellingen en opleidingen. Het gaat dan over welke keuzes ze maken in hun studie, welke vakken ze volgen, welke stappen ze zetten rond bachelor- en masterdiploma’s. Vaak gebeurt dit aan de hand van tabellen of grafieken van de data, waarin bijvoorbeeld een verschil tussen twee groepen te zien is. Om te kunnen borgen dat het waargenomen verschil ook statistisch significant is, is er meer nodig. Daarom is het SHS van belang.”

Wat gaat het hoger onderwijs hier concreet aan hebben? Hoe verbetert het de onderwijskwaliteit?

“Je kunt jezelf veel beleidsvragen stellen die je met behulp van studiedata zou kunnen beantwoorden. Soms zie je een verband in studiedata, maar weet je niet zeker of je je conclusies wel met zekerheid kan trekken. Het hangt van de omvang en samenstelling van je data af, hoe je met het SHS je vragen kunt beantwoorden. Het SHS gaat vooral helpen om verbanden te toetsen op het niveau van groepen studenten. Als je bijvoorbeeld bevestigd ziet dat bepaalde groepen op een bepaald punt significant meer studievertraging oplopen, kun je studiebegeleiding gerichter organiseren.

Je kunt dan bijvoorbeeld meten of er een verschil is in het aantal uren dat een student studeert voor en na een tutorgesprek. Een ander voorbeeld is dat je bepaalde cursussen kunt toetsen, bijvoorbeeld een cursus voor studiegedrag, waarin je studenten leert studeren. Een studieadviseur kan vragen stellen als: Studeren studenten na zo’n cursus meer of minder?  Of hebben studenten na het volgen van de cursus het gevoel dat ze hun studie beter aankunnen?”

Wie gebruikt straks het Statistisch Handboek Studiedata? En hoe doen ze dat?

“Iedereen die binnen de hoger onderwijsinstellingen met studiedata werkt kan het SHS gebruiken. We hebben het SHS geschreven voor mensen die in hun eigen opleiding statistiek hebben gehad en dus een bepaalde basiskennis hebben. In het SHS herhalen we de grootste en belangrijkste vragen voor het werken met data.

We hebben het SHS ontworpen naar voorbeeld van het Statistisch Handboek van het Amsterdam UMC. We hebben een overzicht gemaakt van de meest gebruikte statistische toetsen met uitleg hoe deze toetsen gebruikt moeten worden. Het gebruik van het SHS begint met een aantal basisvragen: Wat voor type data heb je? Als dit numeriek is, is de data normaal verdeeld? Wanneer het om categorieën gaat, is het ordinaal of nominaal? Welke vergelijking doe je? Vergelijk je groepen met elkaar? Die stappen worden van tevoren gezet, zodat je bij de juiste toets uitkomt.

Bij elke toets staat een casus uit het hoger onderwijs ter illustratie zodat duidelijk wordt hoe de toets gebruikt kan worden en waarvoor. Daarnaast staat beschreven wat de voorwaarden zijn om elke toets te kunnen gebruiken, en wat een logische manier van rapporteren is.

De kracht van het handboek is dat elke toets een uitwerking heeft met meerdere programmeertalen: R, Python en SPSS. Het fijne voor gebruikers van het SHS is dus dat niet alleen de denkstappen staan uitgelegd, maar ook de bijbehorende code wordt aangeboden in de taal die je voorkeur heeft.”

Je bent auteur van het Statistisch Handboek Studiedata. Hoe ben je aan de slag gegaan?

“Het SHS is vanuit de Versnellingszone Studiedata geïnitieerd. Eerst heb ik met mijn collega’s allerlei casussen verzameld die beantwoord kunnen worden met studiedata uit het Hoger Onderwijs. Deze casussen hebben we toegewezen aan toetsen en per toets zijn we het handboek gaan uitwerken. Daarop volgde een uitgebreid reviewproces door collega’s uit het hoger onderwijs die betrokken zijn bij de zone Studiedata en VU Analytics. In het reviewproces werkten wetenschappers en data scientists van universiteiten (o.a. Vrije Universiteit Amsterdam en Erasmus Universiteit Rotterdam) en hogescholen (o.a. Hogeschool Leiden en Hanzehogeschool) mee.

De diversiteit in de achtergrond van mensen die aan het SHS werkten gaf een mooie dynamiek. Ik heb zelf een achtergrond als docent wiskunde in het voortgezet onderwijs en heb gewerkt met statistiek vanuit de neuropsychologie. Tijdens het ontwikkelingen van het SHS, kwam het weleens voor dat iemand met een wiskundige achtergrond anders keek naar hoe ik de informatie in eerste instantie heb opgeschreven, bijvoorbeeld door de informatie iets te versimpelen. Dan kom het vaak neer op de vraag: gaan we voor de precieze wiskundige correctheid, of voor de bruikbaarheid van het SHS?

We zijn met een aantal toetsen begonnen en hebben die zover mogelijk uitgewerkt. Dat lanceren we op 14 februari in Utrecht. Het SHS zal worden uitgebreid met meerdere analyses die gedaan kunnen worden. We werken na de lancering verder aan regressies en andere analyses. Uiteindelijke streven we naar een zo compleet mogelijke set van bruikbare statistische toetsen om instellingen die aan de slag willen met studiedata zo goed mogelijk te ondersteunen.”