Assessors’ decision-making during performance assessments in vocational education (promotieonderzoek)

Looptijd: september 2016 – september 2020

Gedurende hun beroepsopleiding leren studenten zowel op school en op de werkplek. Op de werkplek richt het leren zich op de beroepsuitoefening in de context van de werkplek. Dit is een belangrijk onderdeel van beroepsopleidingen, want dit is immers waar studenten voor opgeleid worden. De toetsing van de beroepsuitoefening vormt een uitdaging voor opleidingen, omdat dit plaatsvindt in de context van de werkplek of een situatie die daar zo veel mogelijk op lijkt. Denk bijvoorbeeld aan de beoordeling van de stageperiode. Een beoordelaar moet veel verschillende informatiebronnen over de student tot zich nemen en op waarde schatten en op basis hiervan een beslissing nemen over het functioneren van de student in de beroepspraktijk. Bij de beoordeling van bijvoorbeeld de stage gebeurt dit vaak onbewust, en vormt een beoordelaar zich over een langere periode een beeld van het functioneren van de student. De kracht van een beoordeling schuilt in de capaciteit van de beoordelaar om informatie te interpreteren, selecteren en te evalueren.

Er is veel onderzoek gedaan naar het beslissingsproces van beoordelaars bij portfoliobeoordelingen, maar onderzoek naar dit proces bij het beoordelen van beroepsuitoefening op de werkplek is schaars. Andere onderzoeken richten zich op interbeoordelaars-betrouwbaarheid als belangrijk kenmerk van betrouwbaar beoordelen. Echter, wanneer beoordelaars het met elkaar eens zijn, laat dit niet zien hoe de beoordelaars tot hun beslissing zijn gekomen. Hun (overeenkomstige) oordelen kunnen zijn gebaseerd op verschillende onderliggende bewijzen en argumenten. Wanneer we beter begrijpen hoe een beoordelingsbeslissing tot stand komt, kunnen op termijn interventies worden ontwikkeld om de kwaliteit van de beslissingen te verbeteren. Onderzoek uit andere wetenschappelijke domeinen over decision-making zijn hierbij een belangrijke bron van inzichten over het beslissingsproces en dit onderzoek heeft als doel deze inzichten te verbinden aan inzichten uit de praktijk van het beroepsonderwijs, om zo te komen tot een model van decision-making bij het beoordelen van beroepsuitoefening op de werkplek.

Het promotieonderzoek is onderdeel van het programma van het lectoraat Beroepsonderwijs, onderdeel van het Kenniscentrum Leren & Innoveren en wordt uitgevoerd in samenwerking met de Open Universiteit. 

Betrokken experts

Onderzoeker: Drs. Marlies De Vos (Lectoraat Beroepsonderwijs en Instituut Archimedes).
Promotor: Prof. dr. Elly de Bruijn (Lectoraat Beroepsonderwijs en Welten Instituut, Open Universiteit).
2e promotor: Prof. dr. Cees van der Vleuten (Universiteit Maastricht).
Co-promotor en dagelijks begeleider: Dr. Liesbeth Baartman (Lectoraat Beroepsonderwijs).

Doelstelling

Dit promotieonderzoek beoogt het beslissingsproces van beoordelaars bij het beoordelen van beroepsuitoefening op de werkplek in kaart te brengen en te analyseren. Door inzichten over dit beslissingsproces te ontwikkelen en de huidige praktijk te analyseren, wil dit onderzoek sterke en zwakker kanten van dit proces identificeren. 

Beoogde resultaten

  • Een verkenning van beoordelen van beroepsuitoefening zoals dat nu in de praktijk van het mbo en hbo plaatsvindt.
  • Inzichten over het beslissingsproces dat beoordelaars doorlopen bij het nemen van een beslissing over beroepsuitoefening op de werkplek.  

De geplande opbrengsten resulteren in zowel wetenschappelijke opbrengsten (zoals artikelen en presentaties op conferenties) als praktijkgerichte opbrengsten (zoals workshops, presentaties en samenvattingen) voor betrokkenen uit het onderwijs. 

Behaalde resultaten:

  • Ronde tafel-presentatie (2017). Beroepsbekwaamheid beoordelen: zicht krijgen op beslissingsprocessen van beoordelaars op de werkplek. Onderwijs Research Dagen 2017. 
  • Paperpresentatie (2017). Supervisor assessment of performance at the workplace in vocational education deconstructed. European Conference of Assessment in Medical Education 2017. 
  • Paperpresentatie (2018). Understanding how educators at the workplace reach judgements when assessing students’ professional performance. European Association for Research on Learning and Instruction – Special Interest Group 1 2018. 

Implementatie

Op basis van de resultaten van dit onderzoek kunnen interventies ontwikkeld worden waarmee beoordelaars geprofessionaliseerd kunnen worden in het nemen van meer valide en betrouwbare beslissingen over het functioneren van studenten in de beroepspraktijk. 

Beroepsonderwijs

Over het lectoraat

@LectBeroepsondw