D-PAC: Competenties kwaliteitsvol beoordelen
D-PAC staat voor Digitaal platform voor het assessment van competenties. Het is een tool die ontwikkeld wordt door een projectteam van Universiteit Antwerpen, in samenwerking met UGent en Imec en met steun van het Agentschap voor Innovatie door Wetenschap en Technologie. Het doel is om een valide en betrouwbare methode om competenties te beoordelen (verder) te ontwikkelen. In het onderwijs en in educatieve settings, kan de tool worden ingezet om op een efficiënte en kwaliteitsvolle manier competenties te beoordelen. Lerenden kunnen zo een transparante en grondige beoordeling krijgen én ze kunnen zichzelf en elkaar beoordelen volgens dezelfde procedures. D-PAC wordt ook aangereikt als een feedbacktool voor de betrokkenen.
Als het gaat over competentiegericht werken in het hoger onderwijs, dan is de vraag herkenbaar naar methoden en technieken om op te volgen in welke mate studenten die competenties verworven hebben en kunnen inzetten. Competenties kunnen zelden gemeten worden met gesloten toetsen. Toepassingen en de uitvoering van praktijkopdrachten zijn niet altijd gemakkelijk te beoordelen op een betrouwbare en valide manier. Eén van de mogelijke strategieën om toch een beoordeling te geven, berust op het inzetten van de expertise van mensen in een comparatieve beoordelingsmethode, de insteek van D-PAC.
Met een voorbeeld wordt de werking van D-PAC geïllustreerd. Een reeks papers wordt opgeladen en vervolgens paarsgewijs vergeleken. De papers vallen onder de noemer ‘representaties van competenties’. Beoordelaars geven telkens aan welke van de twee representaties het best wordt bevonden. Er is een veld om feedback in te voeren en de mogelijkheden worden onderzocht hoe de verschillende feedbackmogelijkheden kunnen worden uitgerold. Voldoende bekwaam geachte beoordelaars vellen een holistisch oordeel. De verschillende papers worden op die manier gerangschikt in termen van kwaliteit.
Tekstmateriaal zoals wetenschappelijke rapporten, essays, lab-verslagen en zelfreflectieverslagen kunnen via D-PAC gerangschikt en beoordeeld worden. Ook afbeeldingen en video’s kunnen op dezelfde manier beoordeeld worden. De tool werd intussen dermate uitgetest en wetenschappelijk onderzocht, dat betrouwbaarheid, efficiëntie en validiteit voldoende werden aangetoond. Daarnaast werd duidelijk dat D-PAC ook van betekenis kan zijn om feedback voor studenten en organisaties te verzamelen en mee te nemen in het verhaal.
Resultaten en evaluatie
Het D-PAC-project heeft een stevig onderzoeksluik. Enkele publicaties:
Coertjens L., M. Lesterhuis en S. De Maeyer (2017), Teksten beoordelen met criterialijsten of via paarsgewijze vergelijking. Een afweging van betrouwbaarheid en tijdsinvestering, in: Pedagogische Studiën, jg. 94, nr.4, p. 283-303.
van Daal, T. , M. Lesterhuis, L. Coertjens , V. Donche en S. De Maeyer, (2016), Validity of comparative judgement to assess academic writing: examining implications of its holistic character and building on a shared consensus, in Assessment in Education: Principles, Policy & Practice, Routledge.
Succesfactoren en aandachtspunten
De medewerkers van D-PAC presenteerden op 7 april 2017 de volgende voordelen van beoordelen met D-PAC. Die kunnen worden beschouwd als succesfactoren.
- Vooraf hoeven geen rubrics opgesteld te worden en trainings- en intervisiesessies zijn geen noodzaak.
- Tijdens de beoordeling met D-PAC wordt de expertise van beoordelaars gebruikt, worden er holistische oordelen gecreëerd, zijn er geen orde-effecten, is de eigenlijke activiteit eenvoudig en snel en is er de mogelijkheid om een peer assessment uit te (laten) voeren.
- Nadien wordt een valide en betrouwbare rangorde gegenereerd, is het mogelijk om studenten te blijven volgen en wordt er extra informatie voor docenten ter beschikking gesteld om te blijven professionaliseren.
Een aandachtspunt bij deze methode is dat je altijd werkt met meerdere beoordelaars. Enerzijds verhoogt dit natuurlijk de validiteit: meer ogen zorgen voor eerlijkere resultaten. Anderzijds betekent dit ook dat je afhankelijk bent van medebeoordelaars. Dit kan en hoeft ook niet voor elke te beoordelen opdracht. Een aandachtspunt dat de onderzoekers daarom zeker willen meegeven, is dat het belangrijk is goed na te denken over wanneer deze methode gepast is en wanneer niet. Dit geldt uiteraard voor elke vorm van beoordelen.
Een tweede aandachtspunt heeft te maken met peer assessment. Peers blijken heel goed in staat om het werk van hun medestudenten betrouwbaar te beoordelen. De betrouwbaarheid van deze rangorde zegt enkel iets over de consistentie van de beoordelingen. Uit het onderzoek blijkt dat de beoordelingen die peers aan elkaar geven gedeeltelijk overeenkomen met de beoordelingen door docenten. We moeten dus zeer voorzichtig zijn om uitspraken te doen over de kwaliteit van het werk van studenten, op basis van een peer assessment. Peer assessment zou bovenal een lerend effect moeten hebben.
Relevante literatuur
Coertjens L., M. Lesterhuis en S. De Maeyer (2017), Teksten beoordelen met criterialijsten of via paarsgewijze vergelijking. Een afweging van betrouwbaarheid en tijdsinvestering, in: Pedagogische Studiën, jg. 94, nr.4, p. 283-303.
van Daal, T. , M. Lesterhuis, L. Coertjens , V. Donche en S. De Maeyer, (2016), Validity of comparative judgement to assess academic writing: examining implications of its holistic character and building on a shared consensus, in Assessment in Education: Principles, Policy & Practice, Routledge.