Effecten meten van taalinterventies in het hoger onderwijs
In deze presentatie deelt Luk Indesteege inzichten over effecten meten van taalinterventies in het hoger onderwijs. Die interventies kaderen binnen een gefaseerd leerproces en zijn ingebed in de opleiding.
Indesteege gaat in op de volgende vijf vragen: wat evalueren en welke effecten willen we meten, bij wie, wanneer, hoe en waarom? Een blik op mogelijke antwoorden:
Wat en welke effecten? Het doel is om te evalueren of een interventie doeltreffend is. Met behulp van een V-model kunnen doelstellingen van de interventies en de effecten ervan worden gemeten. In dit model zijn er vijf niveaus van doelstellingen, waaraan telkens een andere evaluatie is gekoppeld.
Wanneer? Evalueren kan voor, tijdens, aan het einde of na een interventie.
Bij wie? Afhankelijk van de doelstellingen, kan worden geëvalueerd bij de doelgroep van de interventies, de taalgebruikers, de leidinggevenden of de begeleiders van de interventies.
Hoe? Enkele technieken: een vragenlijst, gerichte interviews bij enkele deelnemers, steekproeven, een kennistest enz.
Waarom? Enkele motieven: geeft inzicht in het verloop van onze ondersteuningsprocessen, geeft zelfvertrouwen en voldoening, verbetert de effecten van de interventies, …
Verder geeft Indesteege enkele factoren mee die het effect van interventies verhogen. Bijvoorbeeld de doelstellingen vooraf aan iedereen duidelijk maken en een evaluatieplan maken en opvolgen.
Ook formuleert hij enkele aandachtspunten om de effecten van interventies te verhogen: motivatie van de deelnemers, transferacties voorzien en overleg met de omgeving.
Vervolgens wordt de aandacht gevestigd op enkele toepassingsklimaten die mee het effect van de interventie bepalen (Kirkpatrick).
De presentator plaatst ook vraagtekens bij ‘return on investment’ (ROI) van een taalinterventie, in het bijzonder met betrekking tot taalbeleid. Een ROI-meting is een vrij dure ecometrische studie die bovendien enkel mogelijk is indien opbrengsten om te zetten zijn in euro’s.
Tot slot geeft hij tien evaluatietips mee, bijvoorbeeld: doe iets met de antwoorden en evalueren is maatwerk.
Resultaten en evaluatie
Indesteege illustreert effectverhoging met een voorbeeld: ‘foutenshow’. Er zijn duidelijke doelstellingen en de metingen worden geëxpliciteerd. Op basis van harde en zachte data worden bevindingen geformuleerd.
Succesfactoren en aandachtspunten
- Een duidelijk kader en concrete tips bieden handvatten om effecten te meten van taalinterventies in hoger onderwijsinstellingen.
- Integreer de interventie in het competentieontwikkelingsproces van de student en in de organisatie.
- Koppel de uitkomsten van een effectmeting terug naar alle betrokkenen.
- Vertrek van realistische verwachtingen en beschouw het effect van taalinterventies steeds in de context.
- Denk na over duurzame acties en kansen, want effectmetingen vergen een zekere tijdsinvestering.
Relevante literatuur
Gielen, H. en L. Indesteege (2004), Rendement van leeractiviteiten. Effect- en ROI-meting van opleidingen, Acco.