Hoe meten?
An Damen - 04 september 2008 - Bron: Smart Business Strategies
Opleiding, zelfontplooiing, het zijn dé sleutelwoorden in onze kennismaatschappij. Niet alleen voor uzelf als mens, maar ook voor uw bedrijf. Wil u competitief blijven en meekunnen met de beste, dan moet u over goed opgeleide mensen beschikken. Maar hoe meet u dat?Meten, meten, meten. En dan vooral het weten dat daaruit volgt, houdt menig manager bezig. Ook op het vlak van opleidingen. Een recente studie van Universiteit Antwerpen in opdracht van Bedrijfsopleidingen.be ging na hoe opleidingen worden geëvalueerd en kwam tot volgende bevindingen.
Evaluatiekloof
In de studie werden twee onderzoeksvragen behandeld. Ten eerste Hoe meten bedrijven momenteel de effecten van opleidingen? en ten tweede Wat verwachten bedrijven van een toekomstig instrument dat de effecten van opleidingen meet?
Uit de resultaten kwam naar boven dat er een duidelijk verschil bestaat tussen de evaluatiemethodes die bedrijven (inkopers) hanteren, en de tools die opleidingscentra (aanbieders) gebruiken.
Bedrijven evalueren grotendeels op reactie- en leerniveau. Het reactieniveau verwijst naar percepties, emoties en subjectieve ervaringen. Er wordt aan de deelnemers gevraagd wat vond u van de opleiding? Bij het leerniveau gaat men een stap verder en wordt gepeild naar het individuele weten en kunnen. En gaat men na of de deelnemer de vooropgestelde doelen heeft bereikt. Vaak gebeurt dit aan de hand van een kennistest. Maar hier houdt het bij de meeste bedrijven dan ook op.
Aanbieders van opleidingen hanteren een heel andere aanpak. Zij focussen zich voornamelijk op het gedrags- en organisatieniveau. Bij het gedragsniveau proberen zij te achterhalen of de deelnemer de nieuwe kennis en vaardigheden ook effectief gebruikt in zijn dagdagelijkse bezigheden. Dit gebeurt onder meer aan de hand van interviews met de deelnemers zelf, maar ook met hun ondergeschikten, onmiddellijke oversten en andere betrokkenen. Tot slot bekijken zij ook het organisatieniveau, waarbij wordt bekeken of het geleerde gedrag positief bijdraagt aan het realiseren van de organisatiedoelen.
Daarnaast bleek ook dat er geen nood is aan nieuwe evaluatiemiddelen, aangezien er meer dan genoeg voor handen zijn, maar dat er eerder vraag is naar een verbreding en verdieping van de kennis rond de evaluatie van opleidingen, licht Ludo De Lee van Universiteit Antwerpen toe. We merkten eerder dat er nood is aan een duidelijk oriënteringskader dan aan nieuwe middelen. Een nieuw meetinstrument voor de toekomst lijkt dus niet meteen nodig. Er is genoeg voor handen, maar wat er is, moet duidelijker in kaart worden gebracht en worden aangeleerd.
ROI
En het ROI-niveau dan? Wat nog opmerkelijker is dan het verschil in aanpak tussen bedrijven en opleidingscentra is dat geen enkele van hen evaluaties doet op ROI-niveau en dat terwijl bijna iedereen binnen de opleidingsmarkt roept dat ROI zo belangrijk is. Wij legden ons oor te luister bij de onderzoekers, inkopers en aanbieders en vroegen hen hoe dit kan.
Onderzoekers:
Wij kwamen in ons onderzoek inderdaad tot de vaststelling dat geen enkel van de 339 ondervraagde bedrijven een evaluatie op ROI-niveau uitvoerde. En toch geven bedrijven tegelijkertijd aan dat ze in de toekomst meer op dit niveau willen evalueren. (Ludo De Lee, Universiteit Antwerpen)
Bedrijven:
ROI gaat over geld, maar de return van een opleiding is zeer moeilijk in geld omzetbaar. Zelfs al meet en ervaar je de gedragsverandering , dan nog is het een gokspel om daar een waarde op te plakken. Als een developer door beter te leren communiceren een aantal bugs niet maakt, hoe meet je dat? Je kan wel zien dat de bug count naar beneden gaat, maar er zijn veel factoren die daar een invloed op hebben. (Gerrit Cornelis, director Mediagenix)
Opleidingscentra:
Wij evalueren wel op gedragsniveau, maar ROI is veel moeilijker. We kunnen bijvoorbeeld wel nagaan of er meer projecten zijn waar een concreet plan voor bestaat, of de kwaliteit wel meten, maar er komen zoveel factoren kijken bij de berekening van de ROI dat het effect moeilijk af te zonderen is. (Michel Coens, verantwoordelijke training & coaching bij Prosource)
Het meten en bepalen van de ROI van een opleiding lijkt dus voor heel wat partijen nog een brug te ver. Een erg complexe brug, zo blijkt. De berekening en vooral het aantal bepalende factoren zijn te uitgebreid en te ingewikkeld om tot een betrouwbaar afgelijnd resultaat te komen. Wat is bijvoorbeeld de ROI van minder stress, omdat je je e-mails beter hebt leren beheren?, vraagt Peter Coppens, business unit manager van Xylos zich af. Het berekenen van de ROI is gewoon onvoorstelbaar complex én duur. Na een tijd kan je beginnen met de ROI van de ROI te berekenen, voegt hij er al lachend aan toe.
Maar hoewel het moeilijk te bereken is, blijft iedereen overtuigd van de expliciete of impliciete- meerwaarde van opleidingen. Opleidingen kunnen bijvoorbeeld een meerwaarde betekenen als motivator, zegt Peter Van der Elst van Progress Software. Sollicitanten vragen steeds vaker naar een opleidingstraject. Als werkgever kan je hier dus zeker een meerwaarde bieden. Bovendien gaat iedereen ervan uit dat iemand die een opleiding volgt, sowieso extra bagage meekrijgt. De vraag is uiteraard wat hij met die bagage doet, besluit Peter Coppens van Xylos. Maar los daarvan is en blijft opleiding gewoon noodzakelijk. Het is een marktgedreven aspect.