Examens met  meerkeuzevragen: toepassen van giscorrectie en voorstel alternatieve verbetermethodes. Hoe partiële kennis eerlijk belonen? Bijdrage van Paul Dudal

Paul Dudal schreef in Onderwijskrant nr. 170 (juli 2014: zie www.onderwijskrant.be) een gestoffeerde en originele bijdrage over de beoordeling van meerkeuzevragen en de vraag of we al dan niet een giscorrectie moeten toepassen. We citeren even de belangrijkste passage (punt 6) waarin Dudal een origineel voorstel publiceert waarin hij pleit voor het eerlijk belonen van partiële kennis. Het laten aanstrepen van die afleiders die men met zekerheid als fout herkent staat hierbij centraal (Raf Feys, hoofdredacteur Onderwijskrant)

6. Partiële kennis eerlijk belonen

Bij de reeds besproken varianten (zie bijdrage op www.onderwijskrant.be) wordt er een examen opgesteld met meerkeuzevragen, waarbij één alternatief het juiste antwoord is. De opdracht is steeds om dit ene juiste antwoord aan te duiden. Bij mc-examens wordt zelden afgeweken van dit klassieke model.

In de meeste artikels of bedenkingen over deze examenvorm en  vooral over  het  bijhorende         antwoordgedrag, lezen we dat studenten veelal niet blind gokken bij vragen waarvan ze het ene juiste antwoord niet kennen. Ze zullen integendeel eerst de afleiders uitsluiten waarvan ze zeker weten dat die fout zijn. Pas daarna wordt er gegokt uit de 3 of zelfs 2 resterende alternatieven. Deze veelgevolgde antwoordstrategie wordt aangeduid als beredeneerd gokken, waarbij de kans op een treffer wordt verhoogd. Bij n=4 wordt in die gevallen de succeskans 1 op 3 of zelfs 1 op 2.

Maar, zelfs bij kiezen uit 3 of uit 2 overblijvende alternatieven is er de ongewenste invloed van het toeval en blijft de kans op een juiste/foute gok steeds aanwezig. Individuele studenten scoren, zelfs bij gelijke zekere en partiële kennis, zelden exact hetzelfde resultaat.

Dan volgt een logische vraag. Wordt blind en beredeneerd gissen (en dus de rol van het toeval) niet grotendeels opgelost, indien de student als opdracht krijgt om bij elke vraag die alternatieven (of afleiders) aan te duiden die hij als ‘zekere’ fouten herkent. In plaats van te moeten kiezen voor het ene juiste antwoord, kan hij bij deze ‘omgekeerde’ instructie, genuanceerd reageren en ofwel 3 of 2 of 1 of geen enkel alternatief aanduiden als ‘zekere’ fout.

We blijven bij ons voorbeeld van een examen met 40 meerkeuzevragen met steeds één juist antwoord en drie foute afleiders. Het examen blijft dus voor de student volledig identiek wat betreft de opstelling naar inhoud en vorm en ook qua denkopdracht.  Bij  zoveel  mogelijk  vragen  moet  het   ene   juiste antwoord worden herkend. Alleen de manier om het antwoord  aan  te duiden,  verandert. De aanwezige partiële kennis (kunnen uitsluiten van foute afleiders) die anders ook (maar als beredeneerd gissen) de score meebepaalt, wordt hier op een rechtstreekse en eerlijke wijze beloond.

We laten onze student A het examen beantwoorden volgens de nieuwe instructie. Bij de 24 vragen waar hij zeker is van het juiste antwoord, duidt hij de drie afleiders aan (drie bolletjes kleuren: de drie foute antwoorden). Hij scoort hier 24 x (3 x 1/3) = 24 punten. Bij 6 vragen herkent hij 1 foute afleider en duidt die aan. Hij krijgt hiervoor 6 keer 1/3 = 2 punten. Bij 6 vragen ziet hij dat 2 afleiders fout zijn en scoort hij  6 x 2/3 = 4 punten. Bij 4 vragen herkent hij geen enkele afleider als fout en zal hij niet gissen (ook al kan dat, maar het levert hem niets op).

De totaalscore van student A wordt 24 + 2 + 4 + 0 = 30/40. Belangrijk is dat bij deze instructie en bij dit antwoordgedrag, gokken en dus de rol van het toeval worden vermeden. Alleen de ‘zekere’ kennis (van het ene juiste antwoord) en de ‘zekere’ partiële kennis (de als fout herkende afleiders) hebben de score bepaald en hierbij is niet gegokt.

We geven nu meer uitleg over deze alternatieve manier van antwoorden en punten scoren. Voor elke afleider die als foutief antwoord wordt herkend en aangeduid, krijgt de student 1/3 punt (bij n = 4). Indien hij 2 afleiders per vraag juist aanduidt, krijgt hij 2/3 punt en als hij ziet dat alle afleiders fout zijn en hij dus het ene juiste antwoord weet, scoort hij 1 punt (de 3 afleiders als fout herkennen =3 keer 1/3). Zowel zijn zekere kennis, maar ook zijn partiële kennis worden rechtstreeks beloond. Alleen wanneer hij geen enkel alternatief kan uitsluiten, haalt hij (terecht) geen puntenwinst. Hij kan dan wel gokken, maar dit levert hem niets op. In dit geval van lukraak gissen, duidt hij op toeval bij elk van die vragen 3 alternatieven aan. Hij heeft hierbij slechts 1 kans op 4 dat hij volledig juist de 3 afleiders kiest (dus 1 punt), maar hij heeft 3 kansen op 4 dat hij 2 afleiders samen met het ene juiste antwoord aanduidt. In die gevallen is zijn kans 3 keer – 1/3 (telkens: 2 keer 1/3 - 1).

Wij geven alle mogelijke scores bij een meervoudige keuzevraag (n=4) waarbij de instructie  wordt gegeven om de drie of zoveel mogelijk foute antwoorden te herkennen en aan te duiden.

*1: men kent het juiste antwoord en duidt de drie foute antwoorden aan (= 3 x 1/3). Dit is de situatie van de ‘zekere en volledige’ kennis.

*2/3: er worden 2 van de 4 alternatieven als fout antwoord herkend en aangeduid. Er is een partiële kennis over het ondervraagde item.

*1/3: van 1 van de afleiders is men zeker dat die fout is. De partiële kennis is hier minder groot en wordt dus ook minder beloond.

*0: men kan geen enkele van de alternatieven uitsluiten. Men geeft geen antwoord of men gokt lukraak (op toeval 3 opties aanduiden).

*-1/3: men duidt 3 alternatieven aan, maar 1 van de 3 is het ene juiste antwoord. Het juiste alternatief als een fout aanduiden, wordt bestraft: er wordt 1 punt afgetrokken bij het kiezen van het juiste   antwoord als een foute oplossing op de vraag.

*-2/3: men duidt 2 fouten aan, maar 1 van de 2 is het ene juiste antwoord.

*-1: men duidt slechts 1 antwoordoptie aan als fout, maar dit is het ene juiste antwoord. We mogen dit terecht beschouwen als een zware fout: slechts 1 antwoordoptie als fout zien terwijl dit precies de ene juiste oplossing is op de vraag.

Bij deze zeven mogelijke scores is het waarschijnlijk dat de drie negatieve scores weinig zullen voorkomen bij studenten die de cursus kennen. Het ene juiste alternatief (de oplossing voor het gestelde probleem) als enige fout antwoord aanduiden, wordt hierbij het strengst bestraft.

Indien verbeteren en rekenen met kommagetallen of breuken vervelend is voor de examinator, kan men de toets met 40 vragen ook quoteren op 120. Men krijgt dan volgende mogelijke scores bij de beantwoording van een vraag: 3, 2, 1, 0, -1, -2 en -3.

Bij aanduiden van de foute antwoordopties lijkt het correctiewerk  misschien ingewikkelder. In realiteit is dit nauwelijks zo. Om een examen te scoren heeft men voldoende aan twee antwoordsleutels: een eerste die het totaal van de aangestreepte afleiders optelt (aantal x 1/3 pt) en een tweede antwoord-sleutel, die de aangeduide ‘juiste’ alternatieven telt (aantal x – 1 pt).

7             Voordelen van deze instructie

Omdat bij de klassieke meerkeuzevragen het juiste antwoord als enige antwoordmogelijkheid moet worden aangeduid, komen vele studenten dikwijls in stresserende twijfelsituaties (bij de giscorrectie) of worden ze gestimuleerd tot ‘verplicht’ gokken bij onzekerheid of bij gebrek aan kennis (standard setting). In beide gevallen krijgt het toeval een reële, maar ongewenste en ook niet te meten invloed op de score van de student.

De verklaring voor deze ongunstige exameneigen-schap is dat er ofwel geen rekening wordt      gehouden, ofwel op de verkeerde manier wordt  rekening gehouden (bijv. bij beredeneerd gokken) met gedeeltelijke of partiële kennis van het bevraagde item.

Ook bij open vragen ziet men dat een examinator nuances en gradaties in zijn evaluatie inbouwt. Tussen een volledig gebrek aan kennis en een volledig juist antwoord ligt een tussenruimte van min of meer juiste antwoorden. Gedeeltelijke kennis over een onderwerp is een realiteit en mag  dus ook gedeeltelijk en meer beloond worden dan een volledig gebrek aan kennis.

Indien men akkoord kan gaan met voorgaande stelling, moet die partiële kennis ook bij mc-examens op een eerlijke en rechtlijnige manier worden beoordeeld en beloond en moet het toeval (zoals bij beredeneerd gokken en bij verplicht antwoorden) nu zoveel mogelijk worden uitgesloten.

Het voorgestelde alternatief (aanstrepen van die afleiders die men met zekerheid als fout herkent) lijkt een oplossing te zijn voor veel van de gehoorde bezwaren tegen de klassieke meerkeuzevragen. Het stimuleert de student tot een vorm van nauwgezet en afgewogen nadenken, waarbij risico        nemen en gokken (statistisch) nooit worden beloond. Alleen ‘zekere’ kennis van wat juist en van wat niet juist is, levert punten op. Voor de student is blind en zelfs beredeneerd gokken niet langer een gunstige optie of een verplichting.

Studenten krijgen de mogelijkheid om op een genuanceerde manier na te denken en te antwoorden op een voorgelegd probleem. Ze komen niet automatisch terecht in een dwingende wit-zwart situatie. Dit kan een vorm van irrelevante  examenstress en ook de tegenzin om te moeten gokken voor een flink stuk wegnemen.

Een bijkomend voordeel is dat deze antwoordvorm zwakheden in de opstelling van het examen gedeeltelijk ondervangt. Het is niet realistisch om te denken dat examinatoren nooit fouten maken bij het uitdenken van vragen en bij het formuleren van antwoordalternatieven. Zo kan het gebeuren dat knappe studenten terecht denken dat 2 van de 4 alternatieven eigenlijk een juist antwoord zijn op de gestelde vraag. In dit geval kunnen ze nog altijd met zekerheid de 2 foute afleiders aanduiden en blijft hun terechte ongenoegen over deze ingebouwde zwakheid beperkter dan indien ze verplicht worden om één juist antwoord aan te duiden (alles of niets principe). Aanstrepen van foute alternatieven schept een ruimte tot nuanceren.

Zijn er ook nadelen inherent aan deze manier van antwoorden? Er zijn lesgevers die menen dat deze antwoordvorm té expliciet de aandacht richt op ‘negatieve’ kennis en op die manier wegdrijft van het positieve zoeken naar juiste oplossingen voor een gesteld probleem.

Hierbij volgende bedenking. Bij deze antwoordvorm blijft het examen, zowel wat betreft de inhoud (de gestelde vragen, maar ook  de keuze en formulering van de alternatieven) als wat betreft de vormgeving, volledig identiek aan de opstelling en vormgeving van examens met  giscorrectie en  standard setting.

Het verschil is de manier waarop het antwoord genuanceerd wordt aangeduid op het antwoordblad. We veronderstellen dat het bedoelde denk- en op-losgedrag bij de student niet anders zal zijn. In de meeste artikels over giscorrectie en standard setting wordt trouwens bijna steeds verwezen naar kunnen elimineren van afleiders als inherente denkactiviteit om zo tot een goed doordacht antwoord te komen.

8             Bepalen van de cesuur

Bij toepassen van de klassieke giscorrectie wordt de slaaggrens gewoonlijk vastgelegd op 20/40 (10/20). Bij standard setting plaatst men de cesuur ofwel bij 25/40 (op de meetschaal 0 tot 40) ofwel op 20/40 indien men het begin van de meetschaal start op -5.

Bij de voorgestelde antwoordvariant (aanduiden en belonen van de foute alternatieven) is het niet onmiddellijk duidelijk waar de grens voor een juist voldoende moet komen. De examinator kan      oordelen dat 20 van de 40 vragen volledig juist moeten worden beantwoord. Daarnaast zal hij moeten bedenken hoe hij de toegekende bonus voor de partiële kennis beloont en meerekent om een verantwoorde slaaggrens vast te leggen. Zoals bij standard setting zou de cesuur 25/40 kunnen zijn. Terwijl bij standard setting het toeval een rol speelt en een individuele student kan straffen, is dit niet of veel minder het geval bij de methode om de foute antwoordopties aan te duiden.

*Lees de volledige bijdrage op www.onderwijskrant.be – nr. 170 (juli 2014)

*Reacties zijn welkom: raf.feys@telenet.be