Kritiek bij PISA-voorstelling van Inge De Meyer (U Gent) vandaag in de commissie onderwijs

1.PISA is volgens De Meyer bijzonder interessant omdat de vragen niets te maken hebben met de schoolse leerinhoud en curricula. Is PISA interessanter dan TIMSS om de kwaliteit van het onderwijs te meten? Nee.

           "PISA gaat enkel  na of de leerlingen kunnen redeneren over wiskundige situaties.", aldus De Meyer.  TIMSS sluit wel aan bij wat de leerlingen in klas geleerd hebben, bij de leerplannen.  Volgens mij is TIMSS interessanter omdat  die test meer aansluit bij de kwaliteit van het genoten onderwijs.  Op basis van PISA  is het veel moeilijker om te oordelen over de kwaliteit van het onderwijs.  

PIS       PISA is ook meer een taal- en intelligentietest. Precies ook door die lange talige contextopgaven voor wiskunde  behalen leerlingen die minder talig zijn, minder vlot Nederlands kunnen lezen, een onderschatte score.  Een onderschatting dus van hun wiskundige geletterdheid. Jammer dat we na 2003 niet meer mochten participeren aan TIMSS-2^de jaar s.o. Volgens sommigen omdat Vlaanderen te goed scoorde voor TIMSS.

            Tussendoor: ik hoorde De Meyer ook  stellen ‘WE kozen vragen’… Ik dacht dat de vragen sinds PISA-2012 eindelijk voor alle landen dezelfde waren. Voorheen was dit niet het geval. Zo stellen sommigen dat de grote achteruitgang van Finland sinds 2012 ook mede een gevolg is van het feit dat de leerlingen nu in alle landen dezelfde vragen voorgeschoteld krijgen.

2. Opnieuw  verzwegen conclusie over belang van directe instructie.

Ook bij de voorstelling vandaag verzweeg Inge De Meyer eens te meer een belangrijke PISA-conclusie

“Het meest interessante luik van de PISA-studie   is o.i. Policies and Practices for Successful Schools. PISA ging ook voor het eerst  grondig na hoe het komt dat de leerlingen in bepaalde landen veel hogere scores behalen dan in andere landen. Deze PISA-studie wees uit dat er in hoogscorende landen veel meer aandacht wordt besteed aan directe, leerkrachtgeleide en systematische instructie. Deze conclusie werd zowel vastgesteld voor wetenschappen als voor wiskunde.”

Bij de vragen achteraf wees Koen Daniëls (N-VA) op die niet vermelde conclusie. Reactie van De Meyer: dit hebben we niet bevraagd voor Vlaanderen en daarom hebben we ze ook niet vermeld in ons rapport.  Commentaar: Die conclusie is gebaseerd op bevraging in veel landen en is dus ook relevant voor het Vlaams onderwijs

Daniëls voegde er aan toe dat dit een belangrijke conclusie  ook haaks staat op de gangbare opvatting waarbij directe instructie meestal als negatief voorgesteld wordt.   Er volgde geen reactie van De Meyer, maar de Leuvense prof. Bieke De Fraine (voorsteller TIMSS-rapport) voelde zich geroepen om hier even tussen te komen in het debat. Ze weet  immers dat precies de universitaire onderwijskundigen – ook van de KU Leuven - verantwoordelijk zijn voor de propaganda van de zelfontdekkende/constructivistische aanpak. 

          De Fraine: “Maar ik vertel nu ook toch aan mijn studenten dat er in feite niets mis is met directe instructie.  Men is teruggekomen van de zegeningen van het  zelfontdekkend leren en van de leraar als coach on the side. En onderzoeksgericht leren kan maar werken als dit sterk gestuurd wordt door de leerkracht. De  recente conclusie van PISA stemt ook overeen met andere wetenschappelijke studies.

3.  Geen score meer berekend voor aantal veerkrachtige leerlingen. Waarom niet? Uivluchten.

Bij PSA-wiskunde -2012 bleek dat Vlaanderen veel ‘veerkrachtige’ (resilient) leerlingen telde: 10%. Dit zijn leerlingen uit lagere sociale milieus die een topscore behalen, leerlingen die een sociale doorstroming  realiseren.  Dit was veel en meer dan in landen met een uitgestelde studiekeuze.

De Meyer stelt dat ze voor Vlaanderen die score niet meer berekenden omdat  ze misleidend zou zijn. Reden: In  die berekening  betrekt PISA volgens haar te veel laagpresterende landen en dit zou een vertekend beeld opleveren.  Maar de vergelijking van het aantal Vlaamse veerkrachtige leerlingen met het aantal in Frankrijk Nederland, Finland … is toch verhelderend.  We vermoeden dat de Gentenaars die score niet meer willen berekenen omdat  ze te positief uitviel voor Vlaanderen.

          Daarnaast zou een vergelijking van het aantal Vlaamse veerkrachtige leerlingen in 2015 met het aantal in vorige PISA-edities toch ook interessant zin.

4 Misverstanden over leerlingen die PISA-basisniveau niet behalen & hopeloos verloren zouden zijn

Het aantal leerlingen dat het zgn. basisniveau niet behaalt is voor PISA-2015  toegenomen. We lezen in het rapport: “De toename van de laagpresteerders  vertoont zich niet enkel in Vlaanderen. In Nederland tekenen zich bijvoorbeeld vergelijkbare evoluties af, ook met betrekking tot de laagpresteerders. In Finland is de dalende trend voor wiskunde en wetenschappen zelfs het grootst van alle deelnemende landen.”  Voor wiskunde nam het percentage tussen 2012 en 2015 toe van 15,4% tot 16,9% De toename sinds 2003 is een stuk groter.  Het OESO-streefdoel op termijn is minder dan 15% van de leerlingen onder basisniveau.

PISA en De Meyer omschrijven het begrip basisniveau (= PISA-niveau 2)  als het minimale niveau om in de maatschappij goed op eigen benen te kunnen staan; het zou gaan om   leerlingen die  zich  moeilijk zullen  kunnen redden in de maatschappij.

En uit feit dat voor TIMSS-4de leerjaar bijna alle leerlingen het basisniveau wiskunde behaalden (99%) en voor PISA-wiskunde 17% het basisniveau niet behaalden, leidden bepaalde commissieleden  af dat  het lager onderwijs er wel goed in slaagt de zwakkere leerlingen mee te trekken, maar ons s.o. niet. De PISA-verandwoordelijke en TIMSS-verantwoordelijke De Fraine hadden geen commentaar bij die uitspraak.

We hebben al een paar keer uitgelegd dat basisniveau voor TIMSS iets anders betekent dan basisniveau voor PISA.  Bi onze laatste deelname aan TIMSS-wiskunde-2003  in 2de jaar s.o. behaalden ook bijna alle 14-jarigen ( 98 à 99 %)  het basisniveau. Voor PISA-2003-wiskunde behaalden een 12 % dit basisniveau niet. Waar komen die grote  verschillen vandaan?.   

Twee verklaringen: *Bij TIMSS-2de jaar s.o. zijn alle leerlingen al geconfronteerd met wiskunde tot het 2de jaar s.o. Bij PISA-15-jarigen zijn ook leerlingen betrokken uit 1ste, 2de en 3de jaar die nog deel van bevraagde wiskunde niet gekregen hebben. ( En voor Vlaanderen participeren ook de buso-leerlingen.)

Veel van die leerlingen zullen later nog het basisniveau behalen. Het is dus veel minder dramatisch dan wordt voorgesteld. Die 15-jarigen zijn dus niet reddeloos verloren .  * En voor TIMSS-wiskunde 14-jaringen behalen de leerlingen wel het basisniveau! TIMSS test meer de echte en schoolse wiskunde uit de wiskunde als vakdiscipline. PISA meet veel minder goed de echte wiskunde-kennis, en  is veel meer  een taal- en intelligentieproef. Door de talige contextopgaven wordt het wiskundeniveau van anderstaligen ook  onderschat. 

Besluit: ten onrechte wordt gesteld dat ons basisonderwijs heel sterk is voor onze zwakkere leerlingen en ons secundair onderwijs heel zwak. Uit TIMSS bleek ook telkens dat onze lagere cyclus een prima scoorde behaalde voor de zwakkere leerlingen. 

5. De Meyer pakte ook eens te meer uit met de prestatiekloofmythe

De prestatiekloofmythe stak naar aanleiding van PISA-2015  eens te meer de kop op. En De Meyer pakte er op 6 december en vandaag in de vergadering van de commissie onderwijs weer mee uit.

In reacties op PISA-2015 hoorden we beleidsmensen ( ook minister Crevits), de media ... weer lamenteren over de grote kloof.  Bart Eeckhout b.v. in ‘De Morgen‘ van 9 december: “Nergens in Europa is de onderwijskloof tussen kinderen van hier en van vreemde oorsprong zo groot als in Vlaanderen. Dat zou ons allemaal moeten doen revolteren. Ook volgens Kathleen Cools in Terzake wees die kloof op ‘het failliet van het onderwijs’.  

PISA berekent prestatiekloven op basis van het puntenverschil tussen 5% zwakste en 5% sterkste leerlingen, een hoogst controversiële praktijk. Dan blijkt dat die kloof ook in sterk presterende landen als Singapore  vrij groot is - net als in   Vlaanderen . Hieruit trokken minister Vandenbroucke,  beleidsmakers,onderwijssociologen ...  in 2006 al ten onrechte de conclusie dat  het Vlaams onderwijs wel sterk is voor de sterke leerlingen, maar zwak voor de zwakkere. De pleitbezorgers van een brede eerste graad grepen/grijpen de prestatiekloof als argument aan. 

Zo'n kloofscore wordt  verkeerd geïnterpreteerd. (In de volgende paragraaf tonen we ook aan dat er grote problemen zijn met de steekproef van de 5% zwakste leerlingen.) Een grotere kloof is veelal eerder een gevolg van kwalitatief hoogstaand onderwijs. Degelijk onderwijs leidt niet enkel tot hogere scores bij zwakkere leerlingen, maar tegelijk profiteren de betere leerlingen nog iets meer van die hoge kwaliteit;  en wordt de kloof dus ook groter.  Precies door de uitmuntende prestatie van de 5% sterkste leerlingen wordt de kloof met de 5% zwakste groter.  Dat is ook absoluut zo in topland Singapore.  In landen als Zweden waar zowel de sterkste leerlingen als de zwakkere leerlingen zwak presteren, is de prestatiekloof  klein.  Om de kloof te verkleinen is het ook gemakkelijker om de beste leerlingen te laten onderpresteren, dan om het niveau van de zwakkere te verhogen.   

De kloof berekenen op basis van de 5% uitersten is ook onverantwoord, omdat het hier om uitersten gaat en omdat de steekproef van de 5% zwakste  15-jarigen sterk kan verschillen van land tot land.  In Vlaanderen participeren ook de buso-leerlingen aan PISA en die bevinden zich soms nog in het eerste jaar s.o.; in andere landen nemen de zwakste leerlingen vaak minder deel aan PISA. Tot die 5% zwakste behoren in Vlaanderen ook veel anderstalige leerlingen; landen als Finland tellen opvallend minder anderstalige en allochtone leerlingen. De steekproef voor de laagste 5% is dus niet echt betrouwbaar en vergelijkbaar.  

Maar Inge De Meyer,  minister Crevits, Caroline Gennez (Sp.a), Elisabeth Meuleman (Groen), onderwijssociologen …  interpreteren de kloof nog steeds als betrouwbaar en als iets absoluut negatief i.p.v. eerder positief.

6.  Onderschatting van aantal leerlingen met allochtone achtergrond en van invloed  van onderschatting op gemiddelde score en op  aantal zwakkere leerlingen

*Een allochtone leerlingen zijn  voor PISA enkel leerlingen die geboren zijn in Vlaanderen en die minstens 1 ouder hebben die ook in Vlaanderen geboren is. Dus: de vele leerlingen met 1 Turkse ouder hier geboren en met de andere ouder  geboren en getogen in b.v. Turkije, en die later  via huwelijksmigratie  naar Vlaanderen gekomen is, heeft volgens PISA geen allochtone achtergrond.  Er zijn nochtans heel wat van dergelijke leerlingen.

Sinds PISA-2000 is ook dit aantal  ‘niet door PISA erkende allochtone’ leerlingen gevoelig toegenomen. De achteruitgang van de PISA-autochtone leerlingen sinds 2000 zou dus ook een en ander te maken kunnen hebben met de toename van dergelijke leerlingen bij de populatie die door PISA als autochtoon bestempeld wordt.

*Volgens De Meyer zou de achteruitgang van het gemiddelde én toename van het aantal zwakke leerlingen niets e maken hebben met de  de toename van de groep PISA-allochtone leerlingen - aangezien die groep ongeveer eenzelfde score behaalt (446 punten) als bij vorige PISA-edities. Maar aangezien die groep kwantitatief gestegen is en een lage score behaalt, wordt het algemeen gemiddelde toch door die toename omlaag gehaald en stijgt ook het aantal zwakkere leerlingen.  En meer 'zwakke' leerlingen haalt ook de score van de andere leerlingen in een tso/bso-klas naar omlaag.

De Finse onderwijskundige PASI Sahlberg stelde dat de grote daling van de  Finse PISA-score en de verdriedubbeling van het aantal zwakke leerlingen mede een gevolg is van de toename van het aantal allochtone leerlingen. De Meyer stelde dat echter dat volgens haar  de  Finse achteruitgang niets te maken heeft met de toename van het aantal allochtone leerlingen. 

De Meyer beweert dat ze in Finland die sterke achteruitgang niet echt kunnen verklaren. De leerattitudes van de leerlingen zouden sterk gedaald zijn.  De daling kan volgens haar  ook niets te maken hebben met de volgens haar ‘uitstekende ’universitaire opleiding. De daling zou volgens haar  mede het gevolg kunnen zijn   van het feit dat die ‘goed opgeleide’ leerkrachten achteraf geen bijscholing meer volgden.  (In Finland zijn er wel onderwijsdeskundigen die wijzen op de te praktijkvreemde opleiding van de universitair opgeleide leerkrachten. Een analoge kritiek beluisteren we in het heel zwak scorende Frankrijk.) 

Een commissielid merkte terloops op: "het tot en met verheerlijkte Finland blijkt nu toch geen succesrecept te bieden. " (Al meer dan 10 jaar  tonen we aan dat dit niet het geval is en dat een aantal   beleidsmakers, onderwijskundigen, sociologen, redactieleden van kranten, de VRT … enkel sprookjes vertelden over Finland. Veel Finlandse ondewijsdeskundigen  en leraars vertellen allang een veel minder positief verhaal over hun land.

7. Na de eerste voorstelling van PISA op 6 december lazen we overal dat uit PISA bleek dat de allochtone leerlingen in Vlaanderen minder onderwijskansen kregen dan in andere landen. De Meyer gaf toe dat nu wel toe dat een landenvergelijking van de  groep allochtone leerlingen uiterst moeilijk is. “Zo laten landen als Australië enkel migranten toe met een bepaald ontwikkelingsniveau”, aldus De Meyer.  Ook Canada selecteerde;  en dan krijg je soms landen waar de allochtone leerlingen zelfs  beter scoren dan de autochtone.

Bieke De Fraine merkte hierbij terloops en  terecht op dat prof. Dronkers er op gewezen had dat landenvergelijkingen moeilijk zijn, omdat de herkomstlanden, de cultuur, godsdient …van de leerlingen een belangrijke rol speelt, maar PISA onderzoekt die achtergrondskenmerken niet.

De Meyer  verzweeg ook een belangrijke conclusie over de allochtone leerlingen. Prof. Wim Van den Broeck had dit nochtans al gesignaleerd:  "In PISA-rapport (deel 1)  treffen we op pag. 440 (tabel I.7.15a) een belangrijke conclusie aan  waar nog niemand aandacht aan besteedde: verschillen tussen autochtone leerlingen en leerlingen met migratieachtergrond verkleinen sterk na controle voor zowel SES en thuistaal, tot een verschil dat zeer vergelijkbaar is met veel andere landen. Landen als b.v. Denemarken, Estland, Finland, Zweden, Duitsland, en Japan hebben verschillen die minstens zo groot zijn (als België). Dit betekent dat dit verschil niets kan te maken hebben met ons onderwijssysteem. Dit stemt overeen met de analyses van Prof. Jaap Dronkers en ook met mijn analyses van PISA 2012. Conclusie: de demografische veranderingen (achtergrondskenmerken) verklaren het hele plaatje."  Prof. Jaap Dronkers toonde herhaaldelijk aan dat PISA geen rekening hield met de verschillende achtergrondskenmerken van de allochtone leerlingen in de verschillende landen (zie punt 2.1). Prof. Van den Broeck voegde er ook nog aan toe:  "Het is tevens opmerkelijk dat de Gentse PISA)verantwoordelijken voor ‘Vlaanderen’ de verschillen tussen allochtone en autochtone leerlingen niet apart berekenden.”

P.S. De Meyer beweerde dat in de media een waarheidsgetrouwe voorstelling van PISA-2015 was verschenen.  

Volgens ons en vele anderen was dit meestal niet het geval.