Lage resultaten wiskunde in F & debat met Pasi Sahlberg
1. Finse PISA-verantwoordelijke over daling leerresultaten volgens PISA-2012 en onderzoek van universiteit
Helsinki. 2.Raf Feys (Onderwijskrant) in debat met Pasi Sahlberg over
niveaubewaking door de overheid
1. Zwakke leerresultaten voor wiskunde Volgens de Finse PISA-verantwoordelijke is de daling voor
PISA-wiskunde geenszins een verrassing. Hij stelt dat overigens ook uit eigen (longitudinale) studies (univ.
Helsinki) al gebleken was dat de leerresultaten wiskunde in het s.o. ondermaats
waren. Finland begint ook in te zien dat PISA heel relatief en zelfs misleidend
is en dat de overheid zelf het niveau beter moet bewaken; o.m. via metingen in
de tijd van de leervorderingen voor de (echte) vak-wiskunde. Zo vergeleek de
universiteit van Helsinki de resultaten van 2012 met deze van 2001 en stelde
een grote achteruitgang vast. Er zijn al meer dan 10 jaar klachten van docenten
wiskunde (hoger onderwijs) die stelden dat 18-jarigen al te weinig wiskunde
kenden. Ook Vlaanderen zou beter de vele miljoenen voor PISA-deelname investeren
in eigen niveaubewaking
2.In debat met Pasi Sahlberg (propagandist van
Finland als onderwijsparadijs) over belang van niveaubewaking door de overheid.
Raf Feys @pasi_sahlberg Is
recent evaluation study univ Hesinki also GERM or simpl. quality control? Lack
of inner control in Finl, Belgium ... (verduidelijking: in tegenstelling
tot Sahlberg vinden wij dat ook de overheid aan niveaubewaking moet doen en hierbij
kan werken met geregelde steekproeven. In zijn verwerping van GERM wijst
Sahlberg o.i. al te vlug landelijke toetsen af.)
Sahlberg antwoordde: Pasi Sahlberg @FeysRaf No, that is part of research programme in
that university, independent from the government.
Landelijke toetsen mogen uiteraard en het liefst ook door
een onafhankelijke instantie afgenomen worden - net zoals ditin Vlaanderen gebeurt met de evaluatie van de (minimale) eindtermen.
Waarom verzweeg Sahlberg de voorbije maanden in zijn
toepraken in tal van landen de tegenvallende leerresultaten in de studie van de
universiteit van Helsinki zowel deze van 2012 als van 2010? De resultaten van
dit onderzoek stonden haaks op PISA 2000-2009. Volgens de universiteit
behaalden de jongeren een lage score inzake quality en (sociologische) equity
(= lage relatie met scholingsniveau ouders e.d.), Volgens de universiteit was
er ook een sterke achteruitgang in
vergelijking met zelfde test in 2001. Dit was mede een bevestiging van een
onderzoek van 2010. Waarom bleef Sahlberg Finland als een onderwijsparadijs voorstellen?
In Finse commentaren op het Internet lezen we vandaag dat tal van kenmerken van het Fins onderwijs die door Sahlberg, Klasse van september j.l., ... als sterk werden voorgesteld, volgens Finse onderzoekers en de leraars zelf in feite knelpunten zijn: te weinig eisen, lesuren & huiswerk, te weinig differentiatie in nivellerende gemeenschappelijke lagere cyclus... (zie ook facebook 'Onderwijskrant actiegroep'. In Onderwijskrant schrijven we al jaren dat Finland ten onrechte als een aards onderwijsparadijs wordt voorgesteld.
Reacties Finse verantwoordelijken op PISA-achteruitgang
Reacties(en uitvluchten) van Finsebeleidsverantwoordelijken op achteruitgang op
PISA-2012 (wiskunde)
Blogbijdrage van Fin Vesa Linja-aho
Finland falls from
PISA top ten - computer games and parents are blamed (not our teacher education
as in times of PISA success)
De auteur stelt o.a. dat de beleidsmakers destijds de hoge
PISA-score op naam schreven van het Fins onderwijsmirakel. Nu zoeken ze de al
te graag de oorzaken (uitvluchten) van de lagere PISA-score(en de zwakke leerprestaties van de
15-jarigen volgens recente studie van de universiteit van Helsinki ) in
evoluties buiten het onderwijs.
Vesa Linja-aho schrijft:
Finland falls from PISA top ten - computer games and parents
are blamed (not our teacher education as in times of PISA success) Now it's
official - Finland falls from PISA-list, the source of all hype around Finnish
education system. The report is to be published on Tuesday, but the press has
accessed the report. According to the largest Finnish newspaper Helsingin
Sanomat, mainly Asian countries and Estonia have dropped Finland from top-10 of
PISA.
Why did this happen? In other magazine, the editor-in-chief
of Finnish Teacher-magazine blames the parents of the children and one emeritus
professor blames computer games and internet. Duh. The other PISA countries
don't have internet or smartphones, right?
There is still one voice of reason: in the same article,
professor Kirsti Lonka compares Finnish school to Nokia: it was good but but we
just relied on the fact and did nothing despite the world has changed.
Nevertheless, there
probably is no single reason for the drop. Increasing child poverty might be
one reason, for example.
It's kind of funny that when Finland topped the PISA list,
the official reason was our schooling system and especially our teacher
education. Now, there is no word of them...
It may come as some
surprise to educators here, but their counterparts in Finland are not as
excitedabout the high ranking afforded
to Finlands schools by PISA studies ,as they are. Many teachers and Heads
there, in truth, are slightly embarrassed about all the fuss,partly because they are aware of weaknesses
in their system, and partly because they think that PISA measures only a narrow
band of the spectrum of school learning.Finnish practitioners like many here, realise the danger and the
consequences of teaching to thetest,
rather than to learn and understand.
Gabriel Sahlgren, a Swedish academic working for the centre
right think tank CMRE,shares the view
that Finlands education system is by no means perfect. Writing in a Spectator
blog, earlier this year ,he pointed out that while Finland scores well on PISA,
this particular league table is actually designed to test everyday rather than
curriculum-based knowledge. This means that it lacks key concepts of importance
for further studies in mathematically intensive subjects, such as engineering,
computer science, and economics. This is an obvious defect: such subjects are
likely to be crucial for developed countries future economic well-being. He
continues The Finnish fan club rarely talks about its mathematics performance
in TIMSS, an international survey focusing more on curriculum-based knowledge
which plummeted over the last decade. Finnish eighth-graders today perform
slightly lower than seventh-graders did in 1999, lagging the top-scoring
nations by a considerable margin. Not so miraculous, after all, suggests
Sahlgren. Its perhaps not surprising, he says, that over 200 Finnish academics
in 2005 warned about complacency as a result of the PISA success. Others
questioned whether it represents a victory at all since important knowledge
had been sacrificed along the way.
It is also the case that the number of youngpeople in Finland obtaining higher education
degrees is not growing at the same pace as in many other developed nations.
In spring 2012, the Helsinki University Centre for
Educational Assessment implemented a nationally representative assessment of
ninth grade students learning to learn competence. The assessment was inspired
by signs of declining results in the past few years assessments. This decline
had been observed both in the subject specific assessments of the Finnish
National Board of Education, in the OECD PISA 2009 study, and in the learning
to learn assessment implemented by the Centre for Educational Assessment in all
comprehensive schools in Vantaa in 2010.
As Pasi Sahlberg points out The change between the year
2001 and year 2012 is significant. The level of students attainment has in
fact declined considerably. The difference can be compared to a decline of
Finnish students attainment in PISA reading literacy from the 539 points of
PISA 2009 to 490 points, to below the OECD average. A decline could be
discerned both among the best and the weakest students.
It is also the case thatbetween 2000 and 2009 Finnish students in the lowest socio-economic
category (Group 1) fell an astonishing 31% ,in Reading.
Source: University of Helsinki Faculty of Behavioral
Sciences, Department of Teacher of Education Research Report No 347 Authors:
Jarkko Hautamäki, Sirkku Kupiainen, Jukka Marjanen, Mari-Pauliina Vainikainen
and Risto HotulainenLearning to learn at the end of basic education: Results in
2012 and changes from 2001 http://www.helsinki.fi/cea/julkaisut/index.html
Finse leraars weerleggen mythes over Fins onderwijs
Finse leraars weerleggen mythes over Fins onderwijs
Op de Blog The Daily RIFF verschenen kritische reacties
van een paar Finse leraars op een bijdrage waarin het Fins onderwijs als een
aards paradijs werd voorgesteld. Ze weerleggen een aantal mythes over het Fins
onderwijs diemede verspreid werden door
de vele buitenlandse optredens van Pasi Sahlberg. Die mythes werden b.v. ook in Klasse van september 2013 kritiekloos
overgenomen.
Enkele Finse leraars reageerden op de bijdrage: Finland education:What's up?Van C.J.
Westerberg op die Blog. We danken leraar
Tarmo Ahvenainen die ons die
informatie doorstuurde.Zelf hadden we
als reactie op de blog-bijdrage een reactie geplaatst van de universiteit van
Helsinki over de zwakke leerprestaties van Finse 15-jarigen op een grootschalig
onderzoek van de leerprestaties voor de basisvakken. Onze kritische reactie op de verheerlijking van Finland stimuleerde blijkbaar Ahvenianen e.a. om een aantal Finse mythes te weerleggen.
1.Timo
Ojanen : Some truths but also lots of myths and partial truths here in Finland Education:What's up?
Let's
get the facts right. My information is based on having both studied (1990s) and
worked (2000s) in Finnish primary and secondary schools.
*"Finnish schools don't assign
homework, because it is assumed that mastery is attained in the
classroom." Simply not true. They do assign homework and expect it to be
completed.
*"Finland does
not give their kids standardized tests." Yes it does, but only once -
at the end of general secondary school (senior high school). The results of
these exams function as final secondary school grades which in turn play a role
in higher education admissions. Entry to senior high schools (upper secondary)
is competitive and mostly based on junior high school grades.(NvdR: Vlaanderen
heeft geen ingangsexamens voor het hoger onderwijs. De overgang naar de hogere
cyclus s.o. is blijkbaar ook minder competitief dan in Finland. We lazen
elders dat veel Finse 15-jarigen bijles volgen om toch maar binnen te geraken
in scholen voor algemeen secundair onderwijs en het liefst in de meest
prestigieuze.)
*"All teachers are required to have a master's
degree." Yes, if they want to get a "qualified" salary. But many
are working as "unqualified" and just get a lower salary and less job
security.
*"Finland has a culture of collaboration between
schools, not competition. Most schools, according to Partanen, perform at the
same level, so there is no status in attending a particular facility." There
is some status to attending particularly famous schools.
*"Finland has no private schools." Not true. They
are not very numerous but there are some. Some are funded by the government and
collect no tuition fees; others are funded by tuition fees. Schools following
Steiner pedagogy are one notable example.
*"The focus is on the individual child. If a child is
falling behind, the highly trained teaching staff recognizes this need and
immediately creates a plan to address the child's individual needs." Depends
on resources. There are individual learning plans, but things don't happen
immediately. Access to extra tuition within the school or other remedial
measures also depend on staff resources, which quite often are strained.
*"Likewise, if a child is soaring ahead and bored, the
staff is trained and prepared to appropriately address this as well."True
if the child happens to be lucky and have a supportive teacher, not
automatically.
2. Getuigenis van Tarmo Ahvenainen (leraar)over huiswerk
As a Finnish father of three children and a teacher myself,
I really don't understand where this misunderstanding of not assigning homework
in FInland stems sfrom. My children get homework every day, from almost every
subject, Admittedly, in primary school they spend only maybe 30 min daily doing
them, in secondary school ca. 30 min -1 hour. But still, there is homework, and
pupils are punished for forgetting do to their homework.
Problemen met invoering 'Passend onderwijs' (LAT-inclusie) -2
Grote problemen met invoering van (on)Passend Onderwijs in
Nederland. Wat staat Vlaanderen per 1 september bij geïmproviseerde invoering
van BNM-decreet (=LAT-inclusie: learning apart together) te wachten?
We citeren even een recente bijdrage op de BON-website.
Passend onderwijs:
voorspel voor de volgende parlementaire enquête?
Het passend onderwijs
is een enorme onderwijsverandering. Het wordt van boven door de politiek en als
afgeleide daarvan door de samenwerkingsverbanden van schoolbesturen ingevoerd
en de praktische consequenties daarvan zijn nu, korte tijd voor formele
invoering in augustud 2014 nog volkomen onduidelijk. Het is een recept voor een
parlementaire enquête in pakweg 2017.
NRC bericht over een rapport van de ECPO, de
evaluatiecommissie passend onderwijs en meldt dat de staatssecretaris moet
ingrijpen. Het EPCO reageert dan weer dat de citaten van NRC weliswaar correct
zijn, maar dat er geen advies is om op de rem te trappen. Zie ook de
publicaties van het ECPO. Kortom: zelfs over de interpretatie van de
adviescommissie heerst onduidelijkheid en daarmee zit er nog geen kind in de
klas op de goede plek.
BON meent dat de hele soap rondom het passend onderwijs
typerend is voor de onderwijsbesturing. De vermeende noodzaak voor het passend
onderwijs komt door een sterk stijgende instroom in het speciaal
onderwijs.Of dit werkelijk zo is, daar
zijn de meningen overigens over verdeeld. Is het aantal ADHD'ers geëxplodeerd
of is het onderwijs zo veranderd dat onrustige kinderen het moeilijker hebben
dan vroeger. In ieder geval is dit onvoldoende duidelijk, maar de maatregel is
al opgetuigd en de invoering ligt vast. Bij de invoering zijn regionale
samenwerkingsverbanden in het leven geroepen en het zal niemand verrassen dat
de daarbij betrokken besturen, zoals NRC meldt, vooral bezig geweest zijn met
macht en de eigen financiële positie. De invoering in de klas wordt gemakkelijk
voor zich uit geschoven. Met wat extra traininkjes lossen de leraren het wel
op. Die hebben namelijk geen keus. De invoering geschiedt overal alleen op
papier. In de regering, in de Tweede Kamer, bij de samenwerkingsverbanden en
bij de schoolbesturen. De invoering gaat straks wel, ondoordacht en met te
weinig middelen, werkelijkheid worden voor de leraren in de klas die hun
aandacht over 25 kinderen moeten verdelen, van wie een x-aantal nu met sterke
leer- of opvoedingsproblemen kampen.
Inmiddels verwacht dezelfde staatssecretaris Dekker ook dat
diezelfde leraren niet alleen passend onderwijs, maar ook onderwijs op maat
invoeren waardoor de excellente leerling nu eindelijk het geweldige (van good
naar great) onderwijs krijgt waar ministerie en belanghebbenden nu al jaren
reclame voor maken. Hoe dat moet? Simpel: docent of 'team', doe eens een
scholing of een traininkje! Wie daar wijzer van worden? Follow the money!
6 reacties
Lo: Passend onderwijs is helemaal geen enorme
onderwijsverandering. Die is in de jaren 90 voor het bo al begonnen met wsns.
Passend onderwijs is het theoretische vervolgop wsns. Terwijl wsns zorgde voorgrote fricties in steeds meer bo groepen, gooit passend onderwijs daar
nog een flinke schep bovenop.Stuitend
dat 'n organisatie als bon zo weinig weet van de bo onderwijs werkvloer.
moby:Een radioverslaggever had het over "een mooi plan op de
tekentafel, maar niemand die weet hoe het gerealiseerd moet worden"
(n.a.v. de VVD-wens leraren naar prestatie te belonen).Zo'n uitspraak geldt ook
voor 'passend onderwijs'. Het klinkt zo aardig, maar juf/meester zit met de
handen in het haar. Het krakkemikkige gebouw moet aan alle kanten gestut worden
door commissietjes, bureautjes, papieren handelingsplannen en vliegende
hulpleerkrachten.
We horen steeds hoe 'ontspoorde' jongeren zoveel baat hebben
bij een sportclub b.v.De wereld van de
sport is overzichtelijk, de regels zijn duidelijk, de doelen zijn duidelijk, de
controle is duidelijk en het wedstrijdelement stimuleert.
'Passend onderwijs' betekent dat een grote groep begint met
taak 24, een klein groepje begint bij taak 14, een ander klein groepje is pas
bij taak 2, een enkeling werkt nog in een vorig boekje en nog een klein groepje
is al bij taak 40. En DAT moet dan allemaal begeleid worden in een rekenles van
een uur. Waarbij leerlingen OOK nog eens, interactief,hun eigen oplossingsmethoden mogen inbrengen.
Ik kan het niet.
1_1_2010 :Treffend verwoord. Komt nog bij dat de leraar als de
mislukking wordt gezien en nodig bijgeschoold moet worden.En de regionale
samenwerkingsverbonden speelden hun spelletjes en verplaatsten hun papieren nog
maar een keertje van de ene naar de andere stapel
Malmaison: Ook wordt in de NRC opgemerkt dat de keuzevrijheid van de
ouders weer verder afneemt. Ik hoor soms ouders die razend zij omdat op scholen
allerlei procedures zich rond hun kind afspelen waar een beslissing over hun
kind uitkomt die zij maar te accepteren hebben terwijl zij bij het
besluitvormingsproces allen maar voor spek n bonen hebben mogen meedoen. In de
mening van de ouders is de beslissingscarrousel alleen maar pro forma geïnteresseerd.
Verder zal de uitkomst van de carrousel vaak woonplaatsafhankelijk zijn en kan
jouw kind daarbij pech hebben. Het enige wat de ouders winnen is de zekerheid
dat het naar school kan gaan. De overheid heeft er nu voor gezorgd dat aan de
leerplichtwet wordt voldaan.
Een citaat uit de NRC:
Volgens commissievoorzitter Jan Gispen betalen ouders een
hoge prijs voor passend onderwijs. Ouders krijgen minder vrijheid om zelf een
school uit te kiezen, zegt hij in een interview met deze krant. Bovendien zal
de rechtsongelijkheid toenemen doordat er grote regionale verschillen in
zorgaanbod op scholen gaan ontstaan. Daar staat tegenover dat ouders van
zorgleerlingen niet langer hoeven leuren met hun kind, doordat scholen
verplicht zijn een geschikte onderwijsplek te zoeken. Hun rechtszekerheid
neemt hierdoor toe. NRCdd251113
Studies die wijzen op zinvolheid van zittenblijven & C-attest
Studies waarin extra jaar bij zittenblijven en C-attesten zinvol bleken
De titel 'Beter van richting veranderen dan zittenblijven' in de krantenberichten naar aanleiding van een recent Leuvens onderzoek schiep veel verwarring. Dit recent Leuvens onderzoek gaat niet over zittenblijven, maar over de reacties van leerlingen bij een B-attest: het B-attest-advies volgen of toch het jaar overdoen. Zi...ttenblijven bij C-attest (= leraars die dit het meest zinvol vinden) werd in deze studie niet onderzocht.
Ten onrechte werd in de kranten en in de media indruk gewekt dat volgens die studie zittenblijven in geen geval zinvol is. Daarom verwijzen we even naar een paar studies waarin wel geconcludeerd werd dat zittenblijven vaak zinvol is.
1.Prof. Jan Van Damme in Loso-studie van 1999: zittenblijven is zinvol
Zittenblijven in het s.o. werd b.v. onderzocht in de Leuvense loso-studie van 1999. Conclusies van prof. Jan Van Damme: "Zittenblijven werkt, al heeft het geen goede naam, aldus prof Jan Van Damme op basis van zijn Leuvens loso-onderzoek " "Met een jaartje zittenblijven maakt de leerling het goed en presteert hij weer (zie bijdrage in Klasse nr. 97.)
2. Recente enquête van EenVandaag bij scholieren : meeste leerlingen heel positief over extra jaar
EenVandaag : "Nederlandse scholieren vinden zittenblijven wel zinvol: 67% van de zittenblijvers zegt achteraf dat het extra jaar juist goed is geweest." Verslag over TV-enquête op blog Scholieren.com 16 juli
"Zittenblijven is zo erg nog niet"
Een schooljaar blijven zitten? Van tevoren lijkt het een ramp, maar de meeste zittenblijvers zijn na afloop best positief over hun doublurejaar. Twee derde van de jongeren die ooit niet over mochten, zegt dat ze daar uiteindelijk veel voordeel van hebben gehad. Dat blijkt uit een enquête van EenVandaag.
Natuurlijk baalden de 400 ondervraagde (ex-)zittenblijvers in het begin flink van het feit dat ze niet over mochten, maar na afloop viel dat best mee. Ze haalden hogere cijfers en waren beter voorbereid op hun eindexamens, vinden ze. Het zelfvertrouwen ging er ook niet bepaald op achteruit: bij 39% van de ondervraagde zittenblijvers bleef dat gelijk, en bijna een derde (31%) gaf aan dat het zelfvertrouwen zelfs groeide doordat ze een jaar opnieuw moesten doen. Afschaffen
Sommige deskundigen vinden dat zittenblijven 'afgeschaft' moet worden, omdat het de overheid veel geld kost en het alleen maar demotiverend werkt voor een scholier die toch al te lage cijfers haalt.
De meeste doublanten zelf zijn het hier echter niet mee eens: 67% zegt dat het extra jaar niet demotiverend heeft gewerkt. Eén ondervraagde zegt: "Ik vond het erg, maar achteraf ben ik blij dat ik ben blijven zitten. Ik deed daarna alleen maar extra mijn best en ging beter nadenken over mijn toekomst. Als ik niet was blijven zitten, had ik er waarschijnlijk met de pet naar gegooid."
Veel kritiek op PISA en topman Andreas Schleicher: statistische blunders, misbruik van PISA door OESO e.d.
1.Er verschijnen steeds meer bijdragen over foute statistische berekeningen in de PISA-studies.
In vorige bijdragen in dit facebook verwezen we al naar een recente studie van de univ. van Helsinki waaruit bleek dat Finland allesbehalve een onderwijsparadijs is inzake qualit...y en equity zoals het voorgesteld wordt in PISA-publicaties. De Finse onderzoekers stelden met eigen tests vast dat de Finse 15-jarigen vrij zwak presteerden voor wiskunde en andere basisvakken - en dit in tegenstelling met de PISA-voorstelling. Ze stelden de voorbije 11 jaar ook een grote achteruitgang vast en slaan alarm. De Finse beleidsmakers werden blijkbaar misleid door de hoge PISA-score en verwaarloosden de niveaubewaking.
2. Hadley schrijft over PISA en Schleicher: It is absurd that someone with no academic status as a statistician can have so much influence on the educational research. The world's greatest experts on statistics have heavily criticised Schleicher's methodology in peer reviewed papers and in articles in the press. Anyone who doubts this should Google any one of Professor Spiegelhalter from Cambridge, Professor Svend Kreiner and Professor Karl Bang Christiensen from Copenhagen, Professor Harvey Goldstein from Bristol and Oxfords Professor Jenny Ozga, look at their academic record and see what they say about PISA. They are not shrills in the pay of the teachers' unions or left wing zealots trying to harm our children's education. They are gifted independent people who simply know what they are talking about with no axe to grind, who can recognise an abuse of statistics when they see it. Mr Schleicher simply does not really understand what he is talking about and it is embarrassing that so many people take so much notice of him.
3.In The Guardian lazen we gisteren in een bijdrage van Peter Wilby volgende kritieken.
*But does Pisa have sufficiently robust data to justify its growing weight? Many critics think not. For one thing, the tests don't work as people think they work. You would expect all pupils to answer the same questions. In fact, according to an analysis by Copenhagen University in Denmark, only 10% of those who took part in Pisa 2006 were tested on all 28 reading questions, and about half weren't tested on reading at all. The OECD feeds real scores into a statistical device called the Rasch model so that it can work out "plausible values" for children who weren't tested. Schleicher says: "We want to test lots of different things but we have limited time. So we give the students different tests with overlapping content." He says it's a long-established statistical technique, enhanced by modern technology. But some statisticians insist it can't work for Pisa, because different test items work differently in different countries. Pisa's league tables, they say, are almost meaningless. In 2006, the UK could have finished anywhere between 14th and 30th on reading, Canada anywhere between second and 25th, Japan anywhere between eighth and 40th.
*A second objection to Pisa is that it can't take account of social, economic and cultural differences. Can it make sense to compare, say, Peru, which has high levels of child labour and limited internet access, with western European countries? Can UK schools really learn anything from east Asian countries, with their deeply ingrained respect for authority?
*Pisa critic: Schleicher's work threatens a global standardisation of education, wiping out school systems that were embedded in diverse local cultures, values and traditions. "The very meaning of public education is being recast," write the American academics Heinz-Dieter Meyer and Aaron Benavot, editors of Pisa, Power and Policy, a collection of learned papers published this year, "from a project aimed at forming national citizens and nurturing social solidarity to a project driven by economic demands." Schools, they argue, are increasingly "subject to the imperatives of efficiency, calculability, predictability and control".
Until recently, almost nobody questioned the merits of Pisa and its league tables, only their interpretation. Now, as the world's schoolmaster announces the latest planetary exam results, we can expect the political arguments to intensify.
4. We citeren ook nog even uit davidts' blog
The PISA methodology is complex and rather opaque, in spite of the substantial amount of material published in the technical reports. Briefly:
Individual students only answer a minority of questions. Multiple plausible values are then generated for all students assuming a particular statistical model, essentially estimating what might have happened if the student had answered all the questions. These plausible values are then treated as if they are the results of complete surveys, and form the basis of national scores (and their uncertainties) and hence rankings in league tables. But the statistical model used to generate the plausible scores is demonstrably inadequate it does not fit the observed data. This means the variability in the plausible scores is underestimated, which in turn means the uncertainty in the national scores is underestimated, and hence the rankings are even less reliable than claimed. Here's a little more detail on these steps.
(1). Individual students only answer a minority of questions.
Svend Kreiner has calculated that in 2006, about half did not answer any reading questions at all, while "another 40 per cent of participating students were tested on just 14 of the 28 reading questions used in the assessment. So only approximately 10 per cent of the students who took part in Pisa were tested on all 28 reading questions."
(2). Multiple plausible values are then generated for all students assuming a particular statistical model
A simple Rasch model (PISA Technical Report , Chapter 9) is assumed, and five values for each student are generated at random from the 'posterior' distribution given the information available on that student. So for the half of students in 2006 who did not answer any reading questions, five 'plausible' reading scores are generated on the basis of their responses on other subjects.
(3). These plausible values are then treated as if they are the results of surveys with complete data on all students
The Technical Report is not clear about how the final country scores are derived, but the Data Analysis manual makes clear that these are based on the five plausible values generated for each student: they then use standard methods to inflate the sampling error to allow for the use of 'imputed' data.
Secondly, PISA uses imputation methods, denoted plausible values, for reporting student performance. From a theoretical point of view, any analysis that involves student performance estimates should be analysed five times and results should be aggregated to obtain: (i) the final estimate; and (ii) the imputation error that will be combined with the sampling error in order to reflect the test unreliability on the standard error.
All results published in the OECD initial and thematic reports have been computed accordingly to these methodologies, which means that the reporting of a country mean estimate and its respective standard error requires the computation of 405 means as described in detail in the next sections. There does seem to be some confusion in the PISA team about this - in my interview with Andreas Schleicher, I explicitly asked whether the country scores were based on the 'plausible values', and he appeared to deny that this was the case.
(4). The statistical model used to generate the plausible scores is demonstrably inadequate.
Analysis using imputed ('plausible') data is not inherently unsound, provided (as PISA do) the extra sampling error is taken into account. But the vital issue is that the adjustment for imputation is only valid if the model used to generate the plausible values can be considered 'true', in the sense that the generated values are reasonably 'plausible' assessments of what that student would have scored had they answered the questions.
A simple Rasch model is assumed by PISA, in which questions are assumed to have a common level of difficulty across all countries - questions with clear differences are weeded out as dodgy. But in a paper in Psychometrika, Kreiner has shown the existence of substantial Differential Item Functioning (DIF) - i.e. questions have different difficulty in different countries, and concludes that the The evidence against the Rasch model is overwhelming.
The existence of DIF is acknowledged by Adams (who heads the OECD analysis team), who says The sample sizes in PISA are such that the fit of any scaling model, particularly a simple model like the Rasch model, will be rejected. PISA has taken the view that it is unreasonable to adopt a slavish devotion to tests of statistical significance concerning fit to a scaling model.. Kreiner disagrees, and argues that the effects are both statistically significant and practically important.
(5) This means the variability in the plausible scores is underestimated
The crucial issue, in my view, is that since these 'plausible values' are generated from an over-simplified model, they will not represent plausible values as if the student really had answered all the questions. Kreiner says The effect of using plausible values generated by a flawed model is unknown.
I would be more confident than this, and would expect that the 'plausible values' will be under-dispersed, ie not show a reasonable variability. Hence the uncertainty about all the derived statistics, such as mean country scores, will be under-estimated, although the extent of this under-estimation is unknown. It is notable that PISA acknowledge the uncertainty about their rankings (although this is not very prominent in their main communications), but the extra variability due to the use of potentally-inappropriate plausible values will inevitably mean that the rankings would be even less reliable than claimed. That is the reason for my scepticism about PISA's detailed rankings.
Commentaar bij goede lkn-score voor wiskunde (PIAAC)
Commentaar bij bijdrage in De Standaard over de goede score van leraars voor wiskunde in PIAAC-studie en vooral op denigrerende uitspraken van Dirk Van Damme over normaalscholen en regentaten
Het goede nieuws ove...r de leraars in de PIAAC-studie van de OESO wordt totaal overschaduwd door de commentaar van Dirk Van Damme (momenteel: OESO, voorheen univ. Gent ...). Dirk Van Damme en veel universitaire leraren-opleiders willen al 25 jaar de regentaten en normaal-schoolopleidingen afschaffen. Onze 7- à 15-jarigen presteren echter beter dan deze in landen met een universitaire opleiding. De leraars zijn in universitaire opleidingen te theoretisch & praktijkvreemd opgeleid. De pedagogie en praktijk zijn precies sterke kanten van de geïntegreerde opleiding. Het evaluatierapport van prof. G. Biesta e.a. valt overigens veel positiever uit dan Van Damme en de journalist het voorstellen. Jammer genoeg maakte ook prof. Valcke er op de VRT een karikatuur van (zie www.onderwijskrant.be, Onderwijskrant nr. 167 ).
Jammer genoeg verkondigen uitgerekend de universitaire lerarenopleidingen vooral theorie en veel 'hypes' over leerlinggestuurd en competentiegericht leren e.d. Een aantal nieuwe vakleraars en pedagogen komen met dergelijke naïeve opvattingen naar de normaalscholen. Het zijn ook vooral universitaire lerarenopleiders die verantwoordelijk zijn voor de uitholling van het taalonderwijs. Dit nog: met invoering van een selectieproef voor studenten van een universitaire lerarenopl. zouden er nog minder kandidaten zijn. Zo eenvoudig is het niet.
Dirk Van Damme wekt de indruk dat we ook op het vlak van de lerarenopleidingen het OESO-paradijsland Finland moeten imiteren. Hij verzwijgt dat uit recent onderzoek van de universiteit Helsinki (2012) blijkt dat de Finse 15-jarigen ondermaats presteren voor de basisvaardigheden wiskunde e.d. Ook in vergelijking met 2001 gingen de leerlingen er sterk op achteruit. We lezen dat die zwakke prestaties mede een gevolg zijn van de nivellerende gemeenschappelijke (comprehensieve) lagere cyclus s.o. Er is ook veel kritiek op de al te theoretische universitaire opleiding van de leraars voor de lagere cyclus. Ze kennen te weinig de leerinhouden voor de lagere cyclus en zijn te weinig pedagogische opgeleid: 4 jaar theoretische opleiding + amper 1 jaar pedagogische. Leraars wiskunde hebben gedurende de eerste 4 jaar enkel hogere wiskunde geleerd, waarmee ze weinig kunnen aanvangen bij 12-à 15-jarigen.
P.S. Zelf lopen we niet hoog op met de PIAAC-studie en de vlugge conclusies die er uit getrokken worden. Ook de betrouwbaarheid en waarde van de PISA-studies worden wereldwijs steeds meer in vraag gesteld. Zo hebben de PISA-kopstukken en Dirk Van Damme de Finse beleidsmensen ten onrechte wijs gemaakt dat Finland op alle vlakken een onderwijsparadijs is. Bij eigen onderzoek van de schoolse vorderingen voor (vak)wiskunde e.d. stelde de universiteit van Helsinki nu vast dat niets minder waar is. De 15-jarigen presteren er zwak en de 'sociologische ongelijkheid' (sterke relatie met scholingsniveau van de ouders e.d.) is er even hoog als in andere landen. Onderwijsparadijs Finland bleek meer een fata morgana dan een mirakel. Meer weergeven
Reacties op Leuvense studie over B-attesten vanwege
Guimardstraat, Klasse e.a.
De Leuvense doctoraatsstudie van Carl Lamote over de
B-attesten bevestigde enkel wat de praktijkmensen al lang weten:dat leerlingen het best het B-attest-advies
volgen en bij een B-attest (in de meeste gevallen) het best niet het jaar overzitten. In een standpunt van het Leuvens Metaforum beweerden de Leuvense professoren Ides Nicaise, Bieke De Fraine, e.a. een paar jaar geleden nog dat de B-attesten afgeschaft moesten worden in de eerste drie leerjaren van het s.o. Het kan verkeren. Ook de meeste voorstanders van een structuurhervorming in het s.o. wilden de B-attesten afschaffen. Dat leidde tot veel negatieve reacties vanwege de praktijkmensen.
We bekijken even
een aantal merkwaardige reacties op de studie van Carl Lamote.
1. Reactie van Chris Smits (Guimardstraat)
Daarnet troffen we een merkwaardige reactie aan van Chris
Smits, secretaris-generaal van het VVKSO-verbond (Guimardstraat), in een
BELGA-bericht op de website van DS en elders - met als titel: Zittenblijven
moet vermeden worden Het gaat om reactiesvan de onderwijsnetten op de studie van Carl Lamote. Chris Smits en zijn VVKSO-verbond hebben
steeds het overstappen naar een andere richting ten onrechte als een nefaste
watervalbestempeld, i.p.v. als een
meeval. Smits is dan ook niet gelukkig met het feit dat de studie wijst op de
zinvolheid van B-attesten en indirect op het tendentieus karakter van de term
waterval. Het VVKSO opteerde overigens ook voor het schrappen van de
B-attesten in de eerste graad.
Smits reageert zo:Het komt erop aan om die zogeheten waterval
te vermijden door direct voor de juiste richting te kiezen, zegt Chris Smits
van het Katholiek onderwijs. Maar met de formulering De waterval is beter dan
zittenblijven heeft hij het moeilijk. Het komt er op aan die zogeheten
waterval te vermijden door vanaf het begin de juiste richting te kiezen,
gekoppeld aan de capaciteiten van het kind. De keuze voor een studierichting
mag niet door de onderwijsvorm, maar moet door de onderwijsinhoud bepaald
worden.
Chris Smits kan blijkbaar moeilijk akkoord gaan met de
stellingvan onderzoeker Carl Lamote -
en van de praktijkmensen -dat
overstapjes naar een andere richting voor de meeste leerlingen een goede zaak
zijn, een interessante manier om leerlingen tijdig in een passende richting te
krijgen. Na het moedwillig verspreiden van de waterval-kwakkel, zou Smits nu
moeten toegevendat hij en zijn VVKSO
zich vergist hebben.Hijomzeilt dit door de indruk te wekken dat ook
zulke overstapjes nog steeds nefast zijn en radicaal vermeden moeten en kunnen
worden. Zijn (ontwijkende) toverformule luidt nu: De leerlingen moeten van bij
het begin de juiste richting kiezen, gekoppeld aan hun capaciteiten. In het
hervormingsvoorstel van het VVKSO zullen de leerlingen precies veel later in
een passende richting terecht komen omdat ze alle in een grotendeels gelijke
eerste graad terecht komen. En aangezien deverschillende opties techniek grotendeels geschrapt worden,zal het voor veel leerlingen veel langer
duren alvorens ze de passende richting vinden. (Terloops: het Leuvens Metaforum
- de Leuvense professoren Ides Nicaise, Bieke De Fraine enco -stelden een paar jaar geleden nog voor om de
B-attesten te schrappen in de eerste drie leerjaren. Nu blijkt uit Leuvens
onderzoek dat die overstapjes en B-attesten wel heel zinvol zijn. Het kan
verkeren.)
2. Reactie van Klasse
Volgens het overheidstijdschrift Klasse ondersteunt Carl Lamote met zijn studie "de regeling rond de B-attesten zoals die met de hervorming van
het secundair onderwijs zal veranderen."Leerlingen zouden volgens het Masterplan het
B-attest moeten volgen. De conclusies van Lamote ondersteunen volgens ons
geenszins de visie en voorstellen van de hervormers.
* Vooreerst vinden we dat de B-attesten nog het meest zinvol
zijn op het einde van het eerste jaar s.o. Zo kan men de leerlignen tijdig heroriënteren.
Volgens het hervormingsplan mogen B-attesten op het einde van dit jaar niet
eens meer uitgereikt worden.
*De conclusies van de studie gaan ook eerder in tegen de
hervormers -ook nog in het Masterplan -
die het tijdig overstappen naar een meer
passende andere richting als een nefaste 'waterval' bestempelden i.p.v. als een
'meeval' voor de meeste leerlingen. Wat door de hervormersals een groot knelpunt werd voorgesteld,
blijkt nu ook volgens het onderzoek een pluspunt te zijn, een belangrijk
oriëntatiemiddel. In die zinbevestigt
de studie wat de praktijkmensen al lang weten, zeggen en toepassen.
Tussendoor: we moeten er uiteraard ook rekening mee houden
dat de onderzoeker enkel een uitspraak doet over gemiddelden. Voor een aantal
leerlingen zal overzitten bij een B-attest toch nog wel zinvol gebleken zijn.
We vermoeden ook dat veel ouders niet zomaar akkoord zullen gaan met het
verbieden van het zittenblijven bij een B-attest. Kan men hen dit recht
principieel onthouden?
3. Geen studie over zinvolheid van zittenblijven. Waterval beter dan zittenblijven? Dus: zittenblijven
zinloos?
Uit de studie van Lamote leiden sommigen ten onrechte af dat
zittenblijven totaal zinloos is. De studie van Lamote ging niet over de al dan
niet zinvolheid van C-attesten en overzitten (in het algemeen). De titels 'Waterval beter dan zittenblijven' in
krant De Standaard en zittenblijven moet verboden wordenin het Belga-bericht suggereren dit wel, maar die
titels zijn misleidend. Het gaat enkel over het uitreiken van B-attesten en het
al dan niet volgen van dit advies.
Het Masterplan zelf wil het uitreiken van C-attesten wel vrij
moeilijk maken.Prof. Jan Van Damme
stelde enkele jaren geleden echter nog dat uit een loso-studie bleek dat
zittenblijven voor heel wat leerlingen zinvol gebleken is. We merkten ook dat
de Leuvense prof. De Fraine onlangs afstand nam van haar stellige uitspraken
over zittenblijven.
De algemene teneur in het Masterplan luidt dat zittenblijven
zinloos is. Hierbij beroepen de hervormers zich op eenstudie van prof. Bieke De Fraine e.a. In een
recente discussie over zittenblijven maakte de Brusselse prof. Wim van den
Broeck kritische kanttekeningen bij het Leuvens onderzoek over zittenblijven
van De Fraine en co. Hij wees ook op andere studies van Allen et al. die
volgens hem meer betrouwbaar zijn en waarin zittenblijven eerder zinvol bleek.
In een van haar antwoorden bekende prof. De Fraine nu dat ze zich vergaloppeerd
hadden: Tussen het schrijven van ons OBPWO-rapport (december 2011) en nu heb
ik meer recente literatuur gelezen en met wat ik nu weet, zou ik niet langer
adviseren om het zittenblijven eenvoudigweg af te schaffen. Als een onderzoeker
op basis van extra onderzoeksresultaten haar inzichten nuanceert, getuigt dit
van een juiste onderzoekshouding.
In Pedagogische Studiën nr. 5 van 2013 bleek ook al dat De
Fraine en co hun stellige uitspraken over zittenblijven in sterke mate
nuanceren. Hun eindconclusies luiden nu al veel genuanceerder. De Fraine en co
schrijven uitdrukkelijk: * Het was niet correct om uitsluitend op basis van de
bevinding dat gemiddeld genomen zittenblijvers beter zouden presteren moesten
ze toch zijn overgegaan, te besluiten dat zittenblijven een slechte
onderwijspraktijk is. Vanuit de onderzoeksresultaten kunnen dan ook weinig
concrete adviezen geformuleerd worden voor de praktijk. De beslissing omtrent
het al dan niet overdoen moet voor elk kind een weloverwogen, doordachte
beslissing zijn.
De Fraine en co erkennen nu ook in Pedagogische Studiën
defouten en tekorten in hun
wetenschappelijk onderzoek Ze geven nu toe: Een kritische houding bij het
lezen van onderzoeksresultaten over zittenblijven is belangrijk. Factoren die
na het zittenblijven ontstaan en die de uitkomsten (bij leerlingen die al dan
niet overgaan) beïnvloeden worden niet verrekend. Daarnaast hielden De Fraine
en co ook geen rekening met de preventieve functie en effecten van de kans op
zittenblijven en van de gevolgen van het radicaal afschaffen op de inzet en de
leermotivatie.
