Problemen met steekproef voor PISA (en TIMSS)
1. Problemen met steekproef van PISA-toppresteerders als Chinese Taipei, Macao, Hong Kong and Singapore (zie bijlage)
First, as you may have gleaned from the top ten results, instead of choosing one consistent geographical entity, PISA selects a sample that "represents the full population of 15-year-old students in each participating country or education system."
What this means in practice is the ability of some education administrators choosing their top-performing students from smaller samples in cities or city-states such as Chinese Taipei, Macao, Hong Kong and Singapore.
While most of the other results came from a sample of scores around nations, some countries such as Argentina and China were allowed to take their sample from their most educated cities or regions. This year, Chinese administrators chose their students from a group of cities and regions aptly named B-S-J-G, after Beijing, a province-level municipality, Jiangsu, a province on the eastern coast of the country, Guangdong, a southern coastal province, and Shanghai, a province-level municipality. Previously, Chinese authorities had chosen Shanghai as mainland Chinas sole representative, whose students finished at the top of all three subject areas in both the previous two PISA studies in 2012 and 2009.
Now, if all countries were to take this approach, we would see London selected to be the sole representative of Britain, or Boston and its suburbs representing the U.S. This year, in fact, saw a separate score calculated for Massachusetts, which if taken as the nations results, would grab the top spot in reading with eight other nations, 2nd place in science with ten other nations, and 12th in math.
If we dig deeper into the sampling, we come across another potential problem with the PISA testing: that the sampling done on mainland China (Beijing, Jiangsu, Guangdong and Shanghai) and other cities was not taken from a wide variety of schools. Rather, the very best schools were chosen and the very best students were cherry-picked from those schools. Ong Kian Ming, a lawmaker in Malaysia recently raised this issue concerning Malaysias PISA results, claiming the education ministry attempted to rig the sample size in order to boost the scores. Ong added that the biased sample of schools in favor of high-performing schools can also be seen in Pisa 2015s own data on Malaysia
2. Ook problemen met steekproef voor PISA en TIMSS
*In de Gentse rapporten over PISA werd destijds altijd expliciet vermeld dat de score van de Vlaamse leerlingen wat onderschat werd omdat in Vlaanderen ook de leerlingen buitengewoon onderwijs participeerden. In andere landen was dit blijkbaar niet het geval.
Als men dan(controversiële) prestatiekloofberekeningen maakt waarbij de 5% laagstpresterenden vergeleken worden met de 5% toppresteerders, dan betekent dit dat de uitslag van de 5% laagstpresterenden * niet vergelijkbaar is.
2.Criteria voor TIMSS-steekpoef lijken ook niet waterdicht
Een voorbeeld. De Leuvense verantwoordelijken voor TIMSS-2015 (Bieke De Fraine en Co) stellen ze dat ze voor het eerst ook 3 klassen buitengewoon onderwijs van het type 1 lieten deelnemen aan de proef.
Daardoor is vooreerst een vergelijking met de vroegere afname van TIMSS bij leerlingen 4de leerjaar niet meer mogelijk.
De Fraine stelt dat ook 3 klassen van b.o.-type 1 zijn opgenomen omdat men zo een betere representatie krijgt van de volledige schoolpopulatie. Maar hieruit blijkt dat er blijkbaar geen vaste algemene steekproefcriteria zijn en dat landen dus zelfstandig kunnen beslissen om zwakkere leerlingen - b.v. uit het buitengewoon onderwijs, of uit bepaalde b.o.-types- niet te laten participeren.
