Ekspert: kuidas PISA lõi illusiooni hariduse kvaliteedist ja turustas seda maailmale

Kui jäite kahe silma vahele: Rahvusvahelise õpilaste hindamise programmi PISA viimased tulemused avalikustati teisipäeval ja jällegi, nagu on olnud rahvusvaheliste testide sünnist saati, ei jõudnud Ameerika õpilased edetabelisse ega isegi kohale. Sulge.

USA hinded on püsinud paigal alates PISA käivitamisest peaaegu 20 aastat tagasi – ja nagu varemgi, nähakse neid süüdistusena kõigele, mida inimesed süüdistada tahavad: koolidele, õpetajatele, õpilastele, reformaatoritele, kes üritasid riigikoole muuta. juhtides neid nagu ettevõtteid.

PISA testib kümnete riikide ja üksikute haridussüsteemide 15-aastaseid matemaatikas, lugemises ja loodusteadustes iga kolme aasta järel; 2018. aastal sooritas eksami 600 000 õpilast 79 riigist ja koolisüsteemist. USA õpilaste lugemis- ja matemaatikatulemused ei ole pärast PISA algust oluliselt muutunud, teaduses on mõningaid edusamme tehtud. 2018. aasta hinded olid sisuliselt samad, mis 2015. aastal.

Reklaam Story jätkub reklaami all

Nagu mu Posti kolleegid Moriah Balingit ja Andrew Van Dam siin kirjutasid, olid USA õpilased lugemises kaheksandal, loodusteadustes 11. kohal ja matemaatikas 30. kohal. Kõigis kolmes aines oli esimene Hiina, mis PISA jaoks tähendab nelja provintsi Pekingit, Shanghai, Jiangsu ja Zhejiangi (kuigi riigis on üle 20 provintsi). Singapur oli kõigis kolmes aines teine.

Eksamid näitavad, et USA õpilased jäävad lugemise, matemaatika ja loodusteaduste alal jätkuvalt maha Ida-Aasia ja Euroopa eakaaslastest

Mida siis PISA tulemused meile tegelikult räägivad?

Esiteks, pangem tähele, et 2014. aastal nõudis enam kui 100 akadeemikut üle maailma PISA moratooriumi kehtestamist. Põhjuste hulgas on järgmised: PISA tugineb ülemäärasele standarditud testidele ja rõhuasetusele õppimisele, mida saab hõlpsasti mõõta ning mõne eksperdi sõnul on sellel suuri vigu seoses testide korraldamisega, õpilaste valimite määramisega ja sellega, kuidas mõned konstrueeritakse testiküsimused.

Reklaam Story jätkub reklaami all

PISAt rahastav organisatsioon Majanduskoostöö ja Arengu Organisatsioon ja selle toetajad on testi kaitsnud, öeldes, et see on maailma kõige põhjalikum ja usaldusväärseim näitaja õpilaste võimete kohta.

See postitus on PISA kriitika selle teema eksperdi Yong Zhao, fondi tunnustatud professori poolt. Kansase ülikooli hariduskool. Varem oli ta Austraalia Victoria ülikooli Mitchelli Tervise- ja Hariduspoliitika Instituudi professor, Oregoni Ülikooli Hariduskolledži globaalse ja võrguhariduse instituudi presidendi juhataja ja direktor ning oli professor Michigani osariigi ülikooli hariduskolledžis. MSU-s töötas ta õppe- ja tehnoloogiakeskuse asutajadirektorina, tegevdirektorina Konfutsiuse Instituut ja USA-Hiina hariduse tipptaseme uuringute keskus.

Yongi uurimistöö keskendub sellele, kuidas globaliseerumine ja tehnoloogia mõjutavad haridust, ning ta on avaldanud umbes 30 raamatut ja üle 100 artikli. Tema viimane raamat, mille kaasautor oli, ilmus eelmisel kuul ja kannab pealkirja ' Hariduskriis on kohutav asi, mida raisata: kuidas radikaalsed muudatused võivad õpilaste elevust ja edu tekitada. Yong on selle ajaveebi jaoks varem kirjutanud, sealhulgas postituse pealkirjaga 'Ameeriklastele on uus üleskutse võtta omaks Hiina stiilis haridus. See on suur viga.'

Reklaam Story jätkub reklaami all

Yong kohandas seda postitust oma artikli 'Kaks aastakümmet kaost: PISA-vastase kriitika süntees' 1. osa põhjal. ilmuvad ajakirjas Journal of Educational Change . Ta kirjutab:

Vundament, millele PISA oma edu on rajanud, on saanud tõsise väljakutse. Esiteks puuduvad tõendid, mis õigustaks, rääkimata selle tõestamisest, väidet, et PISA mõõdab tõepoolest tänapäevases majanduses eluks vajalikke oskusi. Teiseks on väide monoliitse ja läänekeskse ühiskonnavaate pealesurumine ülejäänud maailmale. Kolmandaks moonutab väide hariduse eesmärki.

Siin on tükk.

Yong Zhao poolt

PISA on meisterlik mustkunstnik. See on edukalt loonud illusiooni hariduse kvaliteedist ja turustanud seda maailmale. 2018. aastal osales selles võluetenduses 79 riiki, kes uskusid, et see iga kolme aasta tagant toimuv test mõõdab täpselt nende haridussüsteemide kvaliteeti, õpetajate tõhusust, õpilaste võimekust ja ühiskonna tulevast õitsengut.

PISA maagiline jõud haridusuniversumis tuleneb selle julgetest väidetest ja edukast turundusest. See algab universaalse tuleviku ärevuse puudutamisega. Inimesed on loomulikult mures tuleviku pärast ja neil on suur soov teada, kas homne on parem kui tänane või vähemalt sama hea kui tänane. Vanemad tahavad teada, kas nende lastel on hea elu; poliitikud tahavad teada, kas nende riikidel on inimesi jõukama majanduse ülesehitamiseks; avalikkus tahab teada, kas noortest saavad edukad ja panustavad ühiskonna liikmed.

Reklaam Story jätkub reklaami all

PISA kasutab kolme küsimusega suurepäraselt ära lastevanemate, poliitikute ja avalikkuse ärevust ja soovi (OECD, 1999, lk 7):

• Kui hästi on noored täiskasvanud ette valmistatud tuleviku väljakutseteks?
• Kas nad on võimelised oma ideid tõhusalt analüüsima, põhjendama ja edastama?
• Kas neil on võime jätkata õppimist kogu elu?

Nende sõnadega algab dokument, mis tutvustas PISA-t maailmale 1999. aastal ja mida on sellest ajast saadik korratud peaaegu kõigis PISA aruannetes. Dokumendis öeldakse siis ilmselge: „Teadma peavad lapsevanemad, õpilased, avalikkus ja need, kes juhivad haridussüsteeme” (OECD, 1999, lk 7). Ja nagu arvata võib, pakub PISA end ennustajaks väitega, et:

PISA hindab, mil määral on 15-aastased õpilased koolikohustuse lõppedes omandanud võtmeteadmised ja -oskused, mis on kaasaegses ühiskonnas täielikuks osalemiseks hädavajalikud. … Hindamine ei piirdu ainult sellega, kas õpilased suudavad teadmisi taastoota; Samuti uuritakse, kui hästi saavad õpilased õpitut ekstrapoleerida ja neid teadmisi rakendada võõras keskkonnas nii koolis kui ka väljaspool seda. See lähenemine peegeldab tõsiasja, et tänapäeva majanduses ei premeeritakse inimesi mitte selle eest, mida nad teavad, vaid selle eest, mida nad oskavad sellega, mida nad teavad. (OECD, 2016, lk 25).

See väide ei paku mitte ainult PISA-djuurdevahend ärevuse leevendamiseks, aga ka, mis võib-olla veelgi olulisem, muudab selleatööriist selleks, sest see aitab konkurente välja lüüa. Rahvusvahelise hariduse hindamisena tuli PISA hilja. Enne PISA-t oli Rahvusvaheline Haridussaavutuste Hindamise Ühing (IEA) juba alates 1960. aastatest korraldanud rahvusvahelisi hindamisi, pakkudes selliseid mõjukaid programme nagu TIMSS ja PIRLS. Et idufirma asutusest üle lööks, peab ta pakkuma midagi teistsugust ja paremat. Just seda PISA lubas: teistsugust ja paremat hindamist.

Reklaam Story jätkub reklaami all

IEA 'küsitlused on keskendunud tulemustele, mis on otseselt seotud õppekavaga ja seejärel ainult nendele õppekava osadele, mis on osalevates riikides põhimõtteliselt ühised' (OECD, 1999, lk 10) ja see on PISA andmetel probleem, sest :

Koolide õppekavad on traditsiooniliselt üles ehitatud valdavalt teabekogumite ja omandatavate tehnikate alusel. Tavaliselt keskenduvad nad õppekava valdkondades vähem oskustele, mida igas valdkonnas arendada ja mida üldiselt täiskasvanuelus kasutada. Veel vähem keskenduvad nad üldisematele, kogu õppekavas välja töötatud pädevustele, et lahendada probleeme ning rakendada oma ideid ja arusaamu elus ettetulevates olukordades. (OECD, 1999, lk 10).

PISA ületab piirangud, hinnates „millised oskused on tulevase elu jaoks hädavajalikud”, mis võivad olla kooli õppekavas või mitte. Nii see väidab. Teisisõnu kinnitab PISA, et teistes rahvusvahelistes uuringutes mõõdetakse, kui hästi õpilased on omandanud kavandatud haridussüsteemide kooli õppekava, kuid kooli õppekava võib edaspidiseks eluks vajalikuga valesti sobitada.

Pakkumise veelgi paremaks muutmiseks esitab PISA hariduspoliitika kujundajatele veel ühe võrgutava väite: „Põhikooli lõpu lähedal teadmisi ja oskusi vahetult testides uurib OECD/PISA noorte valmisoleku astet täiskasvanuks eluks ja mõnel juhul. ulatus, haridussüsteemide tõhusus,” (OECD, 1999, lk 11). Parafraseerides, PISA mitte ainult ei ütle teile, kas teie lapsed on tulevaseks eluks ette valmistatud, vaid ka seda, et teil on hariduse tõhususe parandamise kaudu selle üle kontroll. Seega, „kui innustada koole ja haridussüsteeme keskenduma kaasaegsetele väljakutsetele”, on PISA vajalik.

Reklaam Story jätkub reklaami all

Kuid väide, mis on alus, millele PISA oma edu on rajanud, on tõsiselt vaidlustatud. Esiteks puuduvad tõendid, mis õigustaks, rääkimata selle tõestamisest, väidet, et PISA mõõdab tõepoolest tänapäevases majanduses eluks vajalikke oskusi. Teiseks on väide monoliitse ja läänekeskse ühiskonnavaate pealesurumine ülejäänud maailmale. Kolmandaks moonutab väide hariduse eesmärki.

Väljamõeldud nõue

Väide, et PISA mõõdab tänapäeva ühiskonna või tulevikumaailma jaoks vajalikke teadmisi ja oskusi, ei põhine ühelgi empiirilisel tõendil. Professor Stefan Hopmann Viini ülikoolist kirjutab:

Puuduvad uuringud, mis tõestaksid seda väidet kaugemale sellest, et millegi teadmine on alati hea ja rohkem teada on parem. Puuduvad isegi uuringud, mis näitaksid, et PISA katab piisavalt, et olla esindav koolis osalevate ainete või üldise teadmistebaasi osas. PISA üksused põhinevad selle teadlaste praktilistel arutlustel ja eeltestidel selle kohta, mis töötab enamikus või kõigis olukordades, mitte aga süstemaatilisel uurimisel praeguste või tulevaste teadmiste struktuuride ja vajaduste kohta. (Hopmann, 2008, lk 438).

Teisisõnu oli väide vaid fantaasia, illusioon, mille on täielikult välja mõelnud PISA meeskond. Kuid PISA kordab oma väidet, et mõõdab tulevikuks vajalikke oskusi. Strateegia töötas. PISA veenis inimesi kordamise kaudu edukalt.

Reklaam Story jätkub reklaami all

Lisaks on empiirilisi tõendeid, mis viitavad sellele, et PISA meetmed ei erine oluliselt teistest rahvusvahelistest hindamistest või intelligentsustestidest. Näiteks vaatamata väitele mõõta midagi muud kui sellised uuringud nagu TIMSS, on PISA tulemus märkimisväärselt korrelatsioonis TIMSS-iga.

Ja irooniline, PISA projekt kasutas oma väite toetuseks teiste uuringute tulemusi. PISA avaldas mõjuka aruande, mille eesmärk oli näidata meetmete olulisust majandusarengu jaoks (Hanushek & Woessmann, 2010). Aruandes esitati mitmeid vapustavaid väiteid PISA tulemuste parandamise pikaajalise majandusliku mõju kohta, sealhulgas näiteks „kui kõik OECD riigid tõstavad järgmise 20 aasta jooksul oma keskmisi PISA tulemusi 25 punkti võrra … tähendab OECD SKT kogukasvu. 115 triljonit USA dollarit 2010. aastal sündinud põlvkonna eluea jooksul” (Hanushek & Woessmann, 2010, lk 6).

Aruande on vaidlustanud mitmed teadlased (Kamens, 2015; Klees, 2016; Komatsu & Rappleye, 2017; Stromquist, 2016). Üks laastavamaid probleeme testitulemuste ja majanduskasvu vahelise olulise seose järeldamisel on järeldusele jõudmiseks kasutatud analüüsi aluseks olev loogika. Aruandes võrreldi antud perioodi (1964–2003) testide tulemusi ligikaudu sama perioodi (1960–2000) majanduskasvuga, mis on loogiliselt vigane, kuna testi sooritanud õpilased ei olnud sel ajal tööjõus. Kulub aega, enne kui õpilased jõuavad tööturule ja moodustavad olulise osa tööjõust.

Reklaam Story jätkub reklaami all

„Õpilaste testitulemusi igal perioodil tuleks võrrelda järgmise perioodi majanduskasvuga” (Komatsu & Rappleye, 2017, lk 170). Uuringud, milles võrreldi testide tulemusi majanduskasvuga järgnevatel perioodidel, kasutades sama andmekogumit ja meetodit, ei leidnud, et testitulemuste ja majanduskasvu vahel on 'järjekindlalt tugev ega tugevalt järjepidev' seos ja 'seos testitulemuste muutuste vahel ühel perioodil ja muutuste vahel järgnevate perioodide majanduskasv oli parimal juhul ebaselge, halvimal juhul kaheldav (Komatsu & Rappleye, 2017, lk 183), muutes sisuliselt aruandes esitatud väited kehtetuks.

Isegi kui väited olid õiged, põhinesid need peale PISA eelkõige rahvusvaheliste hindamiste tulemustel. Kuigi aruanne väidab, et see 'kasutab hiljutist majandusmudelit, et seostada kognitiivseid oskusi – mõõdetuna PISA ja teiste rahvusvaheliste instrumentidega – majanduskasvuga' (Hanushek & Woessmann, 2010, lk 6), on tõsiasi, et PISA tulemused olid väga väike osa modelleerimisel kasutatud andmetest. Aruande avaldamise ajaks oli pakutud vaid kolm PISA vooru. Pealegi hõlmasid majandusandmed ajavahemikku 1960–2000, aasta, mil PISA esmakordselt rakendati. Kaasati ainult üks PISA andmete voor, kuid aruanne tugines 'viimase 45 aasta jooksul antud rahvusvaheliste testide andmetele, et töötada välja iga riigi jaoks ühtne võrreldav oskuste mõõt, mida saaks kasutada tööjõus olevate inimeste oskuste indekseerimiseks ” (Hanushek & Woessmann, 2010, lk 14).

Hanushek ja teised (Hanushek, 2013; Hanushek & Woessmann, 2008; Hanushek & Woessmann, 2012) on sarnaseid väiteid PISA parandamise majandusliku mõju kohta korranud. See, kas järeldused on õiged, on hoopis teine ​​asi. Asi on selles, et PISA väide mõõta midagi muud kui teistest rahvusvahelistest hinnangutest on vale. See mõõdab tõepoolest sama konstruktsiooni nagu teised. Väide mõõta paremini seda, mis on tänapäeva majanduses või tulevikumaailmas oluline kui teised testid, mis olid olemas enne PISA leiutamist, on vaid väljamõeldud illusioon.

Hariduse monoliitne vaade

PISA väite aluseks on eeldus, et on olemas oskuste ja teadmiste kogum, mis on kõigis ühiskondades universaalselt väärtuslikud, sõltumata nende ajaloost ja tulevikust. „PISA projekti põhieelduseks on, et riigi hariduse kvaliteeti on tõepoolest võimalik mõõta ühiste ehk universaalsete, koolisüsteemist, ühiskonnastruktuurist, traditsioonidest, kultuurist, loodustingimustest, viisidest sõltumatute näitajatega. eluviisidest, tootmisviisidest jne. (Sjøberg, 2015, lk 116). Kuid see oletus on problemaatiline.

Esimene probleem seisneb selles, et maailmas on rohkem kui üks ühiskond ja ühiskonnad on üksteisest erinevad. Erinevatel põhjustel – kultuurilistel, poliitilistel, usulistel ja majanduslikel – toimivad erinevad ühiskonnad erinevalt ja esitavad erinevaid väljakutseid. Erinevatele väljakutsetele vastamine nõuab erinevaid teadmisi ja oskusi. Sellest tulenevalt „vaevalt võib eeldada, et 15-aastased nt. USA, Jaapan, Türgi, Mehhiko ja Norra valmistuvad samadeks väljakutseteks ja selleks, et neil on vaja identseid eluks vajalikke oskusi ja pädevusi” (Sjøberg, 2015, lk 116).

Teine ja suurem probleem PISA eeldusel, et kõigi riikide jaoks on väärtuslike oskuste ja teadmiste universaalne kogum, on monoliitse, eelkõige lääneliku ühiskonnakäsitluse pealesurumine. PISA töötati välja ennekõike OECD liikmesriikide teenindamiseks, millest enamik on maailma kõige arenenumad majandused, välja arvatud mõned erandid, nagu Mehhiko, Tšiili ja Türgi. 35 OECD liiget ei esinda tänapäeval peaaegu 200 maailma riigi mitmekesisust. PISAt toetavad eeldused põhinevad eelkõige OECD liikmete majandus- ja haridusreaalsusel. Pole üllatav, et „PISA raamistik ja selle test on mõeldud suhteliselt rikastele ja moderniseeritud OECD riikidele. Kui seda instrumenti kasutatakse nn etalonstandardina 30+ mitte-OECD riigis, mis osalevad PISA-s, võib PISA testi mittevastavus rahva ja noorte vajadustele veelgi ilmsemaks muutuda” (Sjøberg, 2015). , lk 116).

Moonutatud vaade haridusele

Kuigi PISA väidab, et ei hinda riiklike õppekavade ega kooliteadmiste järgi, on selle tulemusi tõlgendatud kui kehtivat haridussüsteemide kvaliteedi mõõdikut. Kuid PISA propageeritud vaade haridusele on moonutatud ja äärmiselt kitsas (Berliner, 2011; Sjøberg, 2015; Uljens, 2007). PISA käsitleb majanduskasvu ja konkurentsivõimet hariduse ainsa eesmärgina. Seega hinnatakse ainult neid aineid – lugemist, matemaatikat, loodusteadusi, finantskirjaoskust ja probleemide lahendamist –, mida üldiselt peetakse teaduse ja tehnoloogia poolt juhitava maailmamajanduse konkurentsivõime suurendamiseks olulisteks. PISA näitab vähest huvi teiste ainete vastu, mis on olnud paljude riikide õppekavades, nagu humanitaarained, kunst ja muusika, kehaline kasvatus, sotsiaalteadused, maailmakeeled, ajalugu ja geograafia (Sjøberg, 2015).

Laste majanduslikuks osaluseks ettevalmistamine kuulub küll kindlasti haridusasutuste kohustuste hulka, kuid see ei saa ega tohigi olla ainus kohustus (Labaree, 1997; Sjøberg, 2015; Zhao, 2014, 2016). Hariduse eesmärk on paljudes riikides palju enamat kui majanduslike olendite ettevalmistamine. Kodakondsus, solidaarsus, võrdsus, uudishimu ja kaasatus, kaastunne, empaatia, uudishimu, kultuurilised väärtused, füüsiline ja vaimne tervis ja paljud teised on mõned riikliku hariduse eesmärkide osariikides sageli mainitud eesmärgid. Kuid need hariduse eesmärgi aspektid „sageli unustatakse või ignoreeritakse, kui kooli kvaliteedi üle peetavad arutelud põhinevad PISA tulemustel ja edetabelitel” (Sjøberg, 2015, lk 113).

Hariduse eesmärgi moonutatud ja kitsas määratlus on mõnede PISAga seotud omapäraste ja pealtnäha üllatavate avastuste üks peamisi põhjuseid. PISA skoori ning õpilaste huvi ja suhtumise vahel on püsiv negatiivne korrelatsiooni muster. Paljud teadlased on avastanud, et kõrgema PISA skooriga riikides näib olevat õpilastel väiksem huvi testitava vastu ja nende suhtes vähem positiivne suhtumine (Bybee & McCrae, 2011; Zhao, 2012, 2014, 2016). Näiteks PISA loodusteaduste skooril on märkimisväärne negatiivne korrelatsioon tulevase loodusteadusliku orientatsiooni ja tulevaste teadustööga (Kjærnsli & Lie, 2011). Samuti on leitud, et kõrged PISA tulemused on seotud madalama ettevõtluskindluse ja -võimega (Campbell, 2013; Zhao, 2012). Veelgi enam, kõrge PISA skooriga haridussüsteemidel näis olevat autoritaarsem orientatsioon (Shirley, 2017; Zhao, 2014, 2016). Lisaks on leitud, et PISA skooridel on negatiivne korrelatsioon õpilaste heaoluga (Shirley, 2017; Zhao, 2014, 2016), mida PISA lõpuks avalikult tunnistas 2017. aasta aruandes (OECD, 2017). Need leiud viitavad põhimõtteliselt sellele, et PISA mõõdab ainult hariduse väga kitsast aspekti ja ei pööra tähelepanu haridussüsteemide laiematele kohustustele. Lisaks võib hariduse kitsalt määratletud eesmärgi poole püüdlemine tulla hariduse laiema eesmärgi arvelt (Zhao, 2017, 2018). 'On väga vähe asju, mida saate numbriga kokku võtta, kuid Pisa väidab, et suudab kogu riigi haridussüsteemi haarata vaid kolmes neist. See ei saa olla võimalik. See on hullus” (Morrison, 2013).

Kokkuvõttes turundas PISA end edukalt hariduse kvaliteedi mõõdikuna, väitega mõõta oskusi ja teadmisi, mis on olulised tänapäevases majanduses ja tulevikumaailmas. Lähemal uurimisel on PISA määratletud tipptase vaid illusioon, väljamõeldud väide, millel puuduvad empiirilised tõendid. Peale selle viitab PISA monoliitsusele ning toetab moonutatud ja kitsast nägemust kõigi maailma haridussüsteemide eesmärgist. Tagajärjeks on hariduse globaalne homogeniseerimine ja autoritaarsete haridussüsteemide tunnustamine nende kõrgete PISA-skooride pärast, jättes samas tähelepanuta selliste süsteemide negatiivsed tagajärjed olulistele inimeste omadustele ja kohalikele kultuuridele.

Viited

Berliner, D. C. (2011). PISA tulemuste tõlgendamise kontekst USA-s: negativism, šovinism, vääritimõistmine ja potentsiaal moonutada riikide haridussüsteeme. M. A. Pereyra, H.-G. Kotthoff ja R. Cowen (toim.),Pisa on kontrolli all(lk 77-96). New York: Springer.

Bybee, R. ja McCrae, B. (2011). Loodusteaduslik kirjaoskus ja õpilaste hoiakud: PISA 2006 teaduse vaatenurki.International Journal of Science Education, 33(1), 7-26.

Campbell, M. (2013, 5. jaanuar). Lääne vs Aasia hariduse edetabel on eksitav: lääne kooliõpilasi edestavad Aasia eakaaslased rutiinselt, kuid selle pärast muretsemine on mõttetu.New Scientist (2898). Välja otsitud aadressilt https://www.newscientist.com/article/mg21728985-800-west-vs-asia-education-rankings-are-misleading/

Hanushek, E. A. (2013). Majanduskasv arengumaades: inimkapitali roll.Haridusökonoomika ülevaade, 37, 204-212.

Hanushek, E. A. ja Woessmann, L. (2008). Kognitiivsete oskuste roll majandusarengus.Journal of Economic Literature, 46(607-668).

Hanushek, E. A. ja Woessmann, L. (2010).Madala haridustulemuste kõrge hind: PISA tulemuste parandamise pikaajaline majanduslik mõju. Saadud Pariisist: http://books.google.com/books?id=k7AGPo0NvfYC&pg=PA33&lpg=PA33&dq=hanushek+pisa+gdp&source=bl&ots=2gCfzF-f1_&sig=wwe0XLL5EblVWK9e7RJfb5MyhIU&hl=en&sa=X&ei=MLPCUqaOD8-JogS6v4C4Bw&ved=0CGcQ6AEwBjgK - v = onepage & q = Hanushek% 20pisa%20gdp&f=false

Hanushek, E. A. ja Woessmann, L. (2012). Kas paremad koolid toovad kaasa rohkem majanduskasvu? Kognitiivsed oskused, majanduslikud tulemused ja põhjuslik seos.Majanduskasvu ajakiri, 17(4), 267-321.

Hopmann, S. T. (2008). Lapsi, kooli ega riiki pole maha jäänud: kooliminek vastutuse ajastul.Journal of Curriculum Studies, 40(4), 417-456.

Kamens, D. H. (2015). Küpsev ülemaailmne testimisrežiim kohtub maailmamajandusega: testide tulemused ja majanduskasv, 1960–2012.Hariduse võrdlev ülevaade, 59(3), 420-446.

Kjærnsli, M., & Lie, S. (2011). Õpilaste eelistus teaduskarjäärile: rahvusvahelised võrdlused PISA 2006 põhjal.International Journal of Science Education, 33(1), 121-144.

Klees, S. J. (2016). Inimkapital ja tootlus: geniaalsed ideed või ideoloogilised ummikud?Hariduse võrdlev ülevaade, 60(4), 644-672.

Komatsu, H. ja Rappleye, J. (2017). Uus ülemaailmne poliitikarežiim, mis põhineb kehtetul statistikal? Hanushek, Woessmann, PISA ja majanduskasv.Võrdlev haridus, 53(2), 166-191.

Labaree, D. (1997). Avalikud hüved, erahüved: Ameerika võitlus hariduslike eesmärkide pärast.American Educational Research Journal, 34(1), 39-81.

Morrison, H. (2013, 1. detsember). Pisa 2012 suur viga paljastatud. Välja otsitud aadressilt https://paceni.wordpress.com/2013/12/01/pisa-2012-major-flaw-exposed/

OECD. (1999).Õpilaste teadmiste ja oskuste mõõtmine: uus hindamise raamistik. Saadud Pariisist: http://www.oecd.org/education/school/programmeforinternationalstudentassessmentpisa/33693997.pdf

OECD. (2016).PISA 2015 tulemused (I köide): Excellence and Equity in Education. Saadud Pariisist: http://dx.doi.org/10.1787/9789264266490-en

OECD. (2017).PISA 2015 tulemused: õpilaste heaolu. Saadud Pariisist: http://www.keepeek.com/Digital-Asset-Management/oecd/education/pisa-2015-results-volume-iii_9789264273856-en - .Wk1WGrQ-fOQ # page1

Shirley, D. (2017).Haridusmuudatuste uued nõuded: ausad saavutused. New York: Routledge.

Sjøberg, S. (2015). PISA ja ülemaailmne haridusjuhtimine – projekti, selle kasutusalade ja tagajärgede kriitika.Eurasia Journal of Mathematics, Science & Technology Education, 11(1), 111-127.

Stromquist, N. P. (2016). Regressioonanalüüsi kasutamine riikide majanduskasvu ennustamiseks: illusioon ja fakt hariduspoliitikas.Real-World Economics Review, 76, 65-74.

Uljens, M. (2007). PISA varjatud õppekava: neoliberaalse poliitika edendamine haridusliku hindamise abil. S. T. Hopmann, Gertrude Brinek ja M. Retzl (toim.),PISA zufolge PISA - PISA PISA järgi(lk 295-303). Berliin: Lit Verlag.

Zhao, Y. (2012).Maailmatasemel õppijad: loovate ja ettevõtlike õpilaste koolitamine. Thousand Oaks, CA: Corwin.

Zhao, Y. (2014).Kes kardab suurt halba draakonit: miks on Hiinal maailma parim (ja halvim) haridussüsteem. San Francisco: Jossey-Bass.

Zhao, Y. (2016). Kes kardab PISA-d: süsteemi jõudluse rahvusvaheliste hinnangute ekslikkus. Väljaandes A. Harris & M.S. Jones (Toim.),Juhtivad futuurid(lk 7-21). Thousand Oaks, CA: Sage.

Zhao, Y. (2017). Mis toimib, võib kahjustada: kõrvalmõjud hariduses.Journal of Educational Change, 18(1), 1-19.

Zhao, Y. (2018).Mis töötab, võib haiget teha: kõrvalmõjud hariduses. New York: Teachers College Press.