Svarblaðið

Sérfræðingur: Hvernig PISA skapaði blekkingu um gæði menntunar og markaðssetti hana fyrir heiminum

Sérfræðingur: Hvernig PISA skapaði blekkingu um gæði menntunar og markaðssetti hana fyrir heiminum

Ef þú misstir af því: Nýjustu einkunnir frá PISA, áætluninni um alþjóðlegt námsmat, voru tilkynntar á þriðjudaginn, og enn og aftur, eins og hefur verið satt frá fæðingu alþjóðlegra prófa, voru bandarískir nemendur ekki í efsta sæti eða jafnvel komu loka.

Bandarísk stig hafa staðið í stað síðan PISA hófst fyrir næstum 20 árum - og eins og áður, verður litið á það sem ákæru fyrir hvað sem það er sem fólk vill ákæra: skóla, kennara, nemendur, umbótasinna sem reyndu að breyta opinberum skólum með því að reka þau eins og fyrirtæki.

PISA prófar 15 ára börn í tugum landa og einstakra menntakerfa í stærðfræði, lestri og náttúrufræði á þriggja ára fresti; árið 2018 tóku 600.000 nemendur frá 79 löndum og skólakerfum prófið. Lestur og stærðfræðiskor fyrir bandaríska nemendur hefur ekki breyst verulega síðan PISA hófst, með nokkrum framförum í vísindum. Fyrir 2018 voru stigin í meginatriðum sú sama og þau voru 2015.

Auglýsing Saga heldur áfram fyrir neðan auglýsingu

Eins og félagar mínir í Post, Moriah Balingit og Andrew Van Dam, skrifuðu hér, voru bandarískir nemendur í áttunda sæti í lestri, 11. í náttúrufræði og í 30. sæti í stærðfræði. Fyrst í öllum þremur námsgreinunum var Kína, sem fyrir PISA þýðir héruðin fjögur Peking, Shanghai, Jiangsu og Zhejiang (jafnvel þó að landið hafi meira en 20 héruð). Singapore var í öðru sæti í öllum þremur greinunum.

Bandarískir nemendur halda áfram að vera á eftir jafnöldrum í Austur-Asíu og Evrópu í lestri, stærðfræði og vísindum, sýna próf

Svo hvað segja PISA stigin okkur eiginlega?

Í fyrsta lagi skulum við athuga að árið 2014 kölluðu meira en 100 fræðimenn víðsvegar að úr heiminum um stöðvun PISA. Meðal ástæðna: PISA leiðir til of mikils trausts á stöðluðum prófum og áherslu á nám sem auðvelt er að mæla og, sumir sérfræðingar segja, hafa mikla galla í því hvernig prófin eru lögð fyrir, hvernig úrtak nemenda eru ákvörðuð og hvernig sum af prófspurningar eru smíðaðar.

Auglýsing Saga heldur áfram fyrir neðan auglýsingu

Stofnunin sem styrkir PISA, Efnahags- og framfarastofnunina, og stuðningsmenn þeirra hafa varið prófið og segja að það sé umfangsmesta og áreiðanlegasta vísbending heims um hvað nemendur geta gert.

Þessi færsla er gagnrýni á PISA af sérfræðingi um efnið, Yong Zhao, heiðursprófessor í stofnuninni. Menntavísindasvið við háskólann í Kansas. Hann var áður prófessor við Mitchell Institute for Health and Education Policy við Victoria University í Ástralíu, starfaði sem forsetaformaður og forstöðumaður Institute for Global and Online Education í menntaskóla háskólans í Oregon, og var prófessor við menntaskólann við Michigan State University. Hjá MSU starfaði hann sem stofnstjóri Kennslu- og tæknimiðstöðvar, framkvæmdastjóri Konfúsíusarstofnun og miðstöð Bandaríkjanna og Kína um rannsóknir á ágæti menntunar.

Rannsóknir Yong beinast að því hvernig hnattvæðing og tækni hafa áhrif á menntun og hann hefur gefið út um 30 bækur og meira en 100 greinar. Nýjasta bók hans, sem hann var meðhöfundur að, kom út í síðasta mánuði og ber titilinn „ Menntunarkreppa er hræðilegt að sóa: Hvernig róttækar breytingar geta kveikt spennu og velgengni nemenda. Yong hefur áður skrifað fyrir þetta blogg, þar á meðal færslu sem ber titilinn: „Það er nýtt ákall til Bandaríkjamanna um að tileinka sér menntun að kínverskum stíl. Þetta eru mikil mistök.'

Auglýsing Saga heldur áfram fyrir neðan auglýsingu

Yong aðlagaði þessa færslu frá 1. hluta greinar sinnar, „Tveir áratugir eyðileggingar: Samsetning gagnrýni gegn PISA,“ að birtast í Journal of Educational Change . Hann skrifar:

Grundvöllurinn sem PISA hefur byggt velgengni sína á hefur verið alvarlega mótmælt. Í fyrsta lagi eru engar vísbendingar sem réttlæta, hvað þá sanna, þá fullyrðingu að PISA mæli sannarlega færni sem er nauðsynleg fyrir lífið í nútíma hagkerfum. Í öðru lagi er krafan þröngvað einhæfri og vestrænni sýn á samfélög á heimsbyggðina. Í þriðja lagi skekkir krafan tilgang menntunar.

Hér er stykkið.

eftir Yong Zhao

PISA er snilldar töframaður. Það hefur með góðum árangri skapað tálsýn um gæði menntunar og markaðssett það fyrir heiminum. Árið 2018 tóku 79 lönd þátt í þessari töfrasýningu af þeirri trú að þetta þriggja ára próf mæli nákvæmlega gæði menntakerfa þeirra, skilvirkni kennara þeirra, getu nemenda og framtíðarfarsæld samfélags þeirra.

Töfrandi kraftur PISA í menntaheiminum stafar af djörfum fullyrðingum þess og árangursríkri markaðssetningu. Það byrjar á því að taka á alhliða kvíða um framtíðina. Menn hafa eðlilega áhyggjur af framtíðinni og hafa mikla löngun til að vita hvort morgundagurinn sé betri en, eða að minnsta kosti jafn góður og í dag. Foreldrar vilja vita hvort börnin þeirra muni eiga gott líf; stjórnmálamenn vilja vita hvort þjóðir þeirra hafi fólk til að byggja upp blómlegra hagkerfi; Almenningur vill vita hvort unga fólkið verði farsælt og framlag meðlima félagsins.

Auglýsing Saga heldur áfram fyrir neðan auglýsingu

PISA nýtir sér kvíða og löngun foreldra, stjórnmálamanna og almennings á frábæran hátt með þremur spurningum (OECD, 1999, bls. 7):

  • Hversu vel er ungt fullorðið fólk í stakk búið til að takast á við áskoranir framtíðarinnar?
  • Eru þeir færir um að greina, rökstyðja og miðla hugmyndum sínum á áhrifaríkan hátt?
  • Hafa þeir getu til að halda áfram að læra alla ævi?

Þessi orð hefja skjalið sem kynnti PISA fyrir heiminum árið 1999 og hafa verið endurtekin í nánast öllum PISA skýrslum síðan. Í skjalinu segir síðan hið augljósa: „Foreldrar, nemendur, almenningur og þeir sem reka menntakerfi þurfa að vita“ (OECD, 1999, bls. 7). Og eins og búast má við býður PISA sig fram sem spákonu með því að halda því fram að:

PISA metur að hve miklu leyti 15 ára nemendur, undir lok skyldunáms, hafa öðlast lykilþekkingu og færni sem er nauðsynleg fyrir fulla þátttöku í nútíma samfélögum. … Í matinu er ekki bara gengið úr skugga um hvort nemendur geti endurskapað þekkingu; það skoðar einnig hversu vel nemendur geta framreiknað frá því sem þeir hafa lært og geta beitt þeirri þekkingu í ókunnum aðstæðum, bæði innan og utan skóla. Þessi nálgun endurspeglar þá staðreynd að nútíma hagkerfi umbuna einstaklingum ekki fyrir það sem þeir vita, heldur fyrir það sem þeir geta gert með það sem þeir vita. (OECD, 2016, bls. 25).

Þessi krafa býður ekki aðeins upp á PISA semtiltæki til að sefa kvíða en gerir það líka, og kannski mikilvægara, þaðthetæki í slíkum tilgangi vegna þess að það hjálpar til við að slá út keppinauta sína. Sem alþjóðlegt menntunarmat kom PISA seint. Áður en PISA hófst höfðu Alþjóðasamtökin um mat á námsárangri (IEA) þegar starfrækt alþjóðlegt námsmat síðan á sjöunda áratugnum og boðið upp á áhrifamikil forrit eins og TIMSS og PIRLS. Til að sprotafyrirtæki sigri starfsstöðina verður það að bjóða upp á eitthvað annað og betra. Það er nákvæmlega það sem PISA lofaði: öðru og betra mati.

Auglýsing Saga heldur áfram fyrir neðan auglýsingu

IEA „kannanir hafa beinst að niðurstöðum sem tengjast beint námskránni og þá aðeins þeim hlutum námskrárinnar sem eru í meginatriðum algengir í þátttökulöndunum“ (OECD, 1999, bls. 10) og það er vandamál, samkvæmt PISA, vegna þess að :

Skólanámskrár eru venjulega byggðar að mestu leyti út frá upplýsingum og tækni sem á að ná tökum á. Þeir einbeita sér jafnan minna, innan námskrársviða, að færni sem þarf að þróa á hverju sviði til að nota almennt á fullorðinsárum. Þeir einblína enn minna á almennari hæfni, þróuð í gegnum námskrána, til að leysa vandamál og beita hugmyndum sínum og skilningi á aðstæður sem upp koma í lífinu. (OECD, 1999, bls. 10).

PISA sigrast á takmörkunum með því að meta 'hvaða færni er talin nauðsynleg fyrir framtíðarlífið,' sem gæti verið eða ekki fallið undir skólanámskrá. Svo er fullyrt. Með öðrum orðum, PISA fullyrðir að aðrar alþjóðlegar kannanir mæli hversu vel nemendur hafa tileinkað sér fyrirhugaða skólanámskrá menntakerfa, en skólanámið gæti verið rangt í samræmi við það sem þarf til framtíðarlífs.

Til að gera tilboðið enn betra gerir PISA aðra tælandi fullyrðingu til stefnumótenda í menntamálum: „Með því að prófa þekkingu og færni beint undir lok grunnskólanáms, skoðar OECD/PISA hversu viðbúnað ungt fólk er fyrir fullorðinslífið og að sumum umfang, skilvirkni menntakerfa,“ (OECD, 1999, bls. 11). Til að orða það, þá segir PISA þér ekki aðeins hvort börnin þín séu tilbúin fyrir framtíðarlíf, heldur segir þér einnig að þú hafir stjórn á því með því að bæta „skilvirkni menntunar“. Þannig „ef hvetja á skóla og menntakerfi til að einbeita sér að nútíma áskorunum,“ er þörf á PISA.

Auglýsing Saga heldur áfram fyrir neðan auglýsingu

Hins vegar hefur fullyrðingunni, grunninum sem PISA hefur byggt velgengni sína á, verið mótmælt alvarlega. Í fyrsta lagi eru engar vísbendingar sem réttlæta, hvað þá sanna, þá fullyrðingu að PISA mæli sannarlega færni sem er nauðsynleg fyrir lífið í nútíma hagkerfum. Í öðru lagi er krafan þröngvað einhæfri og vestrænni sýn á samfélög á heimsbyggðina. Í þriðja lagi skekkir krafan tilgang menntunar.

Tilbúin krafa

Fullyrðingin um að PISA mæli þekkingu og færni sem er nauðsynleg fyrir nútímasamfélagið eða framtíðarheiminn er ekki byggð á neinum reynslusönnunum. Prófessor Stefan Hopmann við háskólann í Vínarborg skrifar:

Engar rannsóknir eru til sem sanna þessa fullyrðingu umfram það að vita eitthvað er alltaf gott og að vita meira er betra. Það eru ekki einu sinni rannsóknir sem sýna að PISA nái yfir nógu mikið til að vera dæmigert fyrir viðkomandi skólagreinar eða almennan þekkingargrunn. PISA atriði eru byggð á hagnýtum rökum rannsakenda og á forprófunum á því hvað virkar í flestum eða öllum aðstæðum - en ekki á kerfisbundnum rannsóknum á núverandi eða framtíðaruppbyggingu þekkingar og þörfum. (Hopmann, 2008, bls. 438).

Með öðrum orðum, fullyrðingin var bara fantasía, blekking, algjörlega sköpuð af PISA teyminu. En PISA heldur áfram að endurtaka fullyrðingu sína um að mæla færni sem þarf til framtíðar. Stefnan virkaði. PISA tókst að sannfæra fólk með endurtekningu.

Auglýsing Saga heldur áfram fyrir neðan auglýsingu

Ennfremur eru reynslusögur sem benda til þess hvað PISA mælir eru ekki verulega frábrugðin öðrum alþjóðlegum mati eða greindarprófum. Til dæmis, þrátt fyrir fullyrðingu sína um að mæla eitthvað annað en rannsóknir eins og TIMSS, er árangur á PISA marktækt samhengi við TIMSS.

Og það er kaldhæðnislegt að PISA verkefnið notaði niðurstöður úr öðrum rannsóknum máli sínu til stuðnings. PISA gaf út áhrifamikla skýrslu sem ætlað er að sýna fram á mikilvægi þess sem hún mælir fyrir efnahagsþróun (Hanushek & Woessmann, 2010). Í skýrslunni kom fram fjöldi töfrandi fullyrðinga um langtíma efnahagsleg áhrif þess að bæta PISA niðurstöður, þar á meðal, til dæmis, „að láta öll OECD lönd auka meðaltal PISA stiga um 25 stig á næstu 20 árum … felur í sér heildaraukningu á landsframleiðslu OECD. af 115 billjónum Bandaríkjadala yfir ævi kynslóðarinnar sem fæddist árið 2010“ (Hanushek & Woessmann, 2010, bls. 6).

Skýrslan hefur verið mótmælt af fjölda fræðimanna (Kamens, 2015; Klees, 2016; Komatsu & Rappleye, 2017; Stromquist, 2016). Eitt hrikalegasta vandamálið við niðurstöðuna um marktækt samband milli prófskora og hagvaxtar er rökfræðin sem liggur til grundvallar greiningunni sem notuð er til að komast að niðurstöðunni. Skýrslan bar saman prófskor á tilteknu tímabili (1964-2003) við hagvöxt nokkurn veginn á sama tímabili (1960-2000), sem er rökfræðilega gallað vegna þess að nemendur sem tóku prófið voru ekki á vinnumarkaði á þeim tíma. Það tekur tíma fyrir nemendur að komast út á vinnumarkaðinn og mynda umtalsverðan hluta vinnuafls.

Auglýsing Saga heldur áfram fyrir neðan auglýsingu

„Prófskora nemenda á hverju tímabili ætti að bera saman við hagvöxt á síðari tímabilum“ (Komatsu & Rappleye, 2017, bls. 170). Rannsóknir sem báru saman prófskora við hagvöxt á síðari tímabilum með því að nota sama gagnasafn og aðferð fundu engin „stöðug sterk né mjög samkvæm“ tengsl milli prófskora og hagvaxtar og „að sambandið milli breytinga á prófskorum á einu tímabili og breytinga á Hagvöxtur á síðari tímabilum var í besta falli óljós, í versta falli vafasamur (Komatsu & Rappleye, 2017, bls. 183), sem ógildir í raun þær fullyrðingar sem settar voru fram í skýrslunni.

Jafnvel þótt fullyrðingarnar væru gildar byggðu þær fyrst og fremst á niðurstöðum alþjóðlegra mata fyrir utan PISA. Þó að skýrslan segi að hún „noti nýlegar efnahagslíkön til að tengja vitræna færni – eins og hún er mæld með PISA og öðrum alþjóðlegum mælitækjum – við hagvöxt“ (Hanushek & Woessmann, 2010, bls. 6), er staðreyndin sú að niðurstöður frá PISA mynduðu mjög lítill hluti þeirra gagna sem notuð eru í líkanagerðinni. Aðeins hafði verið boðið upp á þrjár umferðir af PISA þegar skýrslan var birt. Ennfremur náðu efnahagsgögnin yfir tímabilið 1960 til 2000, árið þegar PISA var fyrst innleitt. Aðeins ein umferð af PISA gögnum var tekin með en skýrslan byggði á „gögnum úr alþjóðlegum prófum sem hafa verið gefin undanfarin 45 ár til að þróa einn sambærilegan mælikvarða á færni fyrir hvert land sem hægt er að nota til að skrá færni einstaklinga á vinnumarkaði ” (Hanushek & Woessmann, 2010, bls. 14).

Hanushek og fleiri (Hanushek, 2013; Hanushek & Woessmann, 2008; Hanushek & Woessmann, 2012) hafa ítrekað svipaðar fullyrðingar um efnahagsleg áhrif þess að bæta PISA. Hvort niðurstöðurnar eru réttar er svo annað mál. Málið er að fullyrðing PISA um að mæla eitthvað annað en önnur alþjóðleg mat er lygi. Það mælir örugglega sömu byggingu og aðrir. Krafan um að mæla betur það sem skiptir máli í nútíma hagkerfi eða framtíðarheiminum en önnur próf sem höfðu verið til áður en PISA var fundið upp er aðeins tilbúið blekking.

Einlita skoðun á menntun

Að baki fullyrðingu PISA er sú forsenda að til sé safn kunnáttu og þekkingar sem er almennt verðmæt í öllum samfélögum, óháð sögu þeirra og framtíð. „Grundvallarforsenda PISA verkefnisins er að það sé sannarlega hægt að „mæla gæði menntunar lands með vísbendingum sem eru algengir, þ.e. algildir, óháðir skólakerfum, samfélagsgerð, hefðum, menningu, náttúrulegum aðstæðum, leiðum. búsetu, framleiðslumáta o.s.frv.“ (Sjøberg, 2015, bls. 116). En þessi tilgáta er erfið.

Fyrsta vandamálið er að það eru fleiri en eitt samfélag í heiminum og samfélög eru ólík hvert öðru. Af alls kyns ástæðum - menningarlegum, pólitískum, trúarlegum og efnahagslegum - starfa ólík samfélög á mismunandi hátt og bjóða upp á mismunandi áskoranir. Til að mæta mismunandi áskorunum þarf mismunandi þekkingu og færni. Þar af leiðandi „er varla hægt að gera ráð fyrir að 15 ára börn í t.d. Bandaríkin, Japan, Tyrkland, Mexíkó og Noregur búa sig undir sömu áskoranir og að þau þurfi sömu lífsleikni og hæfni“ (Sjøberg, 2015, bls. 116).

Annað og stærra vandamálið við þá forsendu PISA um alhliða safn af dýrmætri færni og þekkingu fyrir öll lönd er að setja einhæfa, fyrst og fremst vestræna sýn á samfélög. PISA var fyrst og fremst þróað til að þjóna aðildarríkjum OECD, sem flest eru fullkomnustu hagkerfi heimsins með örfáum undantekningum eins og Mexíkó, Chile og Tyrklandi. OECD-ríkin 35 tákna á engan hátt allan fjölbreytileikann í næstum 200 löndum í heiminum í dag. Forsendurnar sem styðja PISA eru fyrst og fremst byggðar á efnahags- og menntunarveruleika aðildarríkja OECD. Það kemur ekki á óvart að „PISA ramminn og prófun hans eru ætluð tiltölulega ríkum og nútímavæddum OECD-löndum. Þegar þetta tæki er notað sem „viðmið“ staðall í þeim 30+ löndum utan OECD sem taka þátt í PISA, gæti misræmi PISA prófsins við þarfir þjóðarinnar og ungmenna orðið enn augljósara“ (Sjøberg, 2015) , bls. 116).

Bjakkuð sýn á menntun

Þrátt fyrir að PISA haldi því fram að það meti ekki eftir innlendum námskrám eða skólaþekkingu, hafa niðurstöður þess verið túlkaðar sem gildur mælikvarði á gæði menntakerfa. En skoðun PISA á menntun er brengluð og afar þröngsýn (Berliner, 2011; Sjøberg, 2015; Uljens, 2007). PISA lítur á hagvöxt og samkeppnishæfni sem eina tilgang menntunar. Þannig er aðeins metið viðfangsefni - lestur, stærðfræði, vísindi, fjármálalæsi og vandamálalausnir - sem almennt er litið á sem mikilvægar til að efla samkeppnishæfni í alþjóðlegu hagkerfi knúið áfram af vísindum og tækni. PISA sýnir lítinn áhuga á öðrum greinum sem hafa tekið upp námskrár margra landa eins og hugvísindi, listir og tónlist, íþróttakennslu, félagsvísindi, heimsmál, sagnfræði og landafræði (Sjøberg, 2015).

Þó að undirbúa börn fyrir efnahagslega þátttöku sé vissulega hluti af ábyrgð menntastofnana, getur það ekki og ætti ekki að vera eina ábyrgðin (Labaree, 1997; Sjøberg, 2015; Zhao, 2014, 2016). Tilgangur menntunar í mörgum löndum felur í sér miklu meira en að undirbúa efnahagslegar verur. Ríkisborgararéttur, samstaða, jafnrétti, forvitni og þátttöku, samúð, samkennd, forvitni, menningarverðmæti, líkamleg og andleg heilsa og margt annað eru meðal þeirra tilganga sem oft eru nefndir í innlendum menntamarkmiðum. En þessir þættir í tilgangi menntunar „gleymast oft eða hunsaðir þegar umræða um gæði skólans er byggð á PISA stigum og röðun“ (Sjøberg, 2015, bls. 113).

Bjaguð og þröng skilgreining á tilgangi menntunar er ein helsta ástæðan fyrir sumum sérkennilegu og virðist óvæntu uppgötvunum sem tengjast PISA. Það er viðvarandi mynstur neikvæðrar fylgni á milli PISA stiga og áhuga og viðhorfs nemenda. Margir vísindamenn hafa komist að því að lönd með hærri PISA stig virðast hafa nemendur með minni áhuga á og minna jákvætt viðhorf til viðfangsefnisins sem prófuð var (Bybee & McCrae, 2011; Zhao, 2012, 2014, 2016). Til dæmis hefur PISA vísindastig marktæka neikvæða fylgni við framtíðarvísindastefnu og framtíðarvísindastörf (Kjærnsli & Lie, 2011). Einnig hefur komið í ljós að hátt PISA-stig tengist lægra sjálfstrausti og getu frumkvöðlastarfs (Campbell, 2013; Zhao, 2012). Þar að auki virtust menntakerfi með hátt PISA-stig hafa meiri valdsstefnu (Shirley, 2017; Zhao, 2014, 2016). Að auki hefur PISA stig reynst hafa neikvæða fylgni við líðan nemenda (Shirley, 2017; Zhao, 2014, 2016), niðurstaða sem PISA viðurkenndi að lokum opinskátt í skýrslu frá 2017 (OECD, 2017). Þessar niðurstöður benda í grundvallaratriðum til þess að PISA mæli aðeins mjög þröngan þátt menntunar og vanræki að gefa gaum að víðtækari skyldum menntakerfa. Ennfremur getur það að elta þröngt skilgreindan tilgang menntunar kostað víðtækari tilgang menntunar (Zhao, 2017, 2018). „Það eru mjög fáir hlutir sem hægt er að draga saman með tölu og samt sem áður segist Pisa vera fær um að fanga allt menntakerfi lands í aðeins þremur þeirra. Það getur ekki verið mögulegt. Það er brjálæði“ (Morrison, 2013).

Í stuttu máli má segja að PISA hafi með góðum árangri markaðssett sig sem mælikvarða á menntunargæði með þeirri fullyrðingu að mæla færni og þekkingu sem skiptir máli í nútíma hagkerfum og í framtíðarheiminum. Við nánari athugun er ágæti skilgreint af PISA aðeins blekking, framleidd fullyrðing án nokkurra reynslusönnunargagna. Ennfremur felur PISA í sér einhæfni og aðhyllist brenglaða og þrönga sýn á tilgang fyrir öll menntakerfi í heiminum. Afleiðingin er þróun alþjóðlegrar einsleitni menntunar og hátíð auðvalds menntakerfa fyrir háa PISA stig þeirra, en hunsa neikvæðar afleiðingar á mikilvæga mannlega eiginleika og staðbundna menningu slíkra kerfa.

Heimildir

Berliner, D. C. (2011). Samhengið við að túlka PISA niðurstöður í Bandaríkjunum: Neikvæðni, chauvinismi, misskilningur og möguleiki á að skekkja menntakerfi þjóða. Í M. A. Pereyra, H.-G. Kotthoff og R. Cowen (ritstj.),Písa í skoðun(bls. 77-96). New York: Springer.

Bybee, R. og McCrae, B. (2011). Vísindalæsi og viðhorf nemenda: Sjónarhorn úr PISA 2006 vísindum.International Journal of Science Education, 33(1), 7-26.

Campbell, M. (2013, 5. janúar). Uppröðun menntunar í Vesturlöndum vs Asíu er villandi: Vestræn skólabörn standa sig reglulega fram úr asískum jafnöldrum sínum, en það er tilgangslaust að hafa áhyggjur af því.Nýr vísindamaður (2898). Sótt af https://www.newscientist.com/article/mg21728985-800-west-vs-asia-education-rankings-are-misleading/

Hanushek, E. A. (2013). Hagvöxtur í þróunarlöndum: Hlutverk mannauðs.Endurskoðun hagfræði menntamála, 37204-212.

Hanushek, E. A. og Woessmann, L. (2008). Hlutverk vitrænnar færni í efnahagsþróun.Journal of Economic Literature, 46(607-668).

Hanushek, E. A. og Woessmann, L. (2010).Hár kostnaður vegna lítillar námsárangurs: Langtíma efnahagsleg áhrif þess að bæta PISA niðurstöður. Sótt frá París: http://books.google.com/books?id=k7AGPo0NvfYC&pg=PA33&lpg=PA33&dq=hanushek+pisa+gdp&source=bl&ots=2gCfzF-f1_&sig=wwe0XLL5EblVWK9e7RJfb5MyhIU&hl=en&sa=X&ei=MLPCUqaOD8-JogS6v4C4Bw&ved=0CGcQ6AEwBjgK - V = onepage & q = hanushek% 20pisa%20gdp&f=false

Hanushek, E. A. og Woessmann, L. (2012). Leiða betri skólar til meiri vaxtar? Vitsmunaleg færni, efnahagslegar niðurstöður og orsakasamhengi.Tímarit um hagvöxt, 17(4), 267-321.

Hopmann, S. T. (2008). Ekkert barn, enginn skóli, ekkert ríki skilið eftir: Skólaganga á tímum ábyrgðar.Journal of Curriculum Studies, 40(4), 417-456.

Kamens, D. H. (2015). Þroskandi alþjóðlegt prófunarkerfi mætir hagkerfi heimsins: Prófskor og hagvöxtur, 1960—2012.Comparative Education Review, 59(3), 420-446.

Kjærnsli, M., & Lie, S. (2011). Val nemenda fyrir vísindastörf: Alþjóðlegur samanburður byggður á PISA 2006.International Journal of Science Education, 33(1), 121-144.

Klees, S. J. (2016). Mannauður og ávöxtun: snilldar hugmyndir eða hugmyndafræðilegar blindgötur?Comparative Education Review, 60(4), 644-672.

Komatsu, H. og Rappleye, J. (2017). Ný alþjóðleg stefna byggð á ógildum tölfræði? Hanushek, Woessmann, PISA og hagvöxt.Samanburðarmenntun, 53(2), 166-191.

Labaree, D. (1997). Almannagæði, einkagæði: Barátta Bandaríkjanna um menntunarmarkmið.American Educational Research Journal, 34(1), 39-81.

Morrison, H. (2013, 1. desember). Pisa 2012 meiriháttar galli afhjúpaður. Sótt af https://paceni.wordpress.com/2013/12/01/pisa-2012-major-flaw-exposed/

OECD. (1999).Mæling á þekkingu og færni nemenda: Nýr rammi fyrir námsmat. Sótt frá París: http://www.oecd.org/education/school/programmeforinternationalstudentassessmentpisa/33693997.pdf

OECD. (2016).Niðurstöður PISA 2015 (I. bindi): Ágæti og jöfnuður í menntun. Sótt frá París: http://dx.doi.org/10.1787/9789264266490-en

OECD. (2017).Niðurstöður PISA 2015: Líðan nemenda. Sótt frá París: http://www.keepeek.com/Digital-Asset-Management/oecd/education/pisa-2015-results-volume-iii_9789264273856-en - .Wk1WGrQ-fOQ # page1

Shirley, D. (2017).The New Imperatives of Educational Change: Afrek með heilindum. New York: Routledge.

Sjøberg, S. (2015). PISA og alþjóðleg menntastjórnun - Gagnrýni á verkefnið, notkun þess og afleiðingar.Eurasia Journal of Mathematics, Science & Technology Education, 11(1), 111-127.

Stromquist, N. P. (2016). Notkun aðhvarfsgreiningar til að spá fyrir um hagvöxt landa: blekking og staðreyndir í menntastefnu.Real-World Economics Review, 7665-74.

Uljens, M. (2007). The Hidden Curriculum of PISA: The Promotion of Neo-liberal policy by Educational Assessment. Í S. T. Hopmann, Gertrude Brinek og M. Retzl (ritstj.),PISA zufolge PISA - PISA Samkvæmt PISA(bls. 295-303). Berlín: Lit Verlag.

Zhao, Y. (2012).Nemendur í heimsklassa: Að mennta skapandi og frumkvöðla nemendur. Thousand Oaks, Kaliforníu: Corwin.

Zhao, Y. (2014).Hver er hræddur við stóra vonda drekann: Af hverju Kína er með besta (og versta) menntakerfi í heimi. San Francisco: Jossey-Bass.

Zhao, Y. (2016). Who's Afraid of PISA: The Fallacy of International Assessments of System Performance. Í A. Harris & M.S. Jones (ritstj.),Leiðandi framtíð(bls. 7-21). Thousand Oaks, CA: Sage.

Zhao, Y. (2017). Hvað virkar getur skaðað: Aukaverkanir í menntun.Journal of Educational Change, 18(1), 1-19.

Zhao, Y. (2018).Það sem virkar getur skaðað: Aukaverkanir í menntun. New York: Teachers College Press.