19 jun 2017

Hva kan nasjonale prøver gi informasjon om – og til hvem?

Små skoler og små kommuner blir pålagt å bruke resultatene fra nasjonale prøver, selv om prøvene faktisk ikke gir dem informasjon som de kan stole på. Det viser en ny artikkel som ser på bruken av presentasjonen av resultater fra nasjonale prøver, forfattet av NIFU-forskerne Elisabeth Hovdhaugen, Idunn Seland og Nils Vibe.

Norge er et land oppdelt i mange små kommuner og med enda flere små skoler. I 2015 hadde nærmere halvparten av kommunene færre enn 50 elever på grunnskoletrinnet, og nesten halvparten av grunnskolene er så små at de har færre enn 20 elever på trinnet.

NIFU-forskerne viser i artikkelen at sammenligning av resultater fra nasjonale prøver mellom årskull kun vil være signifikante i én av ni kommuner, når alle landets skoler ses under ett. De øvrige kommunene har for små skoler og for få elever til at beregninger av forskjeller mellom årskull kan være signifikante. Dette betyr at i så mange som åtte av ni kommuner kan slike forskjeller være utslag av tilfeldigheter, og kan gi politikere og skoleledere et dårlig grunnlag for å ta avgjørelser om utvikling av grunnskolen.

Meningsfull informasjon?

Nasjonale prøver i lesing, regning og engelsk for 5. og 8. trinn ble innført i sin nåværende form i 2007, og innføringen kan ses som del av et politisk skift i styring av norsk skole, med mer fokus på resultater. Resultater av nasjonale prøver er offentlige og må derfor gjøres tilgjengelig for allmenheten. Aggregerte resultater på skole, kommune, fylke og nasjonalt nivå blir publisert årlig på Skoleporten.no.

Skoler og kommuner blir oppfordret til å bruke resultatene aktivt, både i statlige dokumenter og i rettledningen til hvordan skoleeiere og skoleledere skal følge opp prøvene. I begge tilfeller oppfordres skoler og kommuner til å gjøre sammenligninger, blant annet av sine egne resultater med gjennomsnittet. Spørsmålet i artikkelen utforsker om alle skoler og kommuner faktisk har mulighet til å gjøre dette og hente ut meningsfull informasjon. Store skoler og store skoleeier har bedre bruk av dataene, men spørsmålet er hvor godt dette fungerer for mindre skoler.

For små skoler

Det må være et visst antall elever på trinnet for å kunne si at noe ikke er et utslag av tilfeldig variasjoner. For å kunne si at en gjennomsnittlig skår i kommunen på 49 poeng er forskjellig fra det nasjonale gjennomsnittet på 50, må det være minst 279 elever på 5. trinn i en kommune. Artikkelen viser at det bare var 50 av Norges 428 kommuner som hadde så mange elever på trinnet, med andre ord var det bare i en av ni tilfeller der forskjellen er signifikant og ikke et utslag av tilfeldigheter. I åtte av ni kommuner kan en slik forskjell være kun et utslag av tilfeldigheter.

Mange skoler er så små at det å sammenligne sine egne resultater fra et år til et annet, eller med det nasjonale gjennomsnittet, ikke alltid gir mening. Dette er imidlertid noe som ikke blir kommunisert i oppfordringene til å bruke dataene. Hovedutfordringen her er geografisk: Det er langt mer vanlig å være en liten skole enn å være en stor skole i Norge i dag.

Artikkelen gjennomgår og diskuterer hvordan dataene ble publisert på Skoleporten.no i 2013, da nasjonale prøver som system ble evaluert, og hvordan det ser ut i dag. NIFU-forskerne bruker tall for 2016. I perioden har Utdanningsdirektoratet endret måten data blir publisert på, fra gjennomsnittlig mestringsnivå til gjennomsnittlig poengskår. Den nye måten å publisere på er langt bedre og mer informativ enn tidligere. Imidlertid gjenstår utfordringen med at små kommuner og små skoler i liten grad kan trekke konklusjoner basert på dataene. For å sitere Daniel Kahnemans Thinking fast and slow (2011) avslutningsvis:

«Vi bør ikke tolke inn kausalitet der det egentlig handler om tilfeldigheter. Som mennesker ønsker vi å se mønstre og finne sammenhenger, men når utvalget vi studerer er lite er det mye større sjanse for at vi observerer tilfeldigheter enn at det faktisk er en sammenheng.»

Les artikkelen her:
«National test results: representation and misrepresentation. Challenges for municipal and local school administration in Norway» i Nordic Journal of Studies in Educational Policy, 2017.

For mer informasjon, kontakt
Elisabeth Hovdhaugen, forsker 2, høyere utdanning
(+47) 402 34 502
elisabeth.hovdhaugen@nifu.no