Christian Lundahl och Margareta Serder: Riksrevisionen och PISAs validitet

I förra veckan kom Riksrevisionens utredning om att de svenska PISA-resultaten från 2018 hade förskönats med hjälp av att exkludera vissa elevgrupper från provet. Rapporten har debatterats högljutt och det har blåst snålt om öronen på både Skolverket och utbildningsminister Anna Ekström, som ihärdigt hävdar att det går att lita på PISA. Christian Lundahl och Margareta Serder reder här ut vad rapporten handlar om och menar att resultaten i  PISA – i alla lägen – bör förstås och tolkas med försiktighet (red.).

Riksrevisionens granskning av Skolverkets och Utbildningsdepartementets hantering av PISA 2018 blev en stor skolpolitisk händelse i april 2021. Oppositionen hävdade att regeringen medvetet skönmålat svensk skola, Skolverket menade att skolorna ”missförstått” instruktionerna och frågan ställdes om PISA 2018 nu måste kastas i papperskorgen.

Att Riksrevisionen lägger ned mycket tid och resurser på att granska OECD:s kunskapsmätning i Sverige kan tyckas märkligt, men – och som de själva skriver – Riksrevisionen har ett starkt mandat att granska statliga myndigheter och ”undersöker om de följer direktiv, regler och föreskrifter, om de når sina mål samt om statliga insatser är effektiva och samhällsnyttiga”.

Eftersom Skolverket har huvudansvaret för hur PISA genomförs i Sverige är det inte orimligt att Riksrevisionen granskar dem. Själva motiverar de sin granskning så här:

Eftersom resultaten från Pisa-undersökningen används som målindikator i många sammanhang, bland annat i budgetpropositionen, är det viktigt att resultaten går att lita på. Om Pisa-undersökningen inte genomförs på ett tillförlitligt sätt kan det få konsekvenser för både utbildningspolitiken och förtroendet för statsförvaltningen (Riksrevisionen 2021, s. 6).

PISA har uppenbarligen en stor betydelse i utbildningspolitiska sammanhang, till och med i budgetpropositionen. Granskningen visar att staten tar PISA på mycket stort allvar. I det mediala kölvattnet ställs frågan om och om igen, kan vi lita på PISA? Om inte, ja då kan vi heller inte lita på Skolverket och på utbildningsdepartementet eftersom de trots ihärdig kritik inte minst i tidningen Expressen av just 2018 års resultat hävdat att vi visst kan lita på PISA. Vi menar dock att den intressanta frågan i förlängningen är hur vi ska tolka PISA och vad vi kan använda PISA till.

Fokus i debaclet kring PISA har dock helt hamnat på frågan om PISAs reliabilitet – har mätningen genomförts på ett tillförlitligt – alltså upprepningsbart sätt? Det är en helt rimlig fråga men i förlängningen måste vi närma oss frågan om PISAs validitet, dvs vad PISA mäter och hur vi kan tolka och handla utifrån dess resultat.

Riksrevisionens unika rapport ger många intressanta inblickar i hur PISA genomförs som visar hur reliabiliteten ställs på sin spets. I jämförelse med hur Mittuniversitetet tidigare administrerade själva genomförandet av PISA menar Riksrevisionen att Skolverket inte gjort tillräckligt för att säkerställa att urvalet gått rätt till på skolnivå. Detta ledde till att Sverige exkluderade långt fler elever än vad OECDs regelverk medger, vilket totalt åtta länder gjorde i denna provomgång, däribland Kanada, Luxemburg och Norge (Riksrevisionen 2021, s. 25). Huvudföremålet för granskningen är dock hur de som genomför provet, dvs de ca 200 deltagande skolorna, har exkluderat elever som inte bedöms ha rätt språkliga förutsättningar att göra provet, eller som har en funktionsnedsättning. Här har revisionen visat brister. Framförallt handlar det om svårigheten att kommunicera regelverket kring mätningen. Detta är ett generellt problem med storskaliga kunskapsmätningar då genomförandet decentraliseras i flera led. Det revisionen anmärker på är att skolorna har missförstått kriterierna kring bristande språkkunskap, där vissa skolor haft en generösare syn på vilka som ska exkluderas från provet än vad OECDs riktlinjer egentligen medger (Riksrevisionen 2021, s. 46).

Riksrevisionens granskning visar också på andra olikheter mellan skolornas genomförande. I rapporten beskrivs till exempel hur vissa av skolorna arrangerat aktiviteter för att motivera de utvalda eleverna att skriva provet. Skolorna har uppfattat att Skolverket vid informationsmötet gick igenom hur skolorna kan göra för att entusiasmera eleverna – några har till exempel bjudit på pizza. Ibland har åtgärderna resulterat i motsatsen, då vissa skolor arrangerat proven på ett sätt som har motverkat ett högt deltagande, exempelvis genom att förlägga provet i lokaler långt från skolan. Ungefär hälften av skolorna pekar dessutom på att  det är problematiskt att PISA-undersökningen genomförs under samma period som det är nationella prov. Det anses vara en bidragande orsak till att högpresterande elever får frånvaro vid proven (s. 46ff).

Förutsättningarna för genomförandet av provet har därför inte varit likvärdiga. Om vi då tänker oss att PISA genomförs i 70 länder och i runt 200 skolor per land, så kan vi utifrån detta tänka att det nog råder rätt stor osäkerhet vad gäller just likvärdiga förutsättningar för provgenomförandet. I varje led som genomförandet av PISA sker, delegeras ett visst utrymme för tolkning av OECDs regelverk. Skolverket får nu kritik av Riksrevisionen för att inte ha följt upp hur exkluderingen gått till i det yttersta genomförandeledet. Men vi hävdar att även om man tolkar reglerna strikt så uppstår det reella dilemman som handlar om testernas reliabilitet och validitet. I Expressens granskning intervjuas en rektor som gallrat på ett sätt som strider mot regelverket. Rektorn förklarar det så här i en dialog med Expressens reporter:

– Det handlar om de elever som kommit till oss som haft lite eller ingen skolgång med sig sedan tidigare, säger [Rektorn].
– Vi har inte dragit någon generell gräns på 12 eller 14 månader, utan det har varit från fall till fall. Och när det har varit tveksamheter så är det elevens bästa som vi satt i centrum. Hur blir det för eleven att skriva provet? (…)
Ser du något problem med att man har gjort så här?
– Jag tänker att det som skulle kunna vara ett problem är om man tänker att resultatet skulle ha blivit annorlunda. Statistiskt sett kanske det blir en skillnad, men det vet vi ju inte.
Så varför göra så om det kan förstöra resultatet?
– Jag tänker att vi alltid måste sätta eleven i centrum. Det är elevens bästa som måste gå först. Om en elev inte bör skriva provet för att den skulle må dåligt – vi kanske sänker den helt och hållet – jag kan inte låta den eleven skriva provet då, säger [Rektorn] (Expressen, 2021-04-29)

Dialogen illustrerar ett genuint dilemma. Ska elevens välmående eller PISAs välmående komma i första rummet? I vissa länder lär det vara obligatoriskt att genomföra PISA om man blivit utvald. Men även det reser en del frågor om reliabiliteten – vad gör det med provresultatet att provet skrivs under tvång?

Allt detta sammanlagt innebär att tolkningarna av resultaten måste ske med försiktighet. Reliabiliteten påverkar alltså ytterst validiteten. Även när alla inblandade gör precis allting rätt, så uppstår skillnader i genomförandet – reliabiliteten blir aldrig hundra procent. Samtidigt vet vi att det finns en tendens, både i politik och i media, att övervärdera resultaten som presenteras som sanningen om svenska skola istället för ett resultat som behöver tolkas (Lundahl & Serder 2020, 2021). Det är här frågan om validitet blir central. Validitet handlar om huruvida kunskapsundersökningarna prövar det som avses att prövas och på ett sådant sätt att resultaten blir så informativa och användbara som möjligt.  Men en mätnings validitet omfattar även de tolkningar och konsekvenser de får (se tex Messick 1989). Validitet handlar alltså inte bara om ett prov mäter rätt saker, utan även om hur resultaten tolkas och vilka slutsatser som dras.

Riksrevisionen har gått oerhört noga tillväga och har skrivit en mycket läsvärd rapport. Vi har inte kunnat finna att liknande granskningar har genomförts i andra länder. Forskning har heller inte på samma sätt som Riksrevisionen tillgång till själva genomförandeprocessen. Däremot har det tidigare lyfts att elever förbereds olika för PISA-testet i olika länder (Sellar m fl 2018, Landahl 2021), och exkluderingsproblematiken har belysts exempelvis i en kritisk granskning av Kanadas mycket goda resultat (Anders m fl 2021). Det reser förstås frågan om inte också en hel del andra länder kan kritiseras för hur de genomför PISA. Att det är ytterst komplicerat att administrera storskaliga prov med bristande likvärdighet i genomförandet har även konstaterats i studier av de nationella proven (https://journals.oru.se/uod/issue/view/136).

Vi kommer aldrig fullt ut kunna lita på resultaten av storskaliga mätningar. Därmed inte sagt att de är dåliga eller oanvändbara. Men vi behöver tolka mätningarna med en större försiktighet och väga in resultat från många olika typer av studier. 2018 års PISA tycks ha genomförts med ovanligt stora brister och detta har inte följts upp ordentligt av ansvariga myndigheter. Att detta skulle ha skett för att försköna resultaten som framförts i debatten har vi svårt att tro. Däremot har nog både Skolverket och Utbildningsdepartementet varit fångade i den logik OECD själva bidragit till – att PISA är extremt high stake för nationer. Istället för att föra en diskussion om balanserade och hållbara tolkningar och användningar av PISA-resultat, hamnar allt fokus på att se över rutinerna för dess genomförande. Inte för att det skulle vara något dåligt i sig, men vi behöver också ha en sansad dialog om den uppskruvade betydelse PISA har fått i den utbildningspolitiska debatten.

Christian Lundahl, professor i pedagogik vid Örebro universitet
Margareta Serder, universitetslektor i utbildningsvetenskap, Malmö universitet

Sedan texten skrevs har Skolverket valt att offentliggöra de ganska omfattande invändningar myndigheten haft på Riksrevisionens rapport före dess publicering: https://www.skolverket.se/download/18.645f1c0e17821f1d15ccd2/1620026431806/Skolverkets%20synpunkter%20på%20Riksrevisionens%20granskning%20Elevdeltagandet%20i%20PISA%202018.pdf

REFERENSER
Jake Anders, Silvan Has, John Jerrim, Nikki Shure, and Laura Zieger. (2021). Is Canada really an education superpower? The impact of non-participation on results from PISA 2015. Educational Assessment, Evaluation and Accountability33(1), 229-249.

Christian Lundahl & Margareta Serder (2020). Is PISA more important to school reforms than educational research? The selective use of authoritative references in media and in parliamentary debates, Nordic Journal of Studies in Educational Policy, 6(3), 193-206.

Christian Lundahl & Margareta Serder (2021). Internationella kunskapsmätningar – hur används PISA? Lundahl, C. & Hirsh, Å. (red.) Hållbar bedömning. Bildning välbefinnande och utveckling i skolans bedömningsarbete. Stockholm: Natur och Kultur, 357-395.

Joakim Landahl (2021). Elevråden och de internationella kunskapsmätningarna. https://elevrorelsenshistoria.wordpress.com/2021/04/30/elevraden-och-de-internationella-kunskapsmatningarna/

Samuel Messick (1989). Validity. In R. L. Linn (ed.): Educational Measurement. Third edition 1993. Phoenix: The Oryx Press, 13–103.

Sam Sellar, Bob Lingard, och David Rutkowski (2018). Student preparation for large-scale assessments: A comparative analysis. I B. Maddox (ed.) International Large-Scale Assessments in Education: Insider Research Perspective, Bloomsbury Academic, 137 – 156.

Riksrevisionen 2021. Pisa-undersökningen 2018 – arbetet med att säkerställa ett tillförlitligt elevdeltagande (RiR 2021:12). https://riksrevisionen.se/download/18.4cb651881790d82c1eb2111a/1619525207429/RiR%202021_12%20Anpassad.pdf