Svein Sjøberg: PISA – bekymringsmelding fra skolen!
For snart tre år siden skrev jeg en artikkel i tidsskriftet Bedre Skole (1/ 2009). Der omtaler jeg en undersøkelse om hvordan norske lærere og skoleledere oppfatter PISA-undersøkelsen. Resultatene gir grunn til bekymring og ettertanke. De mener at skolen ødelegges av testing og at PISA misbrukes av media og politikere. Dessverre er saken blitt enda mer aktuell i dag. Nå er det helt opplagt at det er PISA som legger premissene for norsk skolepolitikk. Både offentlige utredninger og meldinger til Stortinget henviser ustanselig til «PISA», «Internasjonale undersøkelser» og til «eksperter fra OECD». Men nøkkelordene fra den norske skolens nye «Formålsparagraf» blir nesten ikke nevnt. I denne paragrafen, som er den norske skolens legale og ideologiske fundament, finner man nøkkelord som: menneskeverd, åndsfridom, nestekjærleik, likeverd, solidaritet demokrati, likestilling, vitenskapleg tenkemåte, skaparglede, engasjement og utforskertrang, tenke kritisk, handle etisk og ta økologisk ansvar. Når politikken utformes, har man «glemt» nesten alle slike begrep.
Kort sagt: Vi kan slå fast at den norske skolens formål (syfte) i praksis er erstattet med indikatorer og rangeringer fra OECD-eksperter og fra PISA-prosjektet.
Her er en lett redigert versjon av min artikkel fra 2009:
*
Resultatene fra mediedebatten i kjølvannet av OECDs PISA-studier har skapt et bilde av norsk skole som en skole i fritt fall, en skole der den faglige kvaliteten er håpløs og der hverdagen preges av uro og lav disiplin. Samtidig trekker både OECD og media fram at norsk skole er blant de dyreste i verden, og OECD har nylig advart Norge og sagt at vi ikke bør bruke mer penger på skolen! Rådet hevdes å være basert på PISA-resultatene.
Det kan virke som om elendighetsbildet av norsk skole er hamret inn og nesten vedtatt som ’bevist’. Forsøk på å nyansere eller problematisere det bildet som PISA-debatten har skapt av norsk skole blir lett oppfattet som forsøk på bortforklaringer. Det finnes andre studier, og de gir et langt mer oppløftende bilde av norsk skole. Men dette får liten oppmerksomhet i media.
Skolefolks stemme?
Debatten virker selvsagt tilbake på de som har skolen som sin arbeidsplass, både lærere og skoleledere. Mer enn i de fleste andre yrker er de avhengige av at folk har tillit til at de gjør en god jobb. Selvsagt skal og bør skolen stadig vurderes kritisk, det bør alle viktige samfunnsinstitusjoner. Men hvis kritikken blir sterk og vedvarende vil den fungere destruktivt. Spesielt hvis kritikken oppleves som ubegrunnet og urettferdig.
Det er ikke skolefolk som har preget den offentlige skoledebatten, for ”alle” føler seg berettiget til å ha sterke meninger om skolen. Bare nokså få lærere har deltatt (eller kommet til orde?) i PISA-debatten i aviser og andre medier.
Men det er viktig, både for skolen og for samfunnet, at man får greie på hva skolens lærere og ledere mener om PISA. Først og fremst om hvordan PISA-debatten påvirker deres arbeidssituasjon, deres forhold til elever, foreldre og offentlighet. Det er nesten merkelig at ingen har forsket på akkurat dette: hvordan påvirker PISA-debatten skolens liv og arbeid, lærernes identitet? Og på lærernes trivsel, selvforståelse og deres forhold til elever og foreldre?
Når det gjelder dokumentasjon av virkninger på norsk skole har vi hittil bare hatt noen spredte artikler, personlige vitnesbyrd og anekdoter å bygge på. Derfor er det flott at Utdanningsforbundet nå har laget sin egen undersøkelse om mange sider ved PISA og norsk skole blant sine medlemmer. Utdanningsforbundets utredere har fulgt oppskriften for en god undersøkelse: Noen av spørsmålene er formulert klart positive til PISA, andre er negative eller kritiske. Med en slik balanse kan man sjekke om svarene er troverdige og konsistente. Svarprosenten er noe lav, men slett ikke verre enn mange av de undersøkelser som gjengis i media, og av samme størrelsesorden som man får ved denne typen elektronisk datainnsamling. I alt er det om lag 1000 respondenter, omtrent det samme som de store opinionsmålerne bruker til sine surveys. Det er ingen grunn til å anta at det er et spesielt utvalg av ’PISA-positive’ eller ’PISA-negative’ medlemmer som har svart.
Av dataene som helhet framgår det at lærere og skoleledere svarer nokså likt. Noe overraskende er det kanskje også at det er nokså små forskjeller i svarene til de som arbeider i grunnskolen og de som jobber i videregående skole (gymnasieskolan). Det gir derfor mening å omtale alle respondentene som ’skolefolk’ og behandle dem som én gruppe. Det gjør jeg i det følgende.
Godt orientert
Svarene viser at flertallet (58%) av skolefolk svarer at de er ”godt orientert om PISA-studien og hva den måler”. Omtrent halvparten har lest PISA-rapporter, og mange har sett på oppgavene. Hele 69% svarer at de følger godt med i debatten og i medias presentasjon av PISA.” Enda flere (86%) svarer at de ”er kjent med kritikken som er reist mot mange sider ved PISA-undersøkelsen og hvordan undersøkelsen kan brukes og misbrukes.”
I noe mindre grad kjenner skolefolk til de andre internasjonale skoleundersøkelsene, som TIMSS (63%), PIRLS (50%) og CIVIC (7%). Dette er kanskje ikke så merkelig, for skolefolk vet det vi alle vet: Det er PISA som legger premissene for norsk skoledebatt i media, og det er PISA som trekkes fram i politiske utredninger og meldinger om norsk skole.
Men hva mener skolefolk mer konkret om PISA?
Studien viser at lærere og skoleledere er frustrert over at PISA brukes til å beskrive kvaliteten i norsk skole. Hele 82% er enige i at ”PISA-debatten gir et feilaktig bilde av skolens kvalitet”. Og bare 27% mener at ”PISA-undersøkelsen lykkes i måle de ferdighetene som kreves for framtidas samfunn.”
Bare 27% er enige i at ”PISA-oppgavene er i samsvar med læreplanene i norsk skole”, og det er jo dette som er skolens mandat fra samfunnet. Et slikt negativt svar er i og for seg naturlig, i og med at PISA sier klart at de ikke forholder seg til landenes læreplaner! Når politikere likevel bruker PISA-resultater som målestokk for kvaliteten i norsk skole, er det kanskje ikke merkelig at hele 54% av respondentene ”er i tvil om det er læreplaner eller PISA-resultater som skal styre skolen.”
Bare 22% mener at ”oppgavetypene er godt kjent for norske elever.” I PISA-debatten har mange, deriblant undertegnede, reist spørsmålet om norske elever virkelig yter sitt ytterste i møtet med de nokså uvante PISA-oppgavene. Denne tvilen preger også norske skolefolk, der hele 75% ”er i tvil om norske elever yter sitt ytterste på PISA-oppgavene, fordi de ikke får noen form for tilbakemelding”. Hele 71% er enige i at ”mange skoler vil kunne bruke oppgaver av ”PISA-typen” for forberede elever på denne typen tester.” Også slik vil PISA i realiteten kunne overstyre våre egne læreplaner. Her har vi et område som man bør belyse grundigere med forskning: Er det virkelig slik at politikere snakker til skolen med to tunger? At de vedtar formålsparagrafer og læreplaner som styringsinstrumenter – men likevel bruker internasjonale tester fra OECD som målestokk for om skolen gjør jobben sin? Slikt kan jo verken skolen eller samfunnet leve med. Vi har krav på et svar.
To krav bør kunne stilles til tester og evalueringer. De bør først og fremst teste det som er viktig, det som skolen har som mål og mandat. Det er også viktig at evalueringene kan vise veien videre, at de kan peke på årsaker og at bidra til å forstå hvordan man kan bli bedre. Men PISA er nokså mager på dette området, de etablerer ingen klare data på hva man kan eller bør gjøre. Og dette har lærerne også oppfattet: Det er bare 29% som er enige i at ”PISA viser oss hva som trengs for å gjøre skolen bedre”. For egen del vil jeg legge til at det er sterkt å høre hvordan mange politikere og kommentatorer hyller vinnerlandet Finland, for så i neste omgang å foreslå tiltak og reformer som er akkurat det motsatte av hva Finland gjør!
Hele 85% er enige i at ”norsk skole blir i stadig større grad preget av tester og prøver.” Og 81% er enige i at ”internasjonale rangeringer og tester får for stor vekt i utdanningspolitikken.”
Det er tydelig at skolefolk er opprørt over ”hvordan media og politikere misforstår og forvrenger PISA-resultatene” (81 % er enige). Og 77% mener at ”media lar være å presentere studier som gir et positivt bilde av skolen.” Hele 84% er enige i at ”utdanningspolitikere og skolemyndigheter legger for stor vekt på PISA-resultatene”. Utrolige 93% er enige i at ”enkelte politikere er svært selektive i sin lesing av internasjonale studier, de ’glemmer’ data som gir andre og mer positive bilder av skolen.” Likedan mener 83% at norske skolemyndigheter ”legger seg ofte «flate» for internasjonale studier og råd fra utenlandske eksperter”.
Slike klare meldinger bør få politikere i alle partier til å tenke seg grundig om. Også presse og media bør kanskje tenke mer på holdbarheten i sin PISA-baserte kritikk.
PISA og skolens omdømme
Det er ikke overraskende at PISA-debatten virker inn på skolefolks arbeid og trivsel. Og dette er kanskje det som gir mest grunn til bekymring: Hele 79% er enige i at ”PISA-oppslagene i media gjør det mindre trivelig å være lærer.” Enda verre er det at 86% er enige i at ”foreldrenes inntrykk av skolen blir negativt farget av PISA-debatten” og at 76% er enige i at ”PISA-debatten skader skolens omdømme”. Det bildet som PISA-debatten har skapt av tilstanden i norsk skole bidrar neppe til at norsk ungdom ser på læreryrket som en drømmejobb. For å si det forsiktig: PISA bidrar neppe til å øke rekrutteringen til læreryrket. (Bare 6 % av lærerne forøvrig enige i et slikt utsagn.)
*
Resultatene fra Utdanningsforbundets undersøkelse viser på en dramatisk måte hvilken negativ effekt debattene rundt PISA har på det arbeidet som utføres i norsk skole. Slik sett bidrar dette til å forsure arbeidet i skolen. Både media og skolepolitikere må ta denne undersøkelsen med stort alvor. Det bør også foreldre og ’folk flest’.
(Svein Sjøberg är professor i de naturvetenskapliga ämnenas didaktik vid Oslo universitet)
Jag vet inte hur motsvarande siffror ser ut i Sverige, men jag antar att bilden är likartad. Och det är lika skrämmande som det är intellektuellt ohederligt. Därmed inte sagt att PISA-resultaten är ointressanta, tvärtom. De leder dessutom blicken mot den finska skolan, som är påfallande lik den svenska innan marknadskrafterna satte klorna i den och klyftorna vidgades. Somligt var bättre förr …
För mig är det föga förvånande att lärare inte gillar rapporter som indirekt underkänner deras arbete.
Det är klart att förklaringen ligger i mätmetoder och andra faktorer, utanför lärares påverkan. Trevligast så.
Tack!
Välbehövlig fakta!
Vem/vilka eller vilken instans avgör/beslutar om undersökningarna (PISA,TIMSS) skall göras i Sverige/Norge?
Tack Svein Sjöberg för ditt inlägg – detta är verkligen värt att diskutera
Jag vill bidraga med följande:
Bedömningar om utbildningens kvalitet – utdrag från EN VITBOK OM GRUNDSKOLAN
Under 70-talet, när Världsbanken (där jag då jobbade) startade sitt finansiella stöd till skolutvecklingen i världen gjordes omfattande undersökningar om hur man ekonomiskt skulle kunna bestämma effektivitet av utbildningen i relation till vad den kostade. Det misslyckades beroende på – som det sades – svårigheten att bestämma värdet av den förbättrade utbildningen i relation till investeringen. Det var också så, att de försök till ekonomiska beräkningar och uppskattningar av effektiviteten som kunde göras visade på så små ökningar i förhållande till investeringen, att skolprojekt aldrig skulle kunna bli finansiellt försvarbara, sett ur en banks perspektiv. Därför slopades de absoluta effektivitetskraven och istället började man använda sig av relativa beräkningar. Man började bedöma skolornas kvalitet i relation till andra skolor inom ett land och internationellt mellan länderna. För sådana bedömningar har vi nationella prov och internationella prov (PISA, TIMSS, etc.).
Sådana bedömningar har i realiteten liten betydelse – och är ofta hindrande – för den positiva utvecklingen av våra skolor. Jag skall ta ett i dagens skoldebatt mycket citerat exempel. Dagens stora föredöme på den internationella skolfronten är Finland (”det finska undret!”) som vid PISA proven har fått bland de högsta medelpoängen – 536. Sverige ligger lite efter med 499, vilket är 7 % lägre. Låt oss anta att vi på något sätt skulle kunna få fram en bedömning av den absoluta kvalitén genom att anta att effektiviteten (ett annat ord är verkningsgraden dvs. kvoten av vad vi får ut i förhållande till vad vi sätter in, mätt i samma mått) är 20 % i Finland (det tycks lågt, men i praktiken är det säkert mycket lägre, närmare 10%). Då skulle den absoluta kvalitén i Sverige vara 7 % lägre eller 20 x 0.93% lika med 18.6%, vilket troligtvis ligger inom felmarginalerna och knappast kan ge anledning att tro att Finland är väsentligt bättre än Sverige. Vi har därför knappast något att lära från Finland när det gäller att skapa en väsentligt bättre skola, då vi skulle vilja komma fram till en absolut effektivitet av 80 – 90 %.
Relativa bedömningsmetoder döljer de grundläggande skol problemen och ger ingen vägledning till hur vi skall kunna lösa skolproblemet i stort.
De användes bara av lärarhögskolorna, lärarfacken, skolpolitiker, och media för att argumentera för större anslag, bättre löner och för att ge sken av att man har en lösning på skolproblemet.
Den vanliga debatten om detta är naturligtvis irriterande för den som är verkligt engagerad i uppgiften att skapa en bättre skola, men en förklaring av bedömningarnas verkligen betyder kan
vara till hjälp.
Lennart Swahn www,sweducation.eu
Kritiken mot den svenska skolans brister har satt fart på debatten, sedan det avslöjades att vi halkat efter i den internationella konkurrensen att döma av den senaste PISA-undersökningen 2009. Mycket av kritiken kan ses som en konsekvens av “ett prestations- och konkurrensorienterat tänkesätt”. Att det i själva verket handlar om en “hetsjakt på kunskap”, som gynnas av OECD:s utrikespolitik är dock inget som kritiker i allmänhet vill kännas vid. PISAS målsättningar och resultat framstår uppenbarligen som oantastliga i dessa fall. Om svenska elever halkat efter i konkurrens med andra länder, så måste orsaken kunna spåras till brister i vår skolas undervisning och inte till PISAS utvärdering.
I sin kritik av PISA anger professor Mikael Uljens dess målsättningar och kommenterar dessa enligt följande (kommentarerna anges inom parentes):
Utvärderingen skall
1) vara internationellt jämförbar. (Detta anser han ej vara fallet).
2) vara oberoende av nationella läroplaner. (Någon hänsyn till andra läroplaner har ej tagits).
3) värdera elevernas kunnande i förhållande till krav i det verkliga livet. (Antagandet om vad som anses viktigt i “det verkliga livet” anses väga tyngre än vad lärarna skulle kunna priorietera i undervisningen).
4) vara vetenskapligt grundad. (Det faktum att utvärderingen påstås vara teorilös innebär att den också är ovetenskaplig. Av resultaten framgår inget som kan förklara skillnaden i skolresultat mellan länderna).
5) vara användbar i utbildningspolitiskt syfte. (All evaluering är ovetenskapligt och lämnar litet utrymme för utvecklingsåtgärder. Det utbildningspolitiska förhållningssättet kommer klart till uttryck i evalueringen).
Allvarlig kritik riktas således mot förhållandet, att en undersökning av den här aktuella omfattningen saknar vetenskapligt stöd i mer än ett avseende. Det finns därför all anledning att inte bara ifrågasätta värdet av PISA-undersökningen som sådan utan också beträffande den ensidiga kritik som riktas mot undervisningen i den svenska skolan och dess “inkompetenta lärarkår”. Mot bakgrund av ovan redovisade målsättning finns det därför all anledning att ställa frågan: Är det verkligen särskilt vettigt att vi deltar “i den hetsjakt som OECD:s utbildningspolitik vill gynna” för att nu använda Mikaels Uljens egna ord?
Jeg fikk nylig anledning til å samtale med Svein Sjøberg om den nye PISA undesøkelsen. Opptaket ble gjort i forbindelse med podcastshowet Levevei™ som jeg er vert for. Intervjuet kan høres i sin helhet her (ca. 30 min): http://www.levevei.no/2013/12/episode-86-pisa-hva-er-det-vi-egentlig-maler-og-ikke-maler/