Svein Sjøberg: OECD/PISA – ”governing by numbers”

I sin förra artikel diskuterade Svein Sjøberg vad PISA gör för sorts mätningar. Den följs nu av en artikel där han tar upp frågan om att OECD använder PISA-mätningarna i strävan att öka tillväxtkonkurrensen mellan de deltagande länderna. Hans slutsats är: ”Når sammenhengen mellom PISA-skår og økonomisk konkurranseevne er så diskutabel, forsvinner mye av grunnlaget for den enorme oppmerksomhet disse testene har fått.” (red)

Gjennom PISA har OECD fått en innflytelse over internasjonal skolepolitikk som er større enn noen hadde kunnet forestille seg. Men OECD er selvsagt ingen konspirasjon, og OECD har heller ikke noen formell politisk makt. OECD har heller ikke noen klart uttalte politiske eller kulturelle standpunkter (bortsett fra det som ligger i OECDs mandat, som innebærer en tro på markedskrefter og frihandel, som for så vidt er politisk). OECD utøver det man kaller «soft power» gjennom sine tall og statistikker, utredninger og ekspertgjennomganger. En slik makt er også omtalt som «governing by numbers», og oppfattes som et ledd i en «global education policy convergence».

OECD har en status som ingen andre internasjonale organisasjoner. Deres råd, analyser og ekspertgjennomganger oppfattes som objektive, nøytrale og faglig udiskutable. Innen utdanningssektoren har de stått i spissen for å innføre et sett felles indikatorer for utdanningsstatistikk (ines-prosjektet), og rundt år 2000 hadde de et prosjekt som gjennom en rekke rapporter utviklet et sett med indikatorer for viktige kompetanser (DeSeCO: Definition and Selection of Key Competences).

PISAprosjektet er en slags realisering av dette rammeverket i form av tester som setter tall på hvordan ulike land lever opp til disse indikatorene. Vi kan spore innflytelsen fra DeSeCo til innføringen av «grunnleggende ferdigheter», slik de ble utformet i den norske læreplanreformen Kunnskapsløftet fra 2006 og til rammeverket for de norske nasjonale prøvene. Tilsvarende i en rekke andre land, også Sverige og Danmark.

I 2008 la OECD fram sin Economic Survey, Norway. De generelle økonomiske rådene var som følger: Norge bør øke lønnsforskjellene, minske offentlige utgifter, vurdere å øke arbeidsledigheten og redusere en altfor raus sykelønn og for lettvinte uføretrygder. Slike råd har OECD ofte kommet med, og ikke bare til Norge. Men det interessante med akkurat 2008-rapporten var at det var skole og utdanning som var det sentrale.

OECD-rapporten ga råd som skulle gjøre norsk skole bedre. «En bedre skole» blir konkretisert til å være en skole som gir «value for money» og som er «more cost effective». I praksis blir altså «bedre skole» operasjonalisert til å være en skole der man oppnår flest mulig PISA-poeng per krone brukt. Ifølge rapporten kan dette oppnås ved følgende tiltak: legge ned små skoler, gjøre klassene større, ha mer testing, offentliggjøre resultatene på skole- og lærernivå samt å innføre prestasjonslønn for lærere og skoleledere. Til slutt i rapporten kommer en klar advarsel: «Økte bevilgninger vil ikke gi bedre skole».

Man kan summere disse rådene slik: Norge bør bli et annerledes land! Det er viktig å få fram at det ikke er PISA-prosjektets forskere som kommer med slike råd, verken de som jobber i OECD eller i Norge. Men det er et godt eksempel på hvordan OECDs økonomer kan bruke PISA i sine økonomiske modeller og de råd de gir. Men politisk nøytrale og objektive råd kan man neppe si at dette er.

Bak PISA-prosjektet og andre komparative prosjekter som TIMSS (matematikk og naturfag) og PIRLS (lesing) ligger en antakelse om at man i realiteten tester landets framtidige konkurranseevne i en globalisert økonomi. En slik formodning springer ut av tankegangen rundt humankapital – i korthet som at befolkningens kompetanse er det viktigste konkurransefortrinn i et lands økonomi. Mer konkret tenker man seg da at høy skår på PISA er gyldige mål for landets framtidige konkurranseevne. Denne antakelsen oppfattes som så selvsagt at den ikke en gang blir empirisk begrunnet.

Vi ser denne tankegangen helt eksplisitt uttalt både av PISA/OECD og i deltakerlandenes rapporter. Slik står det i forordet til PISA 2010-rapporten: «In a global economy, the yardstick for success is no longer improvement by national standards alone, but how education systems perform internationally».

En stor overskrift i Dagens Næringsliv slo fast at «[d]årlige skoletester kan svekke norsk industri» (dn, 7. Desember 2007). Ved publiseringer av «resultatlistene» fra PISA (og til dels TIMSS) ser det ut som om det nærmest oppstår en paranoia blant både politikere og folk i næringslivet, hele tiden godt hjulpet av media. Selv i land som ligger nær toppen i rankingen blir man grepet av panikk hvis de faller en plass på lista. Det oppfattes som en nasjonal skandale hvis man ligger nær midten av OECD-landene. Alle vil helst ha pallplass, og ingen vil være under snittet. Man trenger ikke å kunne mye matematikk for å skjønne at dette er helt umulige krav.

Panikken brer seg. Og fordi PISA faktisk ikke kan si noe klart om kausale forhold, blir det opp til enhver å fantasere om hva som er årsak til at man ikke er best, og om hva man kan gjøre for å bli bedre. Og her er fantasien enorm og stort sett helt løsrevet fra hva man kan lese ut av PISA-data. Både i Sverige, Danmark og Norge hadde avisene store oppslag om at det var disiplin, bråk og uro som var grunnen til at vi ikke gjorde det bedre. En nærmere titt på PISA-dataene viste umiddelbart at dette på ingen måte kunne være tilfellet. Blant annet rapporterte finske elever om like mye uro som de norske.

Andre mente at vi måtte ha mer data i norsk skole, enda PISA-vinnerne brukte data i langt mindre grad enn vi gjorde. Her ligger faktisk Norge på topp, mens Finland ligger nesten lavest. Andre mente vi måtte ha mer vekt på lærernes tilbakemeldinger til elevene, enda PISA faktisk konstaterte en svak negativ korrelasjon mellom slike variabler.

Men tilbake til temaet: Er det sammenheng mellom testskår og økonomisk suksess? En slik positiv sammenheng oppfattes nesten som common sense, og få har reist tvil. Men i januar 2013 hadde New Scientist en artikkel om slike sammenhenger, under overskriften «West vs Asia education rankings are misleading» (New Scientist 7. januar, 2013) I artikkelen henvises det til flere forskningsrapporter som viser at det for industrilandene ikke finnes noen sammenheng mellom skår på TIMSS og PISA og en rekke indikatorer for landets økonomi og konkurranseevne. Da har man selvfølgelig tatt for seg utviklingen over tid ved at man har fulgt alderskohorter over flere tiår og sett på mulige sammenhenger mellom kohortenes TIMSS- (og etter hvert PISA) skår og indikatorer på økonomisk vekst og velstand.

Blant rike industriland er det faktisk en svak negativ korrelasjon mellom PISA/ TIMSS-skår og en rekke mål for økonomisk og samfunnsmessig suksess og velstand når disse årskullene blir sentrale i næringslivet. I artikkelen heter det at egenskaper som kreativitet og initiativ er egenskaper som er sentrale for entreprenørskap og framgang. Slike egenskaper blir ikke målt i de internasjonale testene. En skole som preges av en testkultur kaster bort verdifull undervisningstid, og testene presser ut nettopp de egenskapene som er viktige for et dynamisk næringsliv, hevdes det i artikkelen.

Elevene blir «good testtakers, but bad risktakers», skriver Chris Tienken (2008), en av de som det henvises til i artikkelen, og som har foretatt en rekke statistiske studier av slike sammenhenger. Topper i internasjonalt næringsliv sier noe liknende, de legger vekt på helt andre kvaliteter enn testskår. Dr. Frank Stefan Becker, direktør for Human Resources i Siemens, et av verdens største multinasjonale selskaper innen høyteknologi, holdt på en EU-konferanse fram sin liste over «Vital skills for today’s employees»: evne til analytisk tenkning, evne til å identifisere problemer, evne til å se ut over sitt eget fagfelt og ta andres perspektiv, uavhengighet, arbeidsdisiplin, toleranse for frustrasjon, gode mellommenneskelige egenskaper, kommunikasjonsevne, initiativrikdom, samarbeidsevne, evne til å arbeide i gruppe, gode ferdigheter i engelsk, skriftlig og muntlig.

Knapt noe av det som Siemens her nevner, blir testet i PISA, men flere av disse personlige egenskapene kan kanskje sies å stå sentralt i skolen i blant annet nordiske land? Når sammenhengen mellom PISA-skår og økonomisk konkurranseevne er så diskutabel, forsvinner mye av grunnlaget for den enorme oppmerksomhet disse testene har fått.

Avsnitt ur en artikel publicerad i Nytt Norsk Tidsskrift 1/2014 – http://www.idunn.no/ts/nnt

(Svein Sjøberg, professor em. Oslo universitet och gästprofessor vid Linköpings universitet och Södertörns högskola)

 

 

 

12 kommentarer till “Svein Sjøberg: OECD/PISA – ”governing by numbers”

  1. OK. Det kan väl ändå inte vara en nackdel att lära ungarna räkna. Skit i OECD. Redovisa de frågor de ställde i PISA. En del är säkert “skumma”. Skit i dem. Varför göra det så mystiskt? I TIMSS 2003 var det ett kraftigt fall i algebra och geometri. Ska det vara så svårt att fixa detta. Det är ju bristen på öppenhet som är problemet. Självklart säger ett medelvärde svensk lärarkår bara att de är dåliga.

    • Viss kan man dra många slutsatser av PISA på en mer “vardagsnära” nivå. Däremot kan man inte utan vidare göra det du önskar och titta på enskilda uppgifter. Dels för att de är hemliga och dels för att elevers resultat inte “mäts” på uppgiftsnivå. Olika elever gör olika uppsättningar med uppgifter och sedan skattas det hur de skulle ha svarat på de uppgifter som de inte har gjort med hjälp av svaren på de uppgifter som de har gjort. Det går alltså inte att “skita i” vissa uppgifter på det sättet utan i någon mening är det allt eller inget. Konstruktionen är helt enkelt extremt avancerad. Däremot kan man föra vissa intressanta resonemang på ämnesområdesnivåer. Exempelvis så är det i Sverige de högpresterande som ligger mest efter OECD-medel inom området rum och form (geometri). Men för området samband och förändring (ekvationer, funktioner) så är det de lågpresterade som ligger superdåligt till medan de högpresterande inte ligger så mycket efter OECD-medel. Varför är det så, kan man undra? Jag tror inte att det beror på att _undervisningen_ är olika inom olika ämnesområden utan snarare att dessa “kurvor” är symptom på vissa generella karakteristika i undervisningen i Sverige. Jag skrev lite om detta här: http://www.lararnasnyheter.se/origo/2014/03/05/godkant-ar-inte-bra-nog

      I stort är jag dock enig med Svein och är högst skeptisk till hur man ur OECDs mätningar bör skapa generella (och ofta extremt likriktade) rekommendationer till ett land. Det är vi i Sverige, med våra värderingar och traditioner som bör fundera på hur vår skola ska se ut. Detta skrev jag också lite om för en tid sedan (före senaste PISA-resultaten): http://www.lararnasnyheter.se/origo/2013/10/09/tester-pa-vag-bli-big-business

      Så som jag ser det kan vi mycket väl använda PISA för att få redan på intressanta saker om hur svensk undervisning fungerar. Men vi bör vara extremt försiktiga för att använda PISA och OECD-rekomendationer för att designa (om) skolsystemet.

      • I PISA avsåg jag mer hur problemen formuleras. Det måste vara intressant för läraren i klassrummet. Om man nu har “oerhört komplicerade” metoder kanske det är de som ska ifrågasättas. Skit i hela provet. Jag skulle nog vara mer intrsserad av 8 frågor av den typ som realprovet var på. Eller 8 från Standardproven på 1980-talet. Eller 8 från en finsk klass i årskurs 6 som är ett “slutprov”.

        Svenska lärare måste få bättre reda på hur det ser ut i de länder som nu ligger i topp i deras autentiska prov. Finns det inte en risk i att själva analyserandet blir intressantare än den verklighet som analyseras.

      • Ola Helenius.
        Statistik används ofta till att ljuga med. Man kan rita förvridna diagram och presentera dem med hjälp av avancerade datorprogram så att är färggranna som påfåglar eller paradisfåglar men de ger ingen sann bild av verkligheten. Det du skriver i början av det här inlägget visar värdet av PISA-statistiken. En sund matematik i en sund skola är vad vi behöver. Mer geometri är ju en slutsats som man även kan dra av PISA-mätningarna så det bör snarast genomföras. “fem-metodiken” är förträfflig för den som kan spela piano, eller hur ? Vi har ju duktiga pedagoger i Jönköping som på 15 veckor kan lära barn att det finns decimaltal mellan 0,97 och 0,98.
        Får barnen en “kärve” kan barnen “bråka” den på samma sätt som man förr “bråkade” lin. Sedan kan de göra en “halmdocka” och leka med den. Bråkräkning är ett annat moment som bör övas.
        Detta exempel är en trevlig övning. Hur löser du den Ola Helenius? Du har sju pizzor som ska fördelas rättvist på ett dussin personer .( Inget bagardussin) Du får inte skära sönder pizzorna i tolftedelar ty då blir inte noggrannheten tillräcklig.

    • Enig at det er viktig å være åpen, og ikke hemmeligholde alt mulig

  2. Viktig nyansering og ikke minst kunnskapsrik gransking av det internasjonale “Testparadigmet” som Sjöberg gir. At OECD er orakel her i Sverige merket vi jo raskt etter siste Pisa resultatene, da det var de som tilsatte en expertgruppe for å uttale seg om den svenske skolen. Forskningsresultatene ved de egne universitetene er utdanningsministeren derimot mindre intressert i.

    • Denna OECD-grupp kom fram till att klasstorleken inte har någon större betydelse för undervisningens resultat. Björklund valde dock av taktiska skäl att gå på en annan linje och hängde på socialdemokraterna om mindre klasstorlekar.

      Mindre klasstorlekar kräver fler lärare. Jan Björklund har därför kommit med förslaget att öka Sveriges lärarutbildningar med 9000 platser. Och Björklund kom på att pengar styr människor.
      25 000 mer till de lärarstudenter som väljer matematik, fysik etc.

      Trots att arbetslinjen med mera är rätt klar vad gäller vad vi kan förvänta oss av våra politiker så är det svårt att förutse vilka förslag Jan Björklund kommer med härnäst.

      • Pär Engström.
        Vad OECD-gruppen kommer fram till är ganska ointressant. Vi måste ta reda på vad som är bäst för oss här i Sverige. Zaremba har i DN ett inlägg om hur skolutvecklingen varit i Sverige. Det är mycket läsvärt om man läser det med “glimten i ögat”. Några känner sig kanske träffade och då bör de ju svara på inlägget. Undervisning kräver lärare. Inte mängder av personer som “kvackar ” i ämnen där de saknar behörighet.

  3. Pär

    Det är inte Jan Björklund som avgör satsningar inom alliansen, det är Fredrik Reinfeldt som bestämmer. Mindre klasser är moderaternas förslag!

  4. Ola

    Jag läste dina artiklar i lärartidningen och delar din åsikt beträffande ”G-effekten”. Skolledare och lärare begår dagligen tjänstefel genom att inte stimulera alla elever. Särskild kurs skulle inte ha avskaffats!

    I den ena av dina artiklar refererar du till Sverker Lindblad och skriver ” Han och hans kollegor visar att klassrumspraktik i Sverige ofta främjar just en känsla för samtal, diskussion och komplexa kommunikativa sammanhang. Att fostra sådana förmågor är alltså något som svensk skola är bra på”. Det är ju precis detta som saknas i svensk matematikundervisning. Bentley har analyserat elevlösningar i TIMSS för åk4 och åk8. Hans studie visar att eleverna i alltför hög grad lämnats till eget lärande. Lärarna har inte i formativ dialog återkopplat till eleverna och försäkrat sig om elevernas uppfattning om begrepp, algoritmer, satser etc. Elever i åk4 får differensen (51 – 49) till 18! Hur är det möjligt om lärarna gjort sitt jobb?

    De nationella proven för åk9 i grundskolan och MaA i gymnasiet, enligt 94 års läroplaner, är skrämmande exempel på hur ribban hölls ner för att alla skulle komma över G. Detta kommer på sikt att påverka svensk industri i form av konkurrensproblem på grund av lägre kvalitet i våra ingenjörsutbildningar. Några exempel från MaA:
    1. Addition, subtraktion, multiplikation eller division av bråk förekom i enstaka fall.
    2. Ekvationer var anpassade så att metoden med prövning kunde användas – inga generella metoder för ekvationslösning.
    3. Algebra i form av kvadreringsregel eller konjugatregel förekom ej.
    4. I geometrin fanns alltid en färdigritad figur med beteckningar. Det är didaktiskt helt förkastligt. Finns problemet beskrivet i text lär sig eleven det matematiska språket och själva uppritandet blir en del i lösningsprocessen. I de gamla realskrivningarna (16-åringar) fanns aldrig några figurer uppritade. Här kommer ett exempel från 1954:
    ”I triangeln ABC förhåller sig vinkeln A till vinkeln B som 4:3 och vinkeln A till vinkeln C som 2:1. Om den kring triangeln omskrivna cirkelns medelpunkt kallas O, hur stor är vinkeln OBA?” Uppgiften står som nr.4 av 8 uppgifter ordnade i svårighetsgrad. När eleven ritat upp figuren med cirkelns medelpunkt lokaliserad är halva lösningen klar.

    Det finns undersökningar som visar att lärarna i hög grad lägger nivån i undervisningen efter kraven i de nationella proven. Det faller därmed ett tungt ansvar på konstruktörerna av de nationella proven för att de lagt ribban alldeles för lågt.

  5. Hans-Gunnar Liljenvall.
    Du skriver om att man lägger nivån lågt när man formulerar matematikproblem och visar hur det var förr.
    Då lärde lärarna ut matematik och geometrin var den del som testade och tog reda på vilka elever som
    kunde ägna sig åt utbildning vid universitet och högskolor.
    Problemlösning anses vara en bra övning för den som vill förstå matematik och NCM har en besynnerlig
    nivå på sina Månadsproblem. Gå in på http://www.ncm.gu.se och hämta Marsproblemen.
    1. Vilken klocka visar rätt?
    2. Du kör buss i Stockholm.(Lång nonsenstext) Vad heter bussens chaufför?
    Följgfråga:Får barn köra buss i Stockholm
    3. En romb KLMN har uppstått…….. Detta är ett trevligt problem och kommer säkert att ställa till problem för barnen.
    Den undervisning vi fick en gång i tiden gör att vi löser detta problem i huvudet. Man har klippt itu
    en liksidig triangel och lagt ihop den till en rektangel och vikt in hörnen.
    Hans-Gunnar, förstår du nu var Sverige dalar i PISA-ligan.
    Jag har ringt upp Per-Olof Bentley och inhämtat hans synpunkter på NCM:s handledning till Förstå
    och använda tal. Obegripligt, exemplet är olämpligt var hans kommentar. Per-Olof är numera pensionär men forskar fortfarande. Han studerar hur man gör i Finland för att lära barn räkna.

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

SKOLA OCH SAMHÄLLE

WEBBTIDSKRIFT
ISSN 2001-6727

REDAKTÖRER
Sara Hjelm
Magnus Hultén
Malin Ideland
Anders Jönsson
Björn Kindenberg

E-POST
redaktionen@skolaochsamhalle.se

© COPYRIGHT
Skola och Samhälle

S.O.S. på Twitter