Mats Björnsson: Testbaserade belöningar i skolsystemet – fungerar de?

Blir skolor bättre om de antingen belönas eller bestraffas ekonomiskt för sina resultat på tester? Blir lärare skickligare på att undervisa om de får mer betalt när elevernas testresultat förbättras?

Mats Björnsson redovisar och kommenterar en amerikansk kommittérapport, som undersökt dessa frågor. (red)

Att få ett tydligt belönings- och bestraffningssystem för skolor att fungera baserat på testresultat, kan förefalla som en väl ekonomistisk och instrumentell tankefigur. Inte desto mindre är det vad som införts i USA genom fr.a. den federala satsningen No Child Left Behind (NCLB). Det finns också andra liknande initiativ. Fungerar detta så att incitamenten leder till bättre kunskaper, högre testresultat, bättre resultat för skolorna?

Board on Testing and Assessment startade arbete kring detta redan i samband med sjösättningen av NCLB efter millennieskiftet, men först under senare år har ett större projekt, finansierat av bl.a. Carnegiestiftelsen, dragit igång med syfte att få fram evidens i frågan. En kommitté ”Incitament och testbaserat ansvarsutkrävande” etablerades av Nationella Vetenskapsrådet för att genomföra studien. Nedan redogörs i korthet för rapporten och dess huvudresultat[1].

I ett förord tackas ett hundratal professorer och bidragsgivare och referenslistan omfattar närmare 200 titlar. I avsnitt 2 går man igenom och diskuterar bl.a. de utgångspunkter som den ekonomiska forskningen haft kring effekten av belöningssystem i allmänhet. Det finns kritik – inte minst bland psykologer – mot att ekonomiska synsätt inte fångar upp de olika mekanismer som gör att incitament ofta inte leder till det man skulle kunna tro. Det är vidare svårt att hitta goda mått på prestation. Incitament har också en tendens att fungera olika på olika människor. Och hur fungerar det i samband med arbete i grupp? Det finns stor osäkerhet och därmed behov av kontroll förknippade med testbaserade incitament. Man måste väga kostnaderna för dem mot vinsterna. Inte minst har ofta belöningssystem snedvridande effekter av olika slag.

The more any quantitative social indicator is used for social decision making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor. (“Campbell’s law”)

Vad gäller den forskning man inriktat sig på i översikten så har man noga avgränsat denna och valt studier där incitament är direkt kopplade till uppmätt prestation och enbart tittat på ansvarsutkrävande som är testbaserat. Däremot berörs i rapporten påtagligt lite vad det är för incitament som använts i de olika programmen. Man kan sluta sig till att det dels har varit belöning/bestraffning riktat till skolor, utifrån genomsnittliga elevtestresultat, men också program med ren pekuniär belöning till lärare, ibland i storleksordningen 50 000 SEK om året.

Man har vidare valt studier som kan säga något om effekter, dvs. kausala samband. Man har därmed tillämpat stränga krav på studier och uteslutit sådana som använder sig av ’kvasiexperiment’ av typen data för individer som ligger strax över respektive under en antagningsgräns. De flesta studier härrör från USA, men när det gäller experiment med att erbjuda lärare bonusar så finns studier från några andra länder inkluderade. Det är tre huvudkategorier studier som tagits med, totalt ett 15-tal studier. Det är:

– studier som hör ihop med NCLB i sin design, både sådana som genomfördes före denna federala satsning och sådana som hör ihop med den;

– studier av vad som kallas High School Exit Programs som syftar till att öka examinationen från High School;

– studier av experiment med incitament riktade till lärare för högre elevprestationer.

I stora drag kommer genomgången fram till att de totala effekterna av testbaserade incitament för de tre typerna av program var följande.

NCLB och dess föregångare:

De fyra studier som använts visade effekter av belöningssystemen på mellan 0,04 och 0.22 standardavvikelser. Det fanns ett antal individuella effektmått som var positiva och statistiskt signifikanta, men det fanns också många som inte visade signifikans och några som var negativa. Det kan ändå ge en bild av att incitament under NCLB fungerat.

Men rapporten framhåller två viktiga reservationer: Den första är att de positiva effekterna koncentrerade sig till skolår 4 i matematik, medan resultaten för år 8 och för läsning båda dessa skolår inte visade signifikans eller visade negativ effekt. Den andra är att de båda mätningar som låg högst var problematiska av flera skäl. Effekten får alltså som helhet ses som modest, slår rapporten fast; begränsad i såväl storlek som applicerbarhet. Det skulle motsvara i stort en förbättring från 50e percentilen till den 53e, viket måste ses som en rätt marginell förbättring och i synnerhet i jämförelse med de nationella förhoppningar som varit förknippade med programmen.

High School Exit Programs:

Här är effekten kort och gott 0,00 på resultaten på low-stakes test, dvs. test som inte var kopplat till incitamentet ifråga och faktiskt en negativ effekt på det man syftade till att öka, nämligen examinationsfrekvensen.

Program med belöningar riktade till lärare:

För de program som genomförts utanför USA (Israel, Kenya, Indien) fann man i flera fall positiva signifikanta effekter. Dock, i två av dessa länder fanns inga andra mått att tillgå än resultat på de (high-stake) tester som var kopplade till incitamenten, med de svårigheter att se verkliga effekter som det medför. Dessutom var det faktum att två av länderna är utvecklingsländer med rätt annorlunda förhållanden (frekvens av frånvaro bland såväl lärare som elever t.ex.) vilket gör att rapporten bedömer nyttan av resultaten för USAs del begränsad.

I de sju belöningsprogram som genomförts i USA finner rapporten effekter på mellan -0,02 och +0,06 standardavvikelser. En hel del positiva effekter var signifikanta men det var också ett antal negativa effekter. När man tog bort de program där utfall enbart mättes genom high-stakes tester, blev effekten i stort sett noll.

En slutsats som dras för policyändamål i rapporten är att man för det första inte finner särskilt mycket av positiva effekter och att betydligt mer forskning skulle behövas. Man föreslår också att man arbetar med betydligt mer sofistikerade modeller i sådant som

– vem incitamenten riktar sig till,

– vad som mäts och hur det mäts,

– hur resultaten av modellerna följs upp och värderas, och inte minst

– hur stöd till skolor och klasser som inte lyckas så bra ska se ut.

Belöningssystem behöver utformas mycket noggrant och kombineras med andra element i skolsystemet för att fungera effektivt. Skolans alla viktiga mål måste täckas in i det som ska mätas och bedömas, inte bara delar. Svar på enbart flervalsfrågor är t.ex. synnerligen otillräckligt som mått i förhållande till de mål som gäller för skolan.

*

En kommentar till denna läsning är att det finns likheter med den rapport som kom förra året från England, Cambridge Primary Review. Den senare var förstås betydligt bredare i sin syftning och betydligt mer omfattande. Det som förenar är en tung kritisk genomgång av de testbaserade modeller för att främja lärande, undervisning och skolutveckling som är så utbredda i anglosaxiska länder. En parlamentarisk kommitté i UK gav också liknande resultat.

Lägger man därtill att OECD-ekonomerna i en årlig granskning förra året, ’läxar upp’ England för sitt överdrivna bruk av test- och betygsresultat, så blir bilden intressant.[2] Finns det en vindkantring på gång när det gäller dessa centrala frågor om styrning och om hur kunskap och skolutveckling främjas? Resultaten ser ännu inte ut att ha slagit in mot den politiska spelplanen och det är värt att reflektera över varför, dvs. vilka processer som styr. Det är i varje fall vetenskapligt/akademiskt rätt tunga argument som presenteras, inte mot tester, prov, ansvarsutkrävande i sig men mot det sätt som de utformas och används.

(Mats Björnsson är ämnesråd på Utbildningsdepartementet)


[1] Denna PM bygger på en ännu ej tryckt rapport (Prepublication Copy, National Academies Press): http://www.nap.edu/catalog.php?record_id=12521

[2] En händelse som haft visst genomslag är att Diane Ravitch, en av de mer inflytelserika utbildningsforskarna kring George W Bush och No Child Left Behind, har ’konverterat’ och med den empiri som framkommit vänt sig mot tron på tester som centrala instrument för utveckling, och skrivit en bok om detta The Death and Life of the Great American School System: How Testing and Choice Are Undermining Education.

7 kommentarer till “Mats Björnsson: Testbaserade belöningar i skolsystemet – fungerar de?

  1. Många älskar att skilja mellan inre och yttre motivation, vilket i sig är ett förenklat sätt att se på vad som driver människor. Pengar brukar oftast betraktas som en yttre drivande kraft, men kan lika gärna ses som en upplevd inre belöning. Det är förmodligen så att vissa människor ser det mera krasst och andra mer som en uppskattning av ens inre kvaliteter. Ekonomi ses säkert av en del som en ypperlig drivkraft medan andra mer ser till innehållet i det de gör, Genom att studera datamaterialet djupare skulle man säkert kunna isolera en grupp individer där pengar spelar den viktigaste rollen, antingen sedd som en hög sedlar eller som en bekräftelse.

  2. Kära vänner,
    Som bekant har allt detta prövats i USA, och utvärderats mycket och länge, och lite grand avrapporterats för det stora publikum av Dillon’s krönikor i New York Times, men fr a i AERA’s tidskrifter. Det ger ju ingen mening så länge man inte tar fatt i det faktum att education är en marknadsvara som allt annat i det liberala och socialdemokratiska systemet, så inom den ramen, varför inte ? SC

  3. Som jag skriver, incitament har en tendens att fungera olika på olika personer, och i olika situationer. Dock är huvudslutsatsen som rapportförfattarna drar att incitamenten kopplade till testresultat i stort inte fungerade särskilt bra, och i många fall inte alls; i en del fall gick t.o.m. utvecklingen åt motsatt håll.
    Det är möjligt och till och med troligt att kenyanska lärare som ofta – av olika skäl – inte kommer till skolan och som har usel lön, faktiskt har uppenbara skäl att komma dit och göra ett jobb med barnen om de lockas med betalning. Men denna typ av omständigheter föreligger oftast inte i våra länder. Incitament ser ut att vara en lockande ‘genväg’ till att få människor att göra så som man uppifrån i systemet vill att de ska göra, men det finns i regel ingen sådan fungerande genväg.

  4. Svaret på din fråga är ett tvärsäkert nej! Jag talar inte utifrån några andra perspektiv än min 30-åriga lärarerfarenhet. Skolan är en spegelbild av samhället. I en hungrande, uppåtsträvande utvecklingsekonomi, sådant som Sverige var, särskilt efter 2:a världskriget och några decennier framåt, eller som utvecklingsländer som Indien, Turkiet och Kina är idag, behövs ingen stimulans alls i skolan. Skillnaden av vilket liv man får om man utbildar sig eller ej är så stor, att elevernas kunskapshunger och lärarnas förmåga att svara upp mot detta är nog. Samhällets efterfrågan är det som styr skolan.

    I västvärlden idag finns ingen framtidstro. Våra länder blir utkonkurrerade av utvecklingsländer. Våra trygghetssystem garanterar individen försörjning, ej längre i USA, men ett tag till i Sverige. Pessimismen sprider sig bland ungdomarna. Industrin efterfrågar inte längre vare sig utbildad eller outbildad arbetskraft, såvida den inte kommer från låglöneländer. Den offentliga sektorn är skattebaserad och måste försörjas av en konkurrenskraftig exportindustri. Det är märkligt hur ekonomier gror, växer, mognar och dör genom inre förruttnelse och konkurrens utifrån. Kanske lyder människans samhällen under samma lagar som naturen i övrigt.

    Idag belönas lärare om de lyckas höja elevernas betyg. Men detta betyder inte att dessas kunskaper förbättras. En lärare blir inte bättre om lönen höjs. Många elever ligger på årskurs 4-5:s kunskapsnivå när de går ut gymnasiet med godkända betyg. Att göra skolan till kopior av tillverkningsindustrin med budget, prestationslön och bokslut, blir kontraproduktivt.

    Att vara lärare är inte detsamma som att vara arbetare på ett löpande band. Yrkeskunskapen är alldeles för mycket kopplad till lärarens personlighet. Ett land där andra än lärare försöker lära lärarna att undervisa eller som skett länge, lära dem att INTE undervisa, är dömt till undergång. Om inte samhället efterfrågar arbetskraft kommer inte skolan att leverera, vilka stimulansåtgärder man än hittar på. Tragiskt men sant. Genom att, som skedde tidigare, låta riksdag och regering sätta upp nationella mål för olika åldrar, och mäta dessa med standardiserade nationella, läraroberoende prov, kan man avläsa resultat på det kollektiva planet. Men det garanterar ingenting annat än att resultat kan avläsas. Detta hjälper ju inte heller eftersom överheten i skolan har olika åsikter om vad goda kunskaper är och hur de ska erövras.

    Idag sitter lärare och rättar nationella prov med lönemoroten framför sig. Hur objektivt blir detta? Lärarkåren har tystnat. De som har åsikter elimineras på olika sätt. En tyst lärarkår bäddar för demokratins fall. Det enda man skulle önska sig är att lärarkåren återfår sin autonomi och att endast lyda under riksdag och regering. Att höja kraven på lärarutbildningarna hjälper inte om man inte utlovar högre lön. Och det har man inte råd till.

    Genom att förklara för de unga att de ska ställa in sig på att landet ska gå ner på sparlåga med hårt arbete och låga löner, kan man förbereda dem och ge dem redskapen att fatta bra beslut för sin framtid.

  5. Det svårt att dra slutsatser angående incitament från USA till Sverige. USA har fortfarande en betydligt mer konkurrensinriktad kultur där pengar har ett annat symboliskt värde än i Sverige. Även om vi under en längre tid amerikaniserats alltmer föreligger fortfarande en markant skillnad i synen på pengar. Fungerar ekonomiska incitament på exempelvis1/5 i USA tror jag siffran i Sverige vara högst lär vara 1/10

  6. Jag är mycket tveksam till detta med testande… http://reflektionerochspeglingarii.wordpress.com/2011/11/04/%e2%80%9dom-du-tror-pa-mirakel-%e2%80%93-las-inte-detta-%e2%80%9d-om-amerikansk-skolpolitik-och-annu-mer-om-oemotsagd-nyliberal-ideologi-och-politik-samt-om-privatiseringens-pastadda-valsignelser/

    Blickarna leds bort från det som är de grundläggande problemen!? http://reflektionerochspeglingarii.wordpress.com/2011/09/17/diane-ravitch-om-amerikansk-skolas-problem-blickarna-leds-bort-fran-fattigdom-och-isolering-pa-grund-av-ras/

    Diane Ravitch säger i video: ”Ekonomer undersökte två grupper mattelärare, av vilka den ena fick en bonus på 15 000 dollar [nästan 100 000 kronor] och en annan som inte fick det [medellönen för lärare är ca 50 000 dollar, dvs ca 330 000 kronor]. Hur de som gjorde undersökningen än skärskådade sitt material från alla tänkbara, möjliga och omöjliga, vinklar så fick de inget positivt utfall av bonusen.

    Båda grupper fick exakt samma resultat hos eleverna.”

    Ravitch beskrev hur man har system där man ger extra pengar till topplärarna och avskedar dem i botten (man lägger också ner skolor som är ”dåliga”. Såna här hot lever alltså lärarna i USA under. Hur påverkar det dem, deras jobb, hur de behandlar eleverna osv?).

  7. Att högre lön ger ökad status är knappast en oomtvistelig sanning. Men det låter bra i den fackliga kampen, som inte så mycket störs av rationella argument.

    Om lärare ska bli inflytelserika i samhället och därmed få högre status måste allmänheten möta välutbildade lärare som förmår att delta i debatten om skolan utan att ständigt gå i försvarsställning. Kårandan är stark och det är ju en vacker sak men i det långa loppet bör man nog erkänna att en stor del av lärarna inte är ämneskunniga nog. Diskussionen om lärarnas yrkeskunskaper måste prioriteras innan belöningssystem i skolan förs på tal.

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

SKOLA OCH SAMHÄLLE

WEBBTIDSKRIFT
ISSN 2001-6727

REDAKTÖRER
Sara Hjelm
Magnus Hultén
Malin Ideland
Anders Jönsson
Björn Kindenberg

E-POST
redaktionen@skolaochsamhalle.se

© COPYRIGHT
Skola och Samhälle

S.O.S. på Twitter