Mats Björnsson: Testbaserade belöningar i skolsystemet – fungerar de?

Blir skolor bättre om de antingen belönas eller bestraffas ekonomiskt för sina resultat på tester? Blir lärare skickligare på att undervisa om de får mer betalt när elevernas testresultat förbättras?

Mats Björnsson redovisar och kommenterar en amerikansk kommittérapport, som undersökt dessa frågor. (red)

Att få ett tydligt belönings- och bestraffningssystem för skolor att fungera baserat på testresultat, kan förefalla som en väl ekonomistisk och instrumentell tankefigur. Inte desto mindre är det vad som införts i USA genom fr.a. den federala satsningen No Child Left Behind (NCLB). Det finns också andra liknande initiativ. Fungerar detta så att incitamenten leder till bättre kunskaper, högre testresultat, bättre resultat för skolorna?

Board on Testing and Assessment startade arbete kring detta redan i samband med sjösättningen av NCLB efter millennieskiftet, men först under senare år har ett större projekt, finansierat av bl.a. Carnegiestiftelsen, dragit igång med syfte att få fram evidens i frågan. En kommitté ”Incitament och testbaserat ansvarsutkrävande” etablerades av Nationella Vetenskapsrådet för att genomföra studien. Nedan redogörs i korthet för rapporten och dess huvudresultat[1].

I ett förord tackas ett hundratal professorer och bidragsgivare och referenslistan omfattar närmare 200 titlar. I avsnitt 2 går man igenom och diskuterar bl.a. de utgångspunkter som den ekonomiska forskningen haft kring effekten av belöningssystem i allmänhet. Det finns kritik – inte minst bland psykologer – mot att ekonomiska synsätt inte fångar upp de olika mekanismer som gör att incitament ofta inte leder till det man skulle kunna tro. Det är vidare svårt att hitta goda mått på prestation. Incitament har också en tendens att fungera olika på olika människor. Och hur fungerar det i samband med arbete i grupp? Det finns stor osäkerhet och därmed behov av kontroll förknippade med testbaserade incitament. Man måste väga kostnaderna för dem mot vinsterna. Inte minst har ofta belöningssystem snedvridande effekter av olika slag.

The more any quantitative social indicator is used for social decision making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor. (“Campbell’s law”)

Vad gäller den forskning man inriktat sig på i översikten så har man noga avgränsat denna och valt studier där incitament är direkt kopplade till uppmätt prestation och enbart tittat på ansvarsutkrävande som är testbaserat. Däremot berörs i rapporten påtagligt lite vad det är för incitament som använts i de olika programmen. Man kan sluta sig till att det dels har varit belöning/bestraffning riktat till skolor, utifrån genomsnittliga elevtestresultat, men också program med ren pekuniär belöning till lärare, ibland i storleksordningen 50 000 SEK om året.

Man har vidare valt studier som kan säga något om effekter, dvs. kausala samband. Man har därmed tillämpat stränga krav på studier och uteslutit sådana som använder sig av ’kvasiexperiment’ av typen data för individer som ligger strax över respektive under en antagningsgräns. De flesta studier härrör från USA, men när det gäller experiment med att erbjuda lärare bonusar så finns studier från några andra länder inkluderade. Det är tre huvudkategorier studier som tagits med, totalt ett 15-tal studier. Det är:

– studier som hör ihop med NCLB i sin design, både sådana som genomfördes före denna federala satsning och sådana som hör ihop med den;

– studier av vad som kallas High School Exit Programs som syftar till att öka examinationen från High School;

– studier av experiment med incitament riktade till lärare för högre elevprestationer.

I stora drag kommer genomgången fram till att de totala effekterna av testbaserade incitament för de tre typerna av program var följande.

NCLB och dess föregångare:

De fyra studier som använts visade effekter av belöningssystemen på mellan 0,04 och 0.22 standardavvikelser. Det fanns ett antal individuella effektmått som var positiva och statistiskt signifikanta, men det fanns också många som inte visade signifikans och några som var negativa. Det kan ändå ge en bild av att incitament under NCLB fungerat.

Men rapporten framhåller två viktiga reservationer: Den första är att de positiva effekterna koncentrerade sig till skolår 4 i matematik, medan resultaten för år 8 och för läsning båda dessa skolår inte visade signifikans eller visade negativ effekt. Den andra är att de båda mätningar som låg högst var problematiska av flera skäl. Effekten får alltså som helhet ses som modest, slår rapporten fast; begränsad i såväl storlek som applicerbarhet. Det skulle motsvara i stort en förbättring från 50e percentilen till den 53e, viket måste ses som en rätt marginell förbättring och i synnerhet i jämförelse med de nationella förhoppningar som varit förknippade med programmen.

High School Exit Programs:

Här är effekten kort och gott 0,00 på resultaten på low-stakes test, dvs. test som inte var kopplat till incitamentet ifråga och faktiskt en negativ effekt på det man syftade till att öka, nämligen examinationsfrekvensen.

Program med belöningar riktade till lärare:

För de program som genomförts utanför USA (Israel, Kenya, Indien) fann man i flera fall positiva signifikanta effekter. Dock, i två av dessa länder fanns inga andra mått att tillgå än resultat på de (high-stake) tester som var kopplade till incitamenten, med de svårigheter att se verkliga effekter som det medför. Dessutom var det faktum att två av länderna är utvecklingsländer med rätt annorlunda förhållanden (frekvens av frånvaro bland såväl lärare som elever t.ex.) vilket gör att rapporten bedömer nyttan av resultaten för USAs del begränsad.

I de sju belöningsprogram som genomförts i USA finner rapporten effekter på mellan -0,02 och +0,06 standardavvikelser. En hel del positiva effekter var signifikanta men det var också ett antal negativa effekter. När man tog bort de program där utfall enbart mättes genom high-stakes tester, blev effekten i stort sett noll.

En slutsats som dras för policyändamål i rapporten är att man för det första inte finner särskilt mycket av positiva effekter och att betydligt mer forskning skulle behövas. Man föreslår också att man arbetar med betydligt mer sofistikerade modeller i sådant som

– vem incitamenten riktar sig till,

– vad som mäts och hur det mäts,

– hur resultaten av modellerna följs upp och värderas, och inte minst

– hur stöd till skolor och klasser som inte lyckas så bra ska se ut.

Belöningssystem behöver utformas mycket noggrant och kombineras med andra element i skolsystemet för att fungera effektivt. Skolans alla viktiga mål måste täckas in i det som ska mätas och bedömas, inte bara delar. Svar på enbart flervalsfrågor är t.ex. synnerligen otillräckligt som mått i förhållande till de mål som gäller för skolan.

*

En kommentar till denna läsning är att det finns likheter med den rapport som kom förra året från England, Cambridge Primary Review. Den senare var förstås betydligt bredare i sin syftning och betydligt mer omfattande. Det som förenar är en tung kritisk genomgång av de testbaserade modeller för att främja lärande, undervisning och skolutveckling som är så utbredda i anglosaxiska länder. En parlamentarisk kommitté i UK gav också liknande resultat.

Lägger man därtill att OECD-ekonomerna i en årlig granskning förra året, ’läxar upp’ England för sitt överdrivna bruk av test- och betygsresultat, så blir bilden intressant.[2] Finns det en vindkantring på gång när det gäller dessa centrala frågor om styrning och om hur kunskap och skolutveckling främjas? Resultaten ser ännu inte ut att ha slagit in mot den politiska spelplanen och det är värt att reflektera över varför, dvs. vilka processer som styr. Det är i varje fall vetenskapligt/akademiskt rätt tunga argument som presenteras, inte mot tester, prov, ansvarsutkrävande i sig men mot det sätt som de utformas och används.

(Mats Björnsson är ämnesråd på Utbildningsdepartementet)

[1] Denna PM bygger på en ännu ej tryckt rapport (Prepublication Copy, National Academies Press): http://www.nap.edu/catalog.php?record_id=12521

[2] En händelse som haft visst genomslag är att Diane Ravitch, en av de mer inflytelserika utbildningsforskarna kring George W Bush och No Child Left Behind, har ’konverterat’ och med den empiri som framkommit vänt sig mot tron på tester som centrala instrument för utveckling, och skrivit en bok om detta The Death and Life of the Great American School System: How Testing and Choice Are Undermining Education.