Skola och SamhälleLars Pålsson Syll: Den evidensbaserade skolan – en chimär
Det går ett monster fram över det svenska utbildningssystemet – utvärderings- och evidensbaseringsmonstret. Med ökad betoning av resultatstyrning följer en strid ström av krav på att redovisa kvalitet och resultat. För att mätta makthavarnas hunger efter utvärderingsinformation tvingas skolan avsätta mer och mer resurser och tid för denna verksamhet. I stället för att lita på lärares professionella kompetens kräver den nya väckelserörelsens proselyter att vi ska kunna visa upp evidensbaserade framgångsrecept. Portfolios, utvecklingsplaner, kvalitetsredovisning, obligatoriska kursvärderingar m. m., tar numera upp en stor del av lärares och skoladministratörers arbetstid.
Detta är djupt problematiskt. Dels därför att utvärderingshysterin i många avseenden direkt motverkar sitt eget kvalitets- och effektivitetssyfte. Och dels därför att det inte finns någon genuint fungerande evidensteori som kan åberopas när vi överväger hur våra utbildningssystem bör se ut. De studier och teoriansatser som anförs saknar trovärdiga broslagningsprinciper från evidens till slutsats och är ofta så allmänt hållna att de helt saknar möjlighet att ge detaljerade anvisningar för hur vi ska uppnå framgång och excellens. Svensk skola hade tjänat på om dess huvudsakliga verksamhetsföreträdare främst ägnade sig åt kärnverksamheten att hjälpa unga människor lära sig saker och inte åt evidensbaserade utvärderingar med tvivelaktigt värde.
Sedan ett tiotal år tillbaka har evidensbasering gjort sitt intåg i skolvärlden. Tanken är att skolan ska ta till sig och omsätta vad beprövad vetenskap visar fungera bra. Den metod som oftast lyfts fram som den mest tillförlitliga är så kallade randomiserade studier baserade på slumpmässigt urval av den typ som man exempelvis arbetat med inom klinisk medicin sedan flera decennier tillbaka.
Ett av problemen med den ansats som lyfter fram och ger en privilegierad status åt denna metod är att den sällan ställer den viktiga frågan om extern validitet. Tvärtemot vad förespråkarna genomgående vill ge sken av, så svarar inte de randomiserade studier som ligger till grund för evidensbaseringen på frågan ”Vad fungerar?”. Vad de möjligen ger svar på är frågan ”Vad fungerar i genomsnitt här?”. Om det som fungerade i A också visar sig fungera generellt eller här i B, är en helt annan fråga. Att något fungerar i genomsnitt är också många gånger av litet värde, eftersom vi ofta är mer intresserade av om det fungerar för oss. En behandling som innebär att 49% dör och 51% får ett bättre liv, är i de flesta sammanhang ingen god grund att göra policyval utifrån, även om genomsnittsvärdet är ”positivt”. Så när t ex Skolverket åberopar att ”det här har forskningen sett är gynnsamt” så stämmer detta inte alls i en strikt vetenskaplig mening.
Här behövs en ”exportlicens” för att vi ska kunna bedöma om studier baserade på en population går att överföra till en annan population. Kruxet är att ju ”säkrare” resultaten är av de slumpmässiga studierna (och de flesta andra liknande metoder), ju mer har man oftast också fått ”rigga” experimentsituationen och noga valt ut undersökningspopulationen, vilket i sin tur innebär att målpopulationen – där man avser införa den nya policyn, betygssystemet etc – med stor sannolikhet skiljer sig på avgörande punkter från undersökningspopulationen och de stickprov man tar ur denna när man genomför en slumpmässig studie.
Ett av de stora problemen med slumpmässiga studier är att de genom själva tillvägagångssättet – randomiseringen – så att säga blundar för alla de interaktioner som föreligger mellan olika variabler i studierna. Och inte nog med det. Slumpmässiga urval i sig gör att forskaren inte behöver känna till vilka dessa är för att göra en effektivitetsmätning. Men när resultaten ska ”exporteras” och dessa interaktioner kanske ser helt annorlunda ut, kan de resultera i att effekterna blir något helt annat än de avsedda.
Låt oss anta att man i en studie baserad på slumpmässigt urval visat att om man inför X (mindre skolklasser) så blir det förväntade utfallet Y (bättre betyg), men att man inte känner till att den obekanta variabeln B (engagerade och kompetenta lärare) interagerar med variabeln X. Om man lyckats genomföra en perfekt slumpmässighet kommer fördelningen av B vara densamma i försöks- och kontrollgrupperna – men då ”maskeras” också B:s inverkan på Y och tillskrivs helt och hållet i stället X. Försök med mindre skolklasser har inte alls fått de positiva effekter man förväntat sig, därför att den kausala faktorn inte är mindre klassrum utan interaktionseffekten av mindre klassrum och engagerade och kompetenta lärare. Istället för att se att det verkliga kausala sambandet är BX => Y, så förleds man tro att det är X => Y. Man förväxlar att X är en nödvändig orsak till Y med att det är en tillräcklig orsak till Y (vilket i samhälleliga sammanhang nästintill aldrig är fallet). Vilket leder till att man kanske är helt okunnig om att det är B som är den avgörande faktorn och alltså är det man borde satsa på och inte X!
Även om slumpmässiga urval kan vara ett utmärkt sätt att neutralisera bakomliggande variabler så kommer det till ett högt pris – det gör oss ouppmärksamma på att det kan finnas andra interagerande och bakomliggande faktorer som skapar en interaktionseffekt. Utan dessa (B) blir effekten av behandlingen (X) mindre eller uteblir kanske helt.
I bästa fall är evidensbasering som bygger på slumpmässiga urval oskadlig. I värsta fall fullständigt vilseledande och med katastrofala följder.
(Lars Pålsson Syll är professor i samhällskunskap vid Malmö högskola)
16 Comments on “Lars Pålsson Syll: Den evidensbaserade skolan – en chimär”
Lämna ett svar till Cornelia Moén Avbryt svar
STÖD SKOLA OCH SAMHÄLLE!
Skola och Samhälle är en ideell förening. Vi som arbetar med S.O.S. gör det helt utan ersättning. Alla bidrag till en fortsatt kritisk debatt om skola och lärarutbildning mottages tacksamt!
Swisha till: 123 589 43 73
Tack Lars!
Bra text som visar på tex varför kvantitativa ansatser kan vara problematiska i skolforskning. Därtill kan vi lägga till de obekanta variablerna C, D, E, etc till B. Exakt vad som verkar framgångsrikt i en bestämd undervisningssituation är alltså oerhört svårt att veta och dessutom har sådan kunskap endast till viss del värde för framtiden. Att något fungerade igår – innebär det att det fungerar i morgon?
Ändå kan det vara intressant med tex Hatties (2009) forskning – dock måste vi då vara beredda att hela tiden komma ihåg att det som i genomsnitt fungerar för de flesta, kan för en enskild individ vara helt fel metod eller innehåll.
Gerd och Gerhard Arfwedson (1991) skrev så här om läsinlärningsmetoder:
“Väljer man en läsinlärningsmodell, väljer man samtidigt de problem som sammanhänger med modellen.” (s. 280f, originalets kursivering)
Det är värt att tänka på, speciellt när undervisningsforskningen betonar evidens och därför fokuserar viss undervisning på bekostnad av annan. Vi väljer arbetssätt men kan inte välja bort det som är dåligt med arbetssättet.
En väg ut borde vara att undervisningskompetens mer betraktas som “kunskap om olika metoder” och “hur elever lär”.
Plats på scen: fenomenografin!
—
Arfwedson, G.B. & Arfwedson, G. (1991). Didaktik för lärare. Stockholm: HLS (Högsk. för lärarutbildning).
Hattie, J.A.C. (2009). Visible learning: a synthesis of over 800 meta-analyses relating to achievement. London: Routledge.
Pingback: Lars Pålsson Syll: Den evidensbaserade skolan – en chimär | Skola ... | Åsikter och debatt - om utbildning! | Scoop.it
Pingback: Evidensbaserad skola « LARS P SYLL
Ett stort tack Lars för att du ger röst åt en hel lärarkår!
Så länge utvärderingshysterin tillåts grassera lär vi få dras med missnöjda lärare och elever. Om vi ska kunna få stopp med nuvarande missförhållanden räcker det dock inte med en och annan kritisk röst från akademikerhåll. Det skulle behövas en veritabel proteststorm där såväl lärare som föräldrar klart deklarerar sin ståndpunkt. För inte ska man väl behöva sätta in vilda strejker för att fästa makthavarnas uppmärksamhet på problemet. Eller är det kanske dags att sätta ner foten en gång för alla trots allt. Vad anser egentligen lärarfacken och lärarna själva? Har ni någon röst och myndighet i sammanhanget så sjung ut!
Lars Pålsson Syll är ute i ett syfte: han vill stödja lärarna genom ett förment nedgörande
angrepp på kvantitativa utvärderingar. Som den sanne demagog han är ställer han makthavarnas hunger efter utvärderingar mot lärarnas professionalism, som om det fanns en motsättning mellan lärarnas viktiga arbete och utvärderingar av elevernas insatser. Syll för fram ett statistiskt resonemang som han möjligen hoppas att de flesta läsarna inte helt kan följa. Det han presenterar är problem som är välkända och mycket riktigt kan återfinnas i kvantitativa studier. Medvetenheten om detta är hög bland forskarna och därför är de mycket uppmärksamma på hela den problematik som Syll lägger ut texten om. Hans slutsats är att kvantitativa utvärderingar av, säg en viss undervisningsmetod, endast ger resultat som i genomsnitt visar hur väl metoden har fungerat. Det är sant att mått på individnivå inte direkt ges i sådana undersökningar, men det finns dock metoder att göra detta, vilket Syll, trots att han är ekonom, borde känna till.
Vad finns då i ställer för dessa utvärderingar som är evidensbaserade och vars resultat kan statistiskt säkerställas men som Syll motsätter sig? Jo, det finns kvalitativa metoder. Den vanligaste datainsamlingsmetoden är intervjuer. Antalet intervjupersoner brukar ofta vara lite och urvalet av dem sker ofta på ett föga medvetet sätt. Resultaten från intervjuerna sorteras på olika sätt i kategorier och sedan är man i princip klar. Vad därutöver är finns knappast. Fenomenografi, som nämns ovan, tillhör denna typ av metod, där individers erfaranden av fenomen kartläggs genom intervjuer. De esoteriska resultat som erhålls från sådana studier har inget som helst värde för vare sig lärare eller myndigheter. Enligt Syll borde ju dessa metoder dock vara att föredra eftersom de inte är evidensbaserade, dvs. de kan inte skapa meningsfulla och generaliserbara resultat.
Eller har Syll någon annan fantommetod att föreslå?
All vetenskaplig forskning syftar till att studera det generella. Det är så man bygger teorier. Därmed inte sagt att man inte kan studera (individbaserad) varians också i kvantitativistisk vetenskap. Att klumpa ihop evidensbaserad forskning (och principer för vetenskaplighet) med diverse påbud som myndigheter och skolledningar förelägger är inte seriöst. Ett fundamenalt problem med mycken svensk pedagogisk forskning är snarare att den är alltför kvalitativt, småskaligt inriktad. Och gu’ hjälpe mig för medicinsk – eller annan – ordination som inte är “evidensbaserad”. Vad som är bra för “just mig” är svårt att veta om vi ska famla i blindo utan generaliserbara studier.
En skola för alla! Ja det börjar mer och mer likna en metod för alla! Det är trist att se hur lärarnas verktygslåda tunnas ut mer och mer, Visst är det som L P Syll skriver; att översätta forskning från ett ställe till ett annat är inte alltid det lättaste! Det finns en övertro att någon ska forska fram en ultimat metod som ska funka för alla! Kanske ett snillepiller? 😉
Men jag håller inte med om att all utvärdering är av ondo! Att sätta sig ner och tänka igenom vad och hur eleven behöver arbeta får att nå målen kan oxå vara väldigt värdefullt även tidsmässigt! Och en variabel för att nu använda forskarspråket; är att vinsten för eleven blir ökat inflytande! Men nu är det kontroller hit och dit och överkontroll på det… Jag blir alldeles matt ibland när jag läser om kontrollrättningar osv! Om vi har yrkesmänniskor måste vi ju lita på att de gör sitt jobb! Vad är annars vitsen?
Sist men inte minst skulle jag önska att skolan och de som jobbar där, både elever och lärare någon gång får arbetsro.
Som du skriver tas för mycket tid av lärares och skoladministratörers tid upp av aktiviteter som inte är kopplade till
kärnverksamhet – undervisning. Det vill säga för och efterarbete av mötet med eleverna,undervisningen.
Detta anser jag vara själva grunden till de problem som skolan idag har!
Eftersom man ofta jämför studieresultat i Finland kan man med fördel ta del av information om lärarnas
arbetstider och arbetsförhållanden som finns på på http://www.fls.fi. Där går det att få en bild av vad som läggs in i lärares arbetsuppgifter under ett läsår. Här finns i ett PM läsåret 2012-2013 uppgifter om vad som skall göras under ett läsår. Det är inte bara skillnad på Pisa -resultat utan även på arbetsförutsättningar!
JanOla Tholin
fd. lärare, rektor och gymnasiechef i Kungsbacka
Jag håller med om allt i artikeln. Jag tycker bara det är synd att alla diskussioner om skolan begränsas till att handla om Y (mätbara kunskaper) då skolans uppdrag är så mycket vidare.
Som jag minns det, ville samhällskunskapslärare på en skola väga in elevernas attityder, värderingar och sätt att vara mot sina medmänniskor, vid betygsättningen. Lärarna ansåg att de elever på skolan som tydligt visat nazistsympatier, både i klädsel och i beteende, inte hade uppnått betygskriterierna för ämnet eller läroplanens övergripande mål. Skolverket, som fick ärendet på sitt bord, menade att lärarna inte fick låta elevernas värderingar och beteenden påverka betygsättningen. Man kan alltså få högsta betyg i samhällskunskap även om man uppträder som en skitstövel mot sina medmänniskor.
Visst har Bertil Törestad rätt att kvantitativa studier kan ge värdefulla kunskapsbidrag till lärarnas profession. Och det är väl just därför som det är viktigt att vi granskar de vetenskapliga förutsättningarna för dessa studier.
Det som Lars tar upp i artikeln tolkar jag inte är en kritik av kvantiativa studier som helhet utan de vetenskapliga förutsätningarna för evidensbaserad forskning. Och i denna forskning framhålls just randomiserade studier med en jämförelsegrupp som de tillförlitligaste. Exempelvis har socialstyrelsen rangordnat studier som studerar effekter av socialt arbete i fem kategorier, där randomiserade studier med jämförelsegrupp hamnar överst, följt av icke-randomiserade studier med jämförelsegrupp. På fjärde plats hamnar sambandsstudier. De tre nämnda kategorierna kan utföras genom kvantitativ analys, men det är endast de två förstnämnda som socialstyrelsen anser vara tillräckligt tillförlitliga för att studera effekter av socialt arbete (www.socialstyrelsen.se).
I John Hatties bok “Visible learning” pekar han också på förtjänsterna med den randomiserade metoden, men säger samtidigt att det är få sådana studier som ingår i hans metastudie om vilka faktorer som påverkar elevers lärande (Hattie 2009, s. 4). Ändå hävdar Hattie att hans metastudie är evidensbaserad.
Och då återstår frågan vad som menas med evidens. Och hur evidens förhåller sig till grundläggande vetenskapliga frågor om ontologi, epistemologi och metodologi. Och hur evidens förhåller sig till en professions praktik.
The utility of evidence-based evaluation depends on the metrics used to rate outcomes. If the metrics are bullshit, the whole approach fails.
Outcomes always depend on the garbage-in/garbage-out relationship as much or more than they depend on the specific methodology proposed. Any method can work, given the right metrics & situation.
That’s why multi-level selection is so tedious. It’s multi-level trial & error of as many permutations as a foolish population wants to endure. There’s always an adequate path envelope to win an adaptive race .. you only have to stay ahead of visible competitors to FEEL like you’re winning. Circumstances, however, can sometimes be a real SOB for everyone.
Hade tänkt kommentera Bertil Törestads missuppfattningar, men ser nu att Pär Engström förtjänstfullt redan klargjort vad diskussinen egentligen handlar om. Tack Pär!
[Vill man fördjupa sig mer i de teoretiska problemen kring evidensbasering kan jag kanske få rekommendera min artikel Randomization is a poor substitute for real science (http://larspsyll.wordpress.com/2012/07/03/randomization-is-a-poor-substitute-for-real-science/) där det också ges mer utförliga litteraturreferenser.]
Pingback: Skrämseltaktik om evidensbaserade studier i skolan? « Pontus Bäckström
Pingback: Pontus Bäckström: Används "evidensbaserade studier" på ett vilseledande sätt?
Ett grundläggande problem anser jag vara att samhälls- och beteendevetenskaperna inte kan stå på “egna” ben utan bedöms vetenskapligt utifrån naturvetenskapliga premisser. I denna kamp om kunskap har bl.a. motstridiga ståndpunkter vuxit fram, ibland etiketterat som positivism vs relativism. När Roy Bhaskar (1975) försökte lösa denna motsättning genom en kritisk realistisk ståndpunkt utgick han från naturvetenskaper och hur de hanterade sitt studieobjekt (sedan har visserligen Margareth Archer, 1995, utvecklat detta i en samhällsvetenskaplig inriktning).
En sak som Bhaskar tog fram var att den naturvetenskapliga forskaren (mestadels) intervenerar i den verklighet som studeras. Det experiment som forskaren gör sker under slutna villkor, medan den verklighet som ligger utanför experimentet finns i öppna villkor. En samhällsvetenskaplig metod att sluta villkoren har varit genom teori, en annan har varit genom att anamma en naturvetenskaplig experimentdesign.
Om vi anammar en naturvetenskaplig experimentdesign och genom denna metoden försöker ackumulera kunskap om undervisning hur ska eller kan en sådan design se ut? Vilken eller vilka hypoteser kan eller bör ställas? Hur testar vi dessa hypoteser i experimentet? På vilka sätt överför vi expermientets slutna villkor till verklighetens öppna villkor – som därtill finns i en stratifierad värld (dvs. besående av t.ex. sociala, psykologiska, biologiska, kemiska etc. mekanismer?
Om vi ska göra ett utbildningsvetenskapligt experiment och undersöka effekter av en specifik undervisningsmetod, hur ska en sådan studie designas? Hur vet vi att det är metoden som testas och inte t.ex. lärarnas kunskaper om metoden, lärarnas egenskaper, interaktionseffekter mellan elever och mellan elever och lärare (som ligger utanför den testade metoden) etc. etc.
Hur många sådana hypotesprövningar behövs för att säkerställa en generell utsaga om metoden, en utsaga som är giltig utanför experimentsituationen? Detta med tanke på att denna verklighet utanför experimentet ständigt förändras, t.ex. nya sociala medier, nya styrdokument etc etc.
Archer, Margareth (1995). “Realist social theory: the morphogenetic approach”. Cambridge: Cambridge University Press.
Bhaskar, Roy (1975). “A realist theory of science”. Hassocks.
Det kanske viktigaste är den människosyn beslutsfattarna har och graden av vetenskaplig förankring. Kanske är det nu dags att kritiskt granska samhällets arketyper och föra in det vetenskapligt grundade sociobiologiska perspektivet i debatten.