Lars Pålsson Syll: Friskolornas effekter på elevernas utbildningsresultat

Anders Böhlmark och Mikael Lindahl presenterade en forskningsrapport  för några veckor sedan som visade att genomsnittsresultaten har ökat i de kommuner där andelen elever i fristående skolor är hög. Tidigare har liknande resultat presenterats i andra rapporter. Men Lars Pålsson Syll menar att man ska vara försiktig med att dra säkra slutsatser från dessa rapporter. Det är många faktorer som påverkar elevresultaten och det är mycket svårt att konstruera analysmodeller som klarar att hantera alla variabler. Forskningen har hitintills inte generellt kunnat belägga att införandet av friskolor lett till några större effektivitetsvinster eller påtagligt ökade kunskapsnivåer hos eleverna i stort, skriver Lars Pålsson Syll. (red)

När vi i Sverige 1992 genomförde en friskolereform fick familjer därigenom över lag större möjlighet att själva välja var man ville sätta sina barn i skola. Efter två decennier med friskolor har det bland forskare och politiker blivit intressant att försöka bedöma vilka konsekvenser friskolereformen haft.

Nu är det självklart inte helt lätt att göra en sådan bedömning med tanke på hur mångfacetterade de mål är som satts upp för skolverksamheten i Sverige. Ett vanligt mål som man fokuserat på är elevernas prestationer i form av uppnående av olika kunskapsnivåer. De kvantitativa mått man använt för att göra dessa värderingar är genomgående betyg och/eller resultat på nationella prov.

Vid en första anblick kan det kanske förefalla trivialt att göra sådana undersökningar. Det är väl bara att – kan det tyckas – plocka fram data och genomföra nödiga statistiska analyser. Riktigt så enkelt är det nu inte. I själva verket är det väldigt svårt att få fram entydiga kausala svar på den här typen av frågor.

Det i särklass vanligaste undersökningsförfarandet är att man genomför en så kallad regressionsanalys av observationsdata, där man försöker ”konstanthålla” ett antal specificerade bakgrundsvariabler för att om möjligt kunna tolka resultaten i kausala termer. Eftersom de elever som går på friskolor ofta skiljer sig från de som går på kommunala skolor vad avser flera viktiga bakgrundsvariabler, kan vi inte bara rakt av jämföra de två skolformerna kunskapsnivåer för att därur dra några säkra kausala slutsatser. Risken är överhängande att de eventuella skillnader vi finner och tror kan förklaras av skolformen, i själva verket helt eller delvis beror på skillnader i de bakomliggande variablerna (exempelvis bostadsområde, etnicitet, föräldrars utbildning, m. m.)

För några veckor sedan presenterade Anders Böhlmark och Mikael Lindahl en uppmärksammad forskningsrapport – Har den växande friskolesektorn varit bra för eleveernas utbildningsresultat på kort och lång sikt? (IFAU Rapport 2012:17). Böhlmark och Lindahl anser sig bl. a. kunna visa att friskolereformen inneburit att genomsnittsresultateten över tiden för alla elever – alltså inte bara för de som går i friskolor – har ökat mest i de kommuner där andelen elever som går i friskolor har ökat mycket i förhållande till kommuner där andelen elever som går i friskolor har ökat mindre eller kanske inte alls. Kort sagt – ökningen av andelen friskoleelever i en kommun ger i genomsnitt positiva effekter på elevernas utbildningsresultat. Av resultaten framkommer dock att effekten för den enskilde individen av att gå i en friskola, istället för i en kommunal skola, bara står för en liten del den totala effekten. En väsentligt större del bedöms vara en följd av ökad konkurrens som gynnar alla elever.

Tidigare svensk forskning har visat på liknande resultat och de har både av forskarna själva och av andra tolkats som belägg för att friskolereformen och den ökade konkurrensen är bra för det svenska skolsystemet i sin helhet.

Böhlmarks och Lindahls forskningsresultat har uppmärksammats stort i media. De presenterades, exempelvis, i Svenska Dagbladet (31/10 2012) kort och gott som att ”ju högre andel friskolor, desto större förbättringar av resultaten” och att det ur forskningsresultaten ”framgår tydligt att ju högre andel friskolor en kommun har, desto bättre presterar eleverna.” Här låter det som att forskarna tagit fram forskningsresultat lika entydiga som att 2 + 2 = 4. Så är ju, som jag försökt antyda i resonemanget ovan, långt ifrån fallet. Det är grovt missvisande att presentera forskningsresultatet på det okvalificerade och onyanserade sätt som här skett. Därtill kan man möjligen också lägga att det borde vara av yttersta vikt för seriösa forskare att också vid kontakter med massmedier vinnlägga sig om att åtminstone några av de viktigaste osäkerheter som råder kring forskningsresultaten – vare sig de nu baserar sig på randomiserade kliniska tester eller statistisk-ekonometriska regressionsskattningar av observationsdata – understryks och lyfts fram för att undvika uppenbara ”övertolkningar” av undersökningsresultaten.

Ska man försöka sig på att sammanfatta de regressionsanalyser som genomförts är resultatet att de kausala effekter på elevers prestationer man tyckt sig kunna identifiera av friskolor genomgående är små och ofta inte ens statistiskt signifikanta. Enkelt uttryckt skulle man kunna säga att många – kanske de flesta – av de effektstudier av detta slag som genomförts, inte lyckats skapa tillräckligt jämföra grupper och att värdet av analyserna därför är svårt att fastställa.

Forskningen har hitintills inte generellt kunnat belägga att införandet av friskolor lett till några större effektivitetsvinster eller påtagligt ökade kunskapsnivåer hos eleverna i stort. Resultaten är till stor del avhängiga hur de använda modellerna specificeras och hur de ingående variablerna mäts och vilka av dem som ”konstanthålls”. Metodologiskt har det visat sig vara svårt att konstruera robusta och bra mått som möjliggör en adekvat hantering av alla de olika faktorer – observerbara och icke-observerbara – som påverkar konkurrensen mellan skolformerna och ger upphov till eventuella skillnader i elevprestationer mellan skolformerna. Följden blir att de små effekter man kunnat konstatera föreligga i vissa undersökningar, sällan är behäftade med någon högre grad av evidentiell tyngd. Mycket baseras – tyvärr – på både otestade och otestbara modellantaganden. Resultaten är genomgående av tentativ karaktär – vilket också bör återspeglas i de slutsatser vi drar av dem.

Såvitt jag kan se gäller fortfarande en varning från den uppmärksammade kunskapsöversikt som SNS lät göra 2011 – Konkurrensens konsekvenser – där Jonas Vlachos i kapitlet Friskolor i förändring skriver:

”Dessa skillnader behöver emellertid inte betyda att utbildningen vid friskolorna håller högre kvalitet. För det första kan de som väljer friskolor skilja sig på andra sätt än de som går att ta hänsyn till i en empirisk analys av detta slaget. Det är därför möjligt att dessa elever skulle presterat bättre än genomsnittseleven även om de gått på en kommunal skola. För det andra är kunskapsmåtten som används inte helt objektiva. Skolverket har konstaterat bristande likvärdighet i betygsättningen mellan olika skolor och inte heller resultaten på de nationella proven är immuna mot denna kritik.”

(Lars Pålsson Syll är professor i samhällskunskap vid Malmö högskola)

5 kommentarer till “Lars Pålsson Syll: Friskolornas effekter på elevernas utbildningsresultat

  1. Givetvis är det så idag att det finns både forskare och media som gärna vill lägga fram synpunkter och fakta som stödjer privatskolereformen (vilket jag föredrar att kalla den eftersom ”friskolereformen” ger ett intryck att det också finns nått som betraktas som ”ofritt” – och det skulle då kunna vara bristen på det fria valet enligt de friskolefrälsta), precis som jag tillsammans med andra ställer mig oerhört skeptisk till denna marknadstrend.
    Det finns också en tendens att många marknadslösningar som införts i Sverige har influerats av vad som hänt framför allt i USA. Därför finns det också anledning att idag titta på vad som händer i USA och vad vi eventuellt har att vänta i framtiden…..
    Ett inlägg på bloggen ”new teacher” rekommenderas för läsning – hur det privata tar över utbildning och undervisning. Är det nått som kommer runt hörnet?
    http://teacherblog.typepad.com/newteacher/2012/11/on-the-rise-of-pearson-oh-and-following-the-money.html

  2. Anders Böhlmark o Mikael Lindahl skriver i sitt pressmeddelande ”Fler friskolor förbättrar elevers resultat” att ”en ökande andel grundskoleelever i friskolor har lett till högre provresultat och betyg i årskurs 9. Det gäller både för elever i friskolor och kommunala skolor, Vi kan vidare visa att dessa effekter är mycket stabila i förhållande till ett antal möjliga problem, som till ex. betygsinflation..” Dn publicerade 28/11 2011 10 skolor som gav högst andel överbetyg jämfört med nationella proven 2010. De 6 första är friskolor. Trots detta skriver de ”Vi kan därför inte helt utesluta att det finns faktorer som vi inte kan beakta som påverkar resultaten..” vidare ”Även då vi använder registerdata av hög kavlitet kan vi inte vara säkra på att vårt mått på friskoleandelen är helt utan mätfel”. men trots deras osäkerhet skriver de ”stärker vår uppfattning av våra huvudskattningar fångar den kausala effekten av en ökning i friskoleandelen på genomsnittliga elevprestationer”. och det ”kan mycket väl vara så att de kommuner som har få eller inga friskolor alls är de kommuner som bidragit mest till denna nedgång”. Vi finner inget ”stöd för uppfattningen att ökningen av andelen friskolor och friskole-
    elever skulle förklara Sveriges relativa nedgång i provresultaten från internationella tester”. I de 3 största storstadsregionerna finns de flesta sk. ”friskolor”. Skulle dessa ”sprida ideer, lyfta kunskapsnivån, konkurrenseffekter mm”. I Lärarförbundets ranking av bästa skolkommun 2012 kom Vellinge på första plats. Stockholm kom på 122:a plats, Göteborg på plats 208, Malmö på plats 229. LF mäter bl.a.Utb. lärare*lärartäthet*andel godkända år 9*Gymnasium inom 4 år*Högskolebehörighet mm. Avslutningsvis skriver de ”Skolsegregering kan ha både positiva och negativa effekter..” Negativa vet jag- men positiva?

  3. Forskningsrapporten ”Har den växande friskolesektorn varit bra för elevernas utbildningsresultat på kort och lång sikt?” av Böhlmark och Lindahl (IFAU Rapport 2012:17) har uppenbarligen upprört många och kanske i synnerhet efter en artikel i Svenska Dagbladet (31/10 2012), som tydligen lite väl summariskt redovisat resultatet av undersökningen. Lars Pålsson Syll verkar lägga en del av skulden på författarna. Jag har inte läst artikeln i Svenska Dagbladet men väl den svenska rapporten. Det finns några tveksamma formuleringar i rapporten, och särskilt tydliga är inte författarna i sina slutsatser. Självfallet är det mycket svårt att komma fram till kausala slutsatser i deskriptiva studier, och experimentella undersökningar går lika självfallet inte att genomföra. Under de senaste decennierna har dock metoder och programvaror utvecklats för att pröva kausala modeller på deskriptiva data. Analystekniker som bygger på SEM (Structural Equation Modeling), som t.ex. LISREL, är oftast ett bättre alternativ än regressionsanalyser.

    En förutsättning för tolkningar av analyserna i ovan nämnda studie är att forskarna har tagit med de väsentligaste oberoende variablerna som kan tänkas påverka de beroende variablerna. En solid grund för valet av tänkbara påverkansfaktorer och sättet att få relevanta och tillförlitliga data är ett viktigt teoretiskt arbete, som måste föregå den empiriska studien. Om det saknas betydelsefulla bakgrundsfaktorer eller om i detta fall betygsdata inte är tillförlitliga, blir resultatet av analyserna bristfälliga. Jag tycker dock att författarna är försiktiga i sina formuleringar vad gäller kausala tolkningar. Kausal effekt nämns endast en gång och då i meningen ”… stärker vår uppfattning att våra huvudskattningar fångar den kausala effekten av en ökning i friskoleandelen på genomsnittliga elevprestationer”.

    Det jag saknar i den svenska artikeln, förutom den teoretiska grunden för valet av i undersökningen ingående variabler, är en diskussion om effektstorlek. Det finns en del diffusa kommentarer som ”inga enorma effekter men de är heller inte obetydliga” och ”får vi typiskt nog små och alltid statistiskt obetydliga resultat”. Man måste i all forskning hålla isär statistiskt säkerställda skillnader och storleken på dessa skillnader. Om erhållna skillnader är signifikanta är egentligen meningslös information med tanke på att detta är en populationsstudie. Även om studien utförts med ett representativt stickprov ur en definierad population hade signifikansanalyserna ändå varit av mindre värde med tanke på stickprovsstorleken. Om det visar sig finnas betydelsefulla skillnader i elevernas utbildningsresultat blir det däremot intressant. I alla undersökningar av gruppskillnader måste man använda något lämpligt storleksmått och diskutera dessa storleksskillnader.

    Hur man får journalister att presentera forskningsresultatet på ett kvalificerat och nyanserat sätt vet jag inte. Det är bäst att gå till originalet och ta upp en diskussion med författarna, vilket jag har gjort.

    Horst Löfgren
    professor em. i pedagogik med speciellt intresse för mätmodeller, kausala modeller och storleksmått vid statistiska analyser

  4. Tack för intressanta synpunkter, Horst. Några av de punkter du tar upp har jag berört mer ingående i en större granskning av Böhlmarks och Lindahls rapport som jag lagt ut på min blogg http://larspsyll.wordpress.com/2012/11/14/hojer-friskolorna-verkligen-elevernas-kunskapsniva/
    Kanske kan det vara av intresse även för andra med ett vetenskapsteoretiskt och statistiskt intresse för denna typ av forskningsfrågor att ta del av där framförda kritiska synpunkter.

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

SKOLA OCH SAMHÄLLE

WEBBTIDSKRIFT
ISSN 2001-6727

REDAKTÖRER
Aina Bigestans
Magnus Hultén
Malin Ideland
Anders Jönsson
Björn Kindenberg

E-POST
redaktionen@skolaochsamhalle.se

© COPYRIGHT
Skola och Samhälle

S.O.S på Twitter