Skola och SamhälleAugustinsson/Fröjmark/Hansson: Skolinspektionen – exempel på “funktionell dumhet”?
Visst nämns dokumentation och New Public Management när det är tal om styrning. Men var finns i övrigt debatten om styrningens konsekvenser på ett djupare plan? Hur blir vi medvetna om det vatten vi simmar i? Kontroll, mål och resultatstyrning tycks tas för givna, även om forskning gång på gång visar på dess avigsidor.
Hur påverkas skolans vardag av styrningen? De frågor vi tar upp i denna artikel utgår från Skolinspektionens (SI) tillsynsrapport av en gymnasieskola 2011 och från samtal med ett stort antal rektorer.
När kritik framförs mot hur styrningen fungerar handlar frågan mer om hur målen ska bli än tydligare och kvantifierbara. För att citera Mats Alvesson (2006) i Tomhetens triumf: ”Lätt mätbara mål i den offentliga sektorn – som exempelvis antalet belagda sjukhussängar, antalet godkända på en grundskola och hur många rattonykterhetstest som trafikpolisen tagit – är tveksamma och källor till snedstyrning.”
Hur funktionella för skolans utveckling är de kontroller och de inspektioner som utförs av SI? Kontroller i och av en verksamhet kan inte och ska inte uteslutas. Tvärtom, i alla organisationer förekommer kontroll och uppföljningar av verksamhetens olika delar. Effekterna av vad som kontrolleras och hur det sker är viktiga att undersöka utifrån organisationens komplexitet, mål och syfte. Det är en balansakt mellan å ena sidan tillit till de professionellas kunskaper, analyser och bedömningar och å andra sidan extern kontroll och mätningar. För mycket kontroll minskar tilliten, för lite kontroll innebär att verksamheten blir alltför spretig. Extern kontroll och på förhand uppgjorda mätpunkter ses som den generella lösningen – vilket är en falsk föreställning.
Inspektioner och kontroller av skolor som instrument för utveckling har i både svensk och internationell forskning visat sig vara verkningslösa eller ha marginell betydelse. Mats Ekholm och Kerstin Lindvall (2007) genomförde en studie av 187 skolor som hade inspekterats. Vid 46 % av de inspekterade skolorna försämrades resultaten efter inspektionen, vid 25 % förändrades de inte och vid 29 % av dem gick resultaten åt det håll som politikerna hoppades på. Daniel Kahneman (Nobelpristagare i ekonomisk psykologi) visar i Tänka, Snabbt Och Långsamt (2012) på att vad som faktiskt leder till förbättring och utveckling i organisationer beror i hög grad på tillfälligheter. Om vi följer denna evidens kan i de fall där förbättringar skett efter SI:s besök likaväl vara en effekt av andra händelser och tillfälligheter i verksamheten, vilka bara råkar sammanfalla med SI:s rapport.
Det är viktigt, tycks det, att pärmarna ska vara i ordning och pappren ska innehålla vackra ord som i sämsta fall inte alls har att göra med vad som faktiskt händer i klassrummets komplexa vardag och mellan lärarna. Detta är vad Alvesson och Spicers A Stupidity Based Theory of Organization (2012) benämner som “funktionell dumhet” eller dysfunktionellt. Funktionell dumhet innehåller en paradox – något som någon ser som funktionellt kan vara en dumhet från andra perspektiv. Skolor, och dess rektorer, skulle då i högre grad slippa hantera rena dumheter som bara skapar frustration istället för funktionell utveckling av verksamheten.
Först något om dumheter kring mätning och kvantitet som hänger samman med grunden för SI:s arbete.
Mätning och kvantitet
Skolan mäts utifrån de värden som finns i kvalitets- och resultatmätningssystem (KRM). Metoden är hämtad från industrin där syftet i princip alltid är vinstoptimering. Att sätta upp kvantifierbara mål i en komplex verksamhet som framför allt handlar om enskilda individers utveckling är svårt. Ett annat exempel som kan nämnas är skolans demokratiska mål som svårligen kan mätas i en traditionell KRM. När illusionen av kontroll dominerar tenderar man att i komplexa verksamheter mäta det som enkelt kan kvantifieras (se Lindgren, Utvärderingsmonstret – Kvalitets- och resultatmätning i den offentliga sektorn, 2008). Samtidigt ignoreras de mål som är svåra att kontrollera och mäta. Detta är också väl beskrivet i praktikorienterad forskning om styrning – ett sätt att se på verksamheten gör oss blinda för andra sätt. I skolan mäter man därför en rad olika enkelt mätbara mått som lärartäthet, undervisningstid, antal elever per klass, m.m. samt genom enkäter och intervjuer kvantifierar olika mått, förenklade sådana, för att på så sätt skapa enkelt jämförbara tal. Utifrån detta skapas de kvalitetsindex som sägs beskriva skolor som är bra eller dåliga. Sådana kvantifieringar speglar inte en objektiv verklighet. De leder i värsta fall till osäkerhet, eller illusionen av kontroll.
SI drar slutsatser ur sin enkät som med stöd av Alvesson och Lindgren kan ses som tveksamma. SI hänvisar till en enkät där lärarnas tillit till elevens förmåga mäts med hjälp av av en fråga som lyder ”Lärarna i min skola verkar ibland tycka att jag inte kan någonting” och där ömsesidig respekt och ömsesidigt förtroende mäts med hjälp av en fråga som lyder ”Lärarna i min skola är intresserade av mig”. Kan en elev, eller en vuxen för den delen, svara på dessa frågor på ett sätt som gör svaren jämförbara med andra skolor? Eller handlar dessa enkäter om att mäta “kundnöjdheten” hos eleverna och personalen? Går tillit över huvud taget att kvantifiera? SI anser att det går, eftersom svaren på enkätfrågorna utgör en del av den kritik som de riktar mot skolan gällande elevinflytande och anpassning till elevernas behov.
Ett annat kritiserat bedömningsområde berör undervisningens anpassning till enskilda elevers förutsättningar och behov. I detta fall drar SI slutsatser ur de intervjusvar de fått. I den aktuella skolan konstaterar SI att man förvisso arbetar med måluppfyllelse för samtliga elever. Arbetet är dock inte tillräckligt och det kvarstår ”en del” att göra på klassrumsnivå, skriver SI. Vad som kvarstår att göra och på vilket sätt de mätt tillräckligheten i de insatser som redan görs framgår inte av rapporten. Vem kan egentligen avgöra var gränsen går för vad som är tillräckligt i en fråga som rör individuell anpassning?
Normativa beskrivningar?
Vi finner i SI:s rapport ett flertal uttryck och beskrivningar som innehåller dunkla beskrivningar på gränsen till godtycklighet. De skriver att ”Framför allt tenderar informationen för de elever som uppnår målen eller skulle kunna nå mycket längre än så, att bli kortfattad och minimalistisk”. Här menar SI alltså att ett av de problem skolan har är att mängden av information inte är tillräcklig. Antalet ord och meningar understiger en till synes godtycklig, icke angiven, mängd av beskrivande ord i lärarnas återkoppling till elever som, märk väl, når sina mål.
När SI kritiserar elevinflytandet i sin rapport väljer de först att använda ett enskilt exempel för att påvisa generella brister. Hur denna koppling görs är oklar. De anger som bevis på bristande elevinflytande ett antal elever i en teknikklass som enligt SI ”vid upprepade gånger” försökt framföra synpunkter utan att dessa fått gehör. Senare i samma bedömningsområde finner vi ett uttalande som, får man konstatera, enbart består i lösa antaganden utan grund från SI:s sida. Här talar man om vikten av att en viss elevgrupp ”synnerligen” behöver träna på demokratiska arbetsformer för att dessa elever, hör och häpna, enligt SI ”kanske inte alltid är vana vid detta eller att arbeta i platta strukturer”.
“Dumheter”
I ett försök att dra funktionella slutsatser kan effekterna av KRM leda till rena dumheter. Lindgren benämner de som ”perversa bieffekter”. Att genom ett KRM-system fånga en hel komplex verksamhet ter sig tämligen omöjligt. Att försöka sig på att precisa definitioner av komplexa svårdefinierade begrepp som t.ex. trygghet, individualisering m.fl. och sedan omvandla dessa begrepps innehåll till mätbara kvantitativa mål för att dra slutsatser om en hel verksamhet är för oss en funktionell dumhet i stor skala. Effekten är yta och skapande av en illusion av kontroll som politiker och andra sedan bedömer skolan utifrån. I en komplex verksamhet som skolan är det inte möjligt att exakt mäta sig fram till kvalitet. Med ”teaching to the test” lyfter Lindgren fram egenskaper i en verksamhet där man ”lärt sig” systemet och lägger fokus på det kvantifierbara medan andra delar förbises. Återigen illusioner och yta som ska se fin ut. Likheterna är uppenbara med polisens alkoholtester i trafiken som resulterade i ur organisationens perspektiv ineffektiva handlingar för att minska trafikanter med alkohol i kroppen. ”Organisationen ifråga höjer därmed nivån på sitt resultat i förhållande till ett visst mått eller en uppsättning mått, men sett från ett socialt och/eller professionellt perspektiv har ökningen ingen signifikant betydelse.” (Lindgren 2008). Det är med denna kunskap framför våra ögon som vi också måste granska betygsättning, resultat på nationella prov och PISA-resultat. Illusionen av kontroll genom jämförelse och mätningar leder således ofta att man ägnar sig åt funktionell dumhet, istället för att i varje skola, tillsammans mellan chefer och lärare, avgöra vad som faktiskt är viktigt för elevernas utveckling. Här måste också lärarna ta sitt professionella ansvar, vilket de ibland har abdikerat från.
(Sören Augustinsson är fil.dr. i Arbetsvetenskap, Daniel Fröjmark är f.d. skolledare och Jesper Hansson är skolledare)
27 Comments on “Augustinsson/Fröjmark/Hansson: Skolinspektionen – exempel på “funktionell dumhet”?”
Lämna ett svar till Mattias Jönsson Avbryt svar
STÖD SKOLA OCH SAMHÄLLE!
Skola och Samhälle är en ideell förening. Vi som arbetar med S.O.S. gör det helt utan ersättning. Alla bidrag till en fortsatt kritisk debatt om skola och lärarutbildning mottages tacksamt!
Swisha till: 123 589 43 73
Jag hoppas att den här artikeln läses av Gustav Fridolin och Aida Hadzialic, och alla andra med inflytande på beslut och debatt.
En randanmärkning dock:”Här måste också lärarna ta sitt professionella ansvar, vilket de ibland har abdikerat från.” Befogad kritik kan riktas mot lärarfacken, som ibland jamsar med i dumheterna. Facken borde vara verktyget för kollektiv protest.
Men den enskilde läraren på skolan har inte så många konstruktiva alternativ till att abdikera. Visst finns ett tröghetens motstånd mot att anpassa sig, men man mals bit för bit ner när motståndet resulterar i obehagliga samtal på rektorsexpeditionen, trista skrivningar i “kvalitetsrapporter”, insinuanta frågor på medarbetarsamtal… Många resignerar så småningom, andra söker sig till andra yrken. Få har tillräckligt med “fuck-off-money” på banken.
Jag kan bara hålla med dig Kjell Arvedson. Fackförbunden har ett stort ansvar att inte okritiskt hoppa på KRM-tåget och sjunga med i politikernas kör. Jag håller också med om att det krävs mycket energi för att stå emot trycket från resultatmätarmaffian. Likväl så hoppas jag att det finns lärare och rektorer som orkar göra just detta.
Jag skall dock inte slå mig för bröstet och säga att det är lätt att stå emot. Jag är ju som man kan se sist i artikeln “f.d. skolledare”…
Tack för kommentaren!
Vårt försök till poäng är just hur styrningen får långsiktiga konsekvenser som möjligen inte är uppenbara vid själva införandet. Däremot långsiktigt framträder ofta icke avsedda konsekvenser och dysfunktionellt handlande i organisationer, vilket sker för att personalen ska överleva om alternativen inte finns. Därför, menar vi, att varje styrning som en ledning i en organisation inför måste också nogsamt följa upp dess effekter ute i kärnverksamheten. En uppföljning som relativt sällan sker. Det är som Nils Brunsson, professor på Uppsala universitet, påpekat: Ledningen som infört styrningen argumenterar för att det är fel på verkligheten, inte metoden. En absurd tanke, men ack så vanlig!
Citat: ”I ett försök att dra funktionella slutsatser kan effekterna av KRM [kvalitets- och resultatmätningssystem] leda till rena dumheter. Lindgren benämner de som ”perversa bieffekter”. Att genom ett KRM-system fånga en hel komplex verksamhet ter sig tämligen omöjligt. Att försöka sig på att precisa definitioner av komplexa svårdefinierade begrepp som t.ex. trygghet, individualisering m.fl. och sedan omvandla dessa begrepps innehåll till mätbara kvantitativa mål för att dra slutsatser om en hel verksamhet är för oss en funktionell dumhet i stor skala. Effekten är yta och skapande av en illusion av kontroll som politiker och andra sedan bedömer skolan utifrån. I en komplex verksamhet som skolan är det inte möjligt att exakt mäta sig fram till kvalitet”.
Alltså det ”visste” vi redan för 25 år sedan, vad hindrar utvecklingen, systemfel?
Jfr. ”Värderingsproblematiken uppmärksammades i Skolan och utvärderingen. Fem professorer tar ordet (Franke-Wikberg, 1989). Värdering av skolan innebär komplikationer. Att väga in den enskilde eleven och hans/hennes personliga utveckling i en utvärdering ställer bedömarna inför hårda prov. Risken är stor att själva kontrollen påverkar det som ska bedömas (kontrolleras).
En offentlig utbildning kan aldrig enkelt utvärderas, dess effektivitet och produktivitet kan inte enkelt mätas. Lika lite som skönhet kan mätas kan inte fostran till medborgare mätas – om inte medborgarens uppgifter görs ytterligt primitiva; ändå kan vi förstå skönhet och utveckla smak. Att påstå detta är truistiskt. Men även det självklara kan i den offentliga diskussionen bli till nya sanningar (Lundgren U. P./ Franke-Wikberg, S. 1989, s. 84). —
Varje utvärdering är också en kontroll och varje utvärdering kommer därför att påverka vad som utvärderas.
Utvärdering torde vara ett av de starkaste instrumenten för styrning av utbildning (a.a. s. 90).”
Citat ur Hellström (2002). fil.dr. i pedagogik
Tack för kommentaren och hänvisningen. Mina första kunskaper om styrningens effekter kommer faktiskt från de källor som du hänvisar till.
Jag menar att det kanske inte är systemfel i sig, möjligen. Ett problem möjligen finns i hur vi fungerar som människor. Vi tycks se bilden av verkligheten som mer sann än verkligheten i sig själv. Alltså, den dominerande bilden har en viss auktoritet som slår ut motbilder. Företag använder sig aktivt av denna strategi för att just skapa motbilder mot sådant som kan vara negativt mot deras produkter. På samma sätt är det kanske med styrningsprocesser. De styr oss bort från att se det som är det uppenbara, precis som du lyfter fram.
Tack för er artikel! Visst har dagens styrning gjort att kvalitetstänkande i skolan måst krympa! Professionen har måst anpassa sig till Skolinspektionens bedömningar liksom till andra inte särskilt funktionella beslut. Samtliga ”von oben” kommande dekret har andats kontroll av skolans yrkeskår. De har inte gjort oss och verksamheten “bättre“. I stället är detta, enligt min mening, den starkaste orsaken till våra svenska PISA-resultat.
En icke-professionell styrning av skolan är fel. Det som behövs är vetenskaplig klarsynthet! Det som bör prioriteras är förtroende för kunnande, inte minst kring självskattning och egenansvar – för såväl den enskilda skolan som för eleven. Jag vet vad jag talar om! Med 12-årig lärarlagserfarenhet kring aktiva, kreativa, kompetenta och ansvarskännande elever kom jag till Skolverket hösten 1991. Jag hoppades få synliggöra vad nytänkande kring kvalitet för elever och undervisning betyder.
Samarbetet hade gjort våra klasser 4-6 mer framgångsrika än andra. Grundläggande var de ”kreativa samtal” vi förde som innebar att elever och lärare båda både gav och lyssnade till varandras tänkande. ”Coachning” kallade vi det. Varje 10-åring fick via självskattning ”syn på” sitt nuläge och valde utifrån detta sina önske-mål, som varje gång visade sig innebära elevens ambition och vilja att nå längre. Aktivt lugn infann sig i de båda klassrummen där vi tre lärare formade insatserna så att varje elev blev tydligt framgångsrik. Det hände att vi fick lyssna till kommentarer från högstadiet under dessa 12 år, t.ex ”era grupper är så självgående…” Ja bra, tänkte jag aktiva, kreativa, kompetenta och ansvarskännande är bara andra ord för just självgående!
Vi ombads hålla studiedagar i högskolor, kommuner och skolor, då det under dessa år fanns så tydliga framstegsfaktorer att visa, redovisa och föra resonemang omkring. Hade Skolverket 1991/92 kunnat prioritera att granska arbetet, om forskare knutits till projektet osv hade, menar jag, mycket kunnat se annorlunda ut i våra skolor idag. Något PISA-fall hade det inte varit tal om. Skolverkets uppdrag var dock strikt fastställda. Nationellt stöd för pedagogisk utveckling ingick inte, fick jag veta.
Idag finns de vetenskapliga svaren till hur vårt arbete kom att lyckas så väl – hur framgångsrikt lärande ser ut – och hur det kan stödjas av oss vuxna. Sveriges Kommuner och Landsting har f.n via en satsning på Mc Kinsey´s forskning (2007-2010) gett tjugo kommuner möjlighet att i sina skolor studera lärande och samspel för framstegs skull. Hatties metaforskning, sammanställningen av 800 forskningresultat (2009), är också väl känd. Han är den forskare som är särskilt tydlig i vad som gäller då lärare vill påverka elevers lärande så att deras studieresultat ska bli de absolut bästa möjliga.
Jag vet att dessa forskares premisser stämmer. De gjorde lärarlagets elever och klasser framgångsrika redan under 80-talet. Som varje annan beslutsnivå behöver eleven, varje elev, lära att styra sig själv, ges ansvar (utifrån mognad) och tillåtas göra övervägda val utifrån strukturerade självskattningar. Demokratisk coachning kan ges av lärare som tillämpar Hatties tänkande. En skola, säker utifrån de vuxnas studier och samtal omkring denna vetenskap, inspirerar sina elever till aktivt lugn som ger de resultat eleven eftersträvar – och på sikt hela vår samhällsutveckling behöver.
Svenska Kommunförbundets bok Synligt lärande är en ”ögonöppnare” där Jan Håkansson utifrån Hatties resultat visar att effektstorleken d kan användas som mått på framgångsrik undervisning. Det hjälper oss se vad det är som en PISA-skola bör utveckla för att uppnå bästa möjliga lärande och studieresultat. Hatties listning i stora, måttliga, försumbara (eller rent negativa) påverkansfaktorer upptar 138 komponenter. Ett gränsvärde under d=O,40 ger obetydlig effekt, medan rangordningen nedan visar hur de bästa effekterna kan nås – när undervisningen får innehålla följande komponenter:
• Självskattning d=1,44
• Studiero d=0,80
• Tydlighet d=0,75
• Ömsesidig undervisning d=0,74
• Återkoppling d=0,73
Särskilt intressant är som synes självskattningens höga värde. Självskattning var redan hos lärarlagets 10-åriga elever det som frigjorde medvetenhet. Skattningens ”aha-upplevelse” väckte vanligen en omedelbar lust och vilja att starta ett målinriktat arbete för det som eleven såg var meningsfullt – ett effektivt tänkande som de, efter vad vi förstod av lärare senare, behöll på högstadiet. Bevisligen gav dessa fem komponenter ett aktivt lugn till eleverna i det skolarbete jag nämnt. Boken ”Kreativ Skola – Inspiration till aktivt lugn” beskriver de insatser, strukturer för självskattning m.m. som jag en gång önskade sprida vid min anställning i Skolverket.
Som skolledare har jag använt premisserna ovan också på vuxennivå. Att via självskattning göra synligt det vi vuxna i skolan önskar ska ske, gör meningsfulla lärarinsatser mycket tydliga. Hatties ”ömsesidig undervisning” gäller därför lika gott på vuxennivå. Varje personalgrupp behöver tid till detta då man planerar framgångsrika processer. ”Återkoppling” stödjer likaså. Givande samråd efter besök i ett klassrum, efter lagets självskattning etc ger både höjd medvetenhet och stimulans till de berörda. Dessutom ofta en gemensam upplevelse av aktivt lugn inför det fortsatta arbetet.
Ett vuxenlärande i skolan stärks således kraftigt av självskattning och samråd i enlighet med Hatties premisser. När därför en kollega, forskare eller skolledare ges medel att lyssna in en grupps tänkande kring undervisning och elever, pekar denna arbetsprocess snart ut de vägar lärare och grupp kan gå för att nå de forskningsresultat som idag har visats oss.
Det är tid för detta svensk skola idag behöver.
Ekonomiska resurser bör då växlas från kontroll till utveckling.
Detta ger på sikt de önskvärda PISA-resultaten.
Och professionen behöver förtroende för de kvalitetsarbeten man väljer att satsa på. Så kan vår Skollags vackra vision uppfyllas; aktiva, kreativa, kompetenta och ansvarskännande elever – är målet.
Tack för kommentaren!
Håller i stort med. Det du beskriver försöker jag och några forskare till att uppfylla genom att ställa frågor som “Hur tolkas uppdraget?” “Vilka förutsättningar finns för att göra ett bra jobb?” “Vilka möjliggörare och hindrare finns för att göra ett bra jobb?”. Med dessa frågor som stöd och svaren som utgångspunkt kan sedan en diskussion föras om vad som faktiskt sker i klassrummet och hur utveckling sker utifrån gällande mål och förväntade effekter. Här sätter vi då fokus på prestationer. Frågorna är också lämpliga att diskutera i mötet mellan t ex skolchef och rektor.
Skolverkets utforming av Matte- och Läslyftet går i denna riktning.
Vidare visar viss forskning (Mintzberg b.la. ) på att chefer glömt bort hur man ställer skickliga frågor till medarbetare, istället är det leverans som eftersträvas (“ledaren och de ledda”. Kanske behöver vi i högre grad ställa de vardagsnära frågorna till varandra, men vi behöver också kritiskt utmana varandra. Det är viktigt för att vi inte ska fastna i enbart identitetsbekräftande samtal. Därför är debatt ett sundhetstecken, en debatt som lärare också måste aktivit delta i!
Väl skrivet – och mycket välkommet!
Som kvalitetsingenjör och verksamhetsrevisor är det en gåta för mig att Skolinspektionen så länge har tillåtits att flyga under radarn i skoldebatten. Att Skolverket – med emellanåt ganska tveksamma resultat – tappert försöker tolka, formulera och kvantifiera den politiska viljan, det är en sak. Men att SI på egen hand och fortsatt får producera sitt kontraproduktiva snömos är helt otroligt.
Kvalitet handlar om att det blir som man har tänkt sig – och framförallt att man har tänkt. Att likt SI försöka säkra kvalitet genom mätning utan att bry sig om kvalitetsstyrningen, det är dömt att misslyckas och kan – som artikelförfattarna antyder – istället ge precis motsatt resultat. Detta sätt att arbeta kan förvisso hittas i industrin och alltför ofta är det med en naiv föreställning om vinstoptimering.
Efter att i ett kvarts sekel jobbat med dessa frågor i just industrin kan jag konstatera att det inte fungerar där heller.
De verksamheter som lyckas bäst i sitt kvalitetsarbete är de där kravställare, utförare och revisor jobbar ödmjukt tillsammans, med det gemensamma målet att utveckla och förbättra verksamheten. Det finns ett antal etablerade, ganska enkla och bevisat effektiva verktyg för att nå dit och genom att använda dessa kan man snabbt och resurseffektivt nå det högre målet. Dessa verktyg ingår bl a i en modell som delar namn med en japansk biltillverkare och associeras därmed ofta till industriell produktion, något som tyvärr är vilseledande. Modellen fokuserar på människans behov, den enskilda kreativiteten och viljan och förmågan att förbättra.
Jag tycker att det känns som klippt och skuret för skolan.
Var läser jag om denna modell? Jag vill gärna jämföra den med den erfarenhet jag skaffat mig, se ovan.
Jag gillar egentligen inte att döpa kvalitetsmetodiker eftersom de inte kan vara helt universella, men det närmaste man kommer är väl Toyotamodellen. Kaizen, 5S, Thinking People System, 5 Why, Genchi Genbutsu och Poka-Yoke är t ex element som – i en eller annan form – är applicerbara på alla verksamheter.
Nu är jag i och för sig en ganska “hands on” kvalitetsingenjör som inte har helt lätt att relatera till den smått akademiska tonen i den här diskussionen – men med daglig mätning, revision och förbättring av ett stort antal olika verksamheter under drygt 20 år kan jag konstatera att de fungerar. Och de fungerar bra!
Ett litteraturtips är Jeffrey Likers “The Toyota Way” och min favorit när man behöver komma ihåg vad det egentligen handlar om är att titta på Magnus Lords “crash course” i de första 15 minuterna i det här klippet:
http://vimeo.com/41966581
Artikel speglar okunskap om hur man faktiskt styr med mål och resultat. Även om skolan och lärandet kan betraktas som komplex är det frågan utifrån vilka metoder man gör mätningar. Enkla enkätundersökningar speglar bara attityder. Ska du komma åt beteenden och grundläggande värderingar fordras andra typer av mätmetoder.
Om vi till att börjar konstaterar så är målstyrningen näst intill frånvarande i skolan. Läroplanens elevmål i kapitel 2 i Lpfö 98/10, Lgr11 och Lgy11 saknas på hur dugligt lärandet är i undervisningen. Finns de inte kopplade till det kunskapsresultat så blir det fel. De mått som beskrivs i denna artikel som lärartäthet mm är icke relevanta för styrningen av skolans resultat. Därför är det högst olyckligt att nytillträdda regeringen vill skapa en kvalitetslag i välfärden med dylika NPM liknande mätetal.
Målstyrning är krävande och fodrar mer energi än den gamla regelstyrningen. Därför att den kräver en uppföljning och utvärdering baserad på mål-resultat=måldifferens. Utöver detta så har staten skapat resultatkontroll genom storheter som minst betyget E i alla ämnen, nolltolerans, mm. Det blir en resultatkontroll genom dokumentation.
Mätmetoder finns för hur man lätt kan se och mäta faktiska förhållande i skolor. Två mätinstrument finns som bygger på internationella utmärkelser och dess 1000 poängsskala. Den ena finns hos SIQ och används för att söka Kvalitetsutmärkelsen Bättre Skola. Andra tillhandahålls av Skoldialogen för att mäta dugligheten i de skolformsvisa läroplanerna. Båda metoderna är webbaserade och bygger på ställningstagandet i målbilder HUR du gör, tillämpar och skapar resultat samt på vilket sätt du utvärderar och förbättrar verksamheten. Förskolor och skolor som genomför dessa typer av mätningar har visat sig utveckla sina verksamheters beteenden och värdegrunder.
Så forskningen har i detta fall gjort det enkelt för sig och inte riktigt greppat området fullt ut. Vad man tittar på är den statliga kontrollen över hur skolväsendet uppfyller golvet eller ramen för verksamheten: skollagen och läroplanerna. Tillsyn är regelefterlevnad och inte något annat. Kvalitetsgranskningar däremot är något helt annat som inte tagits upp i artikel. Enögt kan jag tycka.
Lätt att skåpa ut!
Två skolledare och en doktor i arbetsvetenskap skåpar ut Skolinspektionens verksamhet som ”funktionell dumhet”. Det är ett slående ord men underlaget är mycket lättviktigt. Den empiri de presterar är summa ett beslut från 2011 och det vetenskapliga underlaget är summa en artikel från 2007, (alltså innan Skolinspektionen kom till).
Låt oss först konstatera vad tillsyn är för något genom att citera skollagen:
Med tillsyn avses i denna lag en självständig granskning som har till syfte att kontrollera om den verksamhet som granskas uppfyller de krav som följer av lagar och andra föreskrifter. I tillsynen ingår att fatta de beslut om åtgärder som kan behövas för att den huvudman som bedriver verksamheten ska rätta fel som upptäckts vid granskningen.
Om det vid tillsynen av verksamheten vid en skolenhet konstateras återkommande brister som påtagligt påverkar förutsättningarna för elever att nå målen för utbildningen, ska lärarresurserna vid skolenheten analyseras. Lag (2014:903).
Tillsyn innebär vidare enligt, bland annat riksdagens skrivelse, att bedöma om verksamheten ”gör rätt eller fel”. Därför arbetar Skolinspektionen med så kallad avvikelserapportering. Det innebär att vi identifierar avgörande avvikelser från det skollag och andra styrdokument beskriver att skolor och huvudmän ska göra. På det sättet handlar det också om att det som beslutas i demokratisk ordning faktiskt genomförs.
I valet på vad vi ska fokusera tillsynen – bedömningsområden – har vi utgått från aktuell svensk och internationell forskning. De områden vi fokuserar på är sådana som forskningen identifierat som framgångsfaktorer för skolan. Det innebär att om skolhuvudmännen utvecklar sin verksamhet utifrån den kritik som ges, blir också skolresultaten bättre.
Granskar Skolinspektionen bara dokument?
En vanlig missuppfattning, som även dessa tre författare delvis verkar ansluta sig till, är att Skolinspektionen endast granskar dokument och att granskningen därför inte träffar den verklighet som finns i skolan. Dokumentation är i många fall nödvändig och inom vissa områden finns också lagkrav. Men praktiken i skolan är förstås av större betydelse. Skolinspektionen stannar just av den anledningen inte heller vid att granska dokument.
Att en skola på ett korrekt sätt dokumenterar ökar dock rättssäkerheten för eleverna. Ett visst mått av ordning och reda bidrar också till att utveckla undervisningen, till exempel vad gäller uppföljningar av insatta åtgärder och i kvalitetsarbetet.
Viktigare än dokumentstudierna är dock att varje tillsyn byggs upp med en omfattande enkät till föräldrar, elever och skolpersonal. Skolenkäten innehåller frågor om bland annat skolan, ledningen, stöd, studiero och hur undervisningen fungerar. Svaren ger ett bra underlag för att bedöma hur djupgående tillsynen ska vara och var sökarljuset ska riktas. Hittills har Skolenkäten resulterat i en databas med närmare 500 000 svar, det vill säga 100 000 svar per år. Utöver detta gör Skolinspektionen cirka 25 000 intervjuer per år.
Det går att raljera om att ”sådana kvantifieringar inte speglar en objektiv verklighet”, (det finns många som ifrågasätter om någon metod faktiskt kommer åt en ”objektiv verklighet”), men nog måste man erkänna att det är en mängd data som på detta sätt gör att bilden av skolan framträder nyanserat på olika sätt. Något annat sätt att ta reda på hur det står till i skolan, eller för att få syn på en ”objektiv verklighet”, anger inte heller författarna.
Som en grund för tillsynen finns också inkomna anmälningar som kan ge värdefulla signaler om var Skolinspektionen ska fördjupa tillsynen. I vissa fall genomför också Skolinspektionen lektionsobservationer, för att ytterligare fördjupa bilden.
Författarna biter sig fast vid en enda undersökning av effekterna, gjord för över 7 år sedan. Det kanske i det läget hade varit på sin plats att fråga efter mer aktuella uppföljningar.
Skolinspektionen följer upp efter varje genomförd tillsyn. Myndigheten ställer frågor i en enkät till dem som deltagit från huvudmannens sida – den så kallade Postinspektionsenkäten. Den senaste sammanställningen visade att:
85 procent av rektorerna anser att Skolinspektionens kritik i mycket eller ganska hög grad stämmer överens med deras egen bild av verksamheten.
83 procent av rektorerna anser också i mycket eller ganska hög grad att tillsynen kommer att bidra till förbättringsarbetet på skolan
Utöver dessa formella uppföljningar har Skolinspektionen också noterat en lång rad medieinslag om skolor och huvudmän som utifrån Skolinspektionens tillsyn påbörjat utvecklingsarbete.
Till exempel:
”Efter svidande kritik från Skolinspektionen satsade politikerna i Göteborg förra våren extra på skolan. Elva grundskolor fick dela på 29,2 miljoner kronor, pengar som öronmärktes för att lyfta betygen på skolor där eleverna halkar efter.” (GP)
” Jensen gymnasium i Linköping har nu ett skolbibliotek som uppfyller skollagens krav. Det meddelar Skolinspektionen som därmed avslutar sin tillsyn av skolan.” (Corren)
” Skolinspektionen har kritiserat att barn med särskilda behov inte alltid har fått rätt hjälp. Hur hanterar ni det?
– Vi har ökat anslaget för särskilt stöd 2,5 miljoner kronor. Det är ett tilläggsbelopp som skolorna kan ansöka om för att ge extra stöd till behövande elever. Men alla typer av behov ingår inte. Adhd och dyslexi är exempel på sådant som man ska kunna hantera i den vanliga verksamheten. Omkring 20 procent av skolpengen används för särskilt stöd på det sättet. (Sydsvenskan)
Det är klart att dessa uppföljningar i sig inte har något bevisvärde vad gäller effekterna av Skolinspektionens tillsyn. Men de går inte heller att helt och hållet bortförklara.
Den kritik som författarna refererar till gäller tillsyn som instrument för skolutveckling. Här handlar det återigen om ett missförstånd. Tillsynen är i första hand inte ett verktyg för skolutveckling utan statens verktyg för att tillförsäkra elevens rätt till en fullgod utbildning. Skolutveckling är ett ansvar för i första hand huvudmännen och på den statliga nivån för Skolverket. Vi ska inte förneka att tillsynen också har utvecklingsimplikationer men elevperspektivet och rättighetsperspektivet är nog så viktiga utgångspunkter.
Men just det perspektivet verkar inte vara särskilt närvarande hos författarna. Det enda alternativ till tillsynen som de diskuterar uttrycks i slutet av artikeln:
”Illusionen av kontroll genom jämförelse och mätningar leder således ofta till att man ägnar sig åt funktionell dumhet, istället för att i varje skola, tillsammans mellan chefer och lärare, avgöra vad som faktiskt är viktigt för elevernas utveckling.”
Man kan fråga sig var delaktighet och elevens röst tog vägen i denna lösning. Chefer och lärare avgör vad som är viktigt. Självklart är professionalismen i skolan av avgörande betydelse. Men en professionalism som inte tar hänsyn till elevernas olika förutsättningar kan inte heller ge alla elever möjligheter att utvecklas till sin fulla potential. Skolenkäten, som författarna är så kritiska till, ger trots allt elevens röst ett inflytande som förtjänar erkännande.
Till sist. Ingen skulle vara gladare än Skolinspektionen om forskningen initierade effektstudier av vad tillsynen bidrar med. Sådan forskning måste dock utgå från det uppdrag och den praktik Skolinspektionen har och inte bygga på missuppfattningar om myndighetens uppgift och sätt att arbeta
Robin Lapidus
Kommunikationschef
Skolinspektionen
Tack för kommentaren Robin, den var väntad 🙂
Artikeln är en avgränsad diskussionsartikel utifrån styrning och dess effekter som bör diskuteras och undersökas mer än vad som sker idag (gäller inte bara skolan). Verkligheten är också betydligt mer svårfångad än vad vi kan göra rättvisa åt i en debattartikel där syftet är att få igång en viss diskussion (din kritik är således berättigad och väntad!). Frågor som måste undersökas och diskuteras i högre grad, än vad som sker idag, är frågor som; när är styrning och kontroll dysfunktionell respektive funktionell i förhållande till effektivitet? Hur bör styrning i komplexa organisationer (t ex skola och sjukvård) ske, i förhållande till komplicerade (t ex flyget)? Frågorna är av ontologisk och epistemologisk art såväl som konkret.
Skolinspektionen gör i hög grad också ett bra funktionellt jobb. Definitivt! Och ska försvaras också!
Samtidigt finns det avvigsidor som många rektorer i Rektorsprogrammet också berättar om. En del handlar om yta och gradiositet, vilket är ord som Mats Alvesson, professor i Lund använder för att beskriva delar av styrningens innehåll i offentlig sektor (baserad på “practice based research”). Mats tillsammans med André Spicer har skrivit en internationellt uppmärksammad artikel; “A Stupidity-Based Theory of Organizations” där de lyfter fram begreppet “Functional stupidity” (funktionell dumhet) som ett sätt att se på styrning som funktionell sådan som övergår till att vara dysfunktionell. Dessa begrepp kan utgöra ett relativt nytt underlag för en fortsatt diskussion och forskning om styrning av offentlig sektor och därmed skolan där skolinspektionen bara är en del. Skolinspektionen är en viktig aktör och bra fungerande sådan genom inspektioner och påpekande när det fungerar dåligt, ska framhållas.
Vänligen
Sören
Tack Robin för din kommentar. Sören har redan givit dig ett svar utifrån sitt forskarperspektiv. Vi önskar få författa ett svar mer utifrån praktiken. Och ja, vi upplever att svensk skola har letts in på en väg som avsiktligt eller oavsiktligt genererar effekter som inte är önskade eller efterfrågade. Att förklara den nedförslöpa svensk skola befinner sig i är en frågeställning som kräver att alla stenar måste få lyftas upp och vara del av diskussionen om framtidens skola. Skolinspektionen är en sten vi vill få lyfta upp och belysa. Vad bidrar ni med? Vilka är de effekter ert arbete skapar?
Att du i din kommentar kritiserar den i artikeln redovisade empirin är en ytterst väntad kommentar. Vi är fullt medvetna om att redovisad empiri är enkel i sin omfattning. Man ska dock ha i åtanke att detta är en artikel med syfte att vara ett inlägg i en debatt vi anser saknar åtminstone det perspektiv vi valt att presentera och förhålla oss till utifrån våra kunskaper och erfarenheter. Någon i kommentarfältet uttryckte det som om ni flyger under radarn. Vilka är sedan de krav man kan ställa på empiriskt underlag för att rättfärdiga sina argument? I vilket sammanhang ska det presenteras? Vi anser nog att vi rättfärdigar våra argument i tillräcklig utsträckning för att få delta i debatten. Dessutom i tillräcklig utsträckning för att få lyfta upp Skolinspektionen på diskussionsbordet. Vår enkla granskning var nog för att finna ett flertal frågeställningar.
I ett led att ändra skolans resultat har ansvariga politiker genomfört en mängd olika reformer, den ena större än den andra. Omläggning av gymnasieskolan, nya läroplaner, nya betygsystem, legitimationer osv. Vidare så efterfrågas meritvärde, resultat på nationella prov, måluppfyllelsen och annan hårdvara. PISA. TIMSS. Diskussioner om under vilka förutsättningar svensk skola bedrivs upplever vi sällan får närvara i debatten. Hårdvara är det som är mest intressant. Från skolledarhåll upplever vi att den styrning och ledning som skolan utsätts för, och som tar intryck från företagshållet, även ska göras medansvarig till skolans nuvarande lägesplacering och därför värdefullt att diskutera. Det som efterfrågas av en Skolinspektion faller väl in i denna fåra som dessutom bidrar med tveksamma slutsatser. Denna form av styrnings effekter är därför angeläget att det får diskuteras. Vart någonstans lyfts betydelsen av det pedagogiska ledarskapet fram? Effekterna av dagens styrning från ansvariga, både nationellt och lokalt, generar effekter där detta ansvar måst åsidosättas som därmed tvingas längre och längre ner på önskelistan. En önskelista där man som skolledare ständigt vill placera det pedagogiska ansvaret överst.
Istället för skapandet av funktionella dumheter som inte bidrar till utveckling måste skolan få syssla med det den gör bäst och det är att ha fokus på det som sker i klassrummet och utveckla denna verksamhet. Vi vill kunna få lägga vårt fulla fokus på våra elevers utbildning, dess förutsättningar och effekter och inte mer tid på av andra skapade dysfunktionaliteter.
Eftersom att du efterfrågar vad vi anser att man bör göra, även om det inte var syftet med artikeln så skulle det nog vara ett arbete som resulterar i en gemensam vision och färdplan för framtidens skola som inte enbart bygger på en politisk vision eller på hur många svar Skolinspektionen har lagrat i sin databas.
Vi är övertygade om att de aktörer som idag arbetar med skolfrågor, allt från de enskilda skolorna till Skolinspektionen, inkluderat våra folkvalda faktiskt både vill och brinner för att skapa en bra skola för barn och ungdomar. Kan vi inte tillsammans hitta nya vägar för att skapa en bra skola? Vi har båda upplevt den stress, press och prestationsångest som genomsyrar skolorna där vi och våra kollegor arbetar, nu har vi mätt både på ledden och bredden, höjden och djupet. Det verkar bara bli sämre och sämre (detta baserat på enkätundersökningar, PISA, osv…) Kan det vara så att det faktiskt inte blir bättre av att mäta och sätta upp kvalitetsmål på det sätt vi gjort? Kanske är kejsaren rentutav naken?
Klippt ur en av Skolinspektionens granskningsrapporter från slutet av 2013:
“Eleverna uttrycker att man kan jobba hårdare för att få högre betyg, men elever som inte lyckas med uppgifterna upplever ett växande berg av arbetsuppgifter.”
“Eleverna uppger att de ‘får höra om kursplanerna varje vecka’ men en elev säger också ‘jag förstår inte vad det innebär för jag tycker inte det är intressant’.”
“Det finns avsatt lärartid i schemat men det är enligt rektorn svårt för eleverna att ta till sig den strukturen.”
Med bas i bl a detta utvecklas resonemang som närmast är klippta från Skolinspektionens skrift “Rätten till kunskap”, skriven tre år tidigare.
Det publicerade beslutet listar utvecklingsområden som blir därefter:
“- Eleverna behöver ges inflytande över undervisningen och undervisningen behöver anpassas efter deras behov och förutsättningar.
– Kunskapsinnehållet behöver ges ett meningsfullt sammanhang som konkretiserar lärandet.”
– Elever i behov av särskilt stöd behöver ges åtgärder som är anpassade så att eleven ges goda förutsättningar att slutföra utbildningen.”
Men vad är det här?! Om mina revisorer hade kommit hem från en verksamhetsgranskning och skrivit liknande substanslösa redovisningar, då hade jag 1) gått i omloppsbana och 2) skickat dem på vidareutbildning.
Utbildning är en process och kan/ska styras, mätas, granskas och utvecklas som vilken annan process som helst. Att t ex likställa elevers rätt till inflytande med att de ska ges möjlighet till påverkan på processens definition, stabilitet och resultat – det är ett tankefel som bara kan leda till ett resultat: Processinstabilitet och därmed slumpvisa utfall.
Och såhär utifrån skolvärlden är det precis det jag ser: Skolinspektionen “mäter”, men jobbar inte med kravställare och utförare för att sluta kvalitetsloopen och stabilisera processen. Skolinspektionen drar iväg på ett helt eget och tandlöst korståg, utan några som helst möjligheter att bidra till en utveckling av processen.
Efter Robin Lapidus inlägg ändrar sig författarna från ” Illusionen av kontroll genom jämförelse och mätningar leder således ofta till att man ägnar sig åt funktionell dumhet, istället för att i varje skola, tillsammans mellan chefer och lärare, avgöra vad som faktiskt är viktigt för elevernas utveckling” till ” Skolinspektionen gör i hög grad också ett bra funktionellt jobb. Definitivt! Och ska försvaras också”! Vad är det som gäller? Inläggen ger föga förtroende.
Vad som heller inte vittnar om insikt är författarnas referens till Kahneman med anledning av Ekholms och Lindholms studie av 187 skolor. Det verkar populärt bland skolforskare att referera till Nobelpristagare för att motivera den egna forskningen. För något år sedan läste jag Kahneman efter att en professor i pedagogik just refererade till honom. Det visade sig att professorn helt hade missuppfattat Kahnemans bok och att vederbörande inte besatt de mest fundamentala kunskaperna i matematisk statistik – det krävs för att förstå Kahneman. Vad Kahneman säger är att beteendevetare, samhällsvetare och ekonomer alltför mycket förlitar sig på små stickprov i sina studier och därmed öppnar för att slumpen eller tillfälligheter förvrider resultatet. Författarna skriver ” Daniel Kahneman (Nobelpristagare i ekonomisk psykologi) visar i Tänka, Snabbt Och Långsamt (2012) på att vad som faktiskt leder till förbättring och utveckling i organisationer beror i hög grad på tillfälligheter. Om vi följer denna evidens kan i de fall där förbättringar skett efter SI:s besök likaväl vara en effekt av andra händelser och tillfälligheter i verksamheten, vilka bara råkar sammanfalla med SI:s rapport”. Om detta stämmer borde väl i logikens namn även de fall där kunskaperna försämrades nämnas som möjliga tillfälligheter. Ska vi följa Kahnemans tankar bör vi, istället för att avfärda med tillfälligheter, fråga oss om stickprovet 187 skolor är stort nog för att utesluta slumpen. Ekholm och Lindholm tycker tydligen det.
Skolinspektionen identifierar problem i skolor över hela landet. Om detta leder till kunskapsförbättringar avgörs ytterst av skolledares och lärares kompetens. Med tanke på att sen 1988 i princip vem som helst kan bli skolledare och att man tillåts undervisa i ämnen man inte har utbildning i är det inte förvånande om skolinspektionens upptäckter inte alltid leder till ökade kunskaper. Ekholm och Lindholm är, precis som författarna, starkt kritiska till skolinspektionen. De anser att skolinspektionen kan avvecklas eftersom skolledare, skolpersonal och politiker kan sköta skolinspektionens arbete bättre. Vi får hoppas att även den nya regeringen förstår skolans problem och behåller skolinspektionen.
Apropå Kahneman och nobelpristagare i ekonomi. Det kanske ligger något i vad en Chalmersprofessor i matematik sa i TV i går. Att nobelpriset i ekonomi tenderar att gå till statistiker som försöka tillämpa denna med samma exakthet som en fysiker. Detta menade Chalmersprofessorn gör att andra samhällsteorier, som också har mycket att tillföra, inte uppmärksammas. För hur det nu är så är det en skillnad på studeobjektet inom ekonomi och fysik och om man utgår från samma metod så tenderar denna skillnad att försvinna.
Stickprov förutsätter en population utifrån vilket stickprovet dras. Populationen ändras över tid på olika sätt, förutom via födslar och dödslar även via migration. Och via kommunikation, t.ex. via IKT, är populationens referensramar ständigt i rörelse.
Ett av huvudproblemet i ekonomi är att ekonomer har svårt att definiera vad pengar är och hur de skapas. Om jag går till en bank och ber att få låna en miljon kronor för att bygga ut en villa kan jag förledas att tro att banken har dessa pengar. Men har banken det? Var finns pengarna innan jag går till banken? Eftersom ekonomer svarar lite olika på denna fråga men samtidigt försöker använda samma exakta matematiska statistik som en fysiker så är det frågan vad denna ekonomiskt matematiska statistik kan förklara.
Har jag nu sagt att samhällsvetare inte behöver kunna matematik? Nej. Det jag menar är att kunskap om människa och samhälle kan utvecklas på olika sätt och med olika forskningsmetoder.
Visst är kontroll bra, men vad ska Skolinspektionen kontrollera? Vilka är målen? Här finns det en skillnad mellan syfte, centralt innehåll och betygskriterier, men eftersom det är betygen som räknas utgår jag från ett exempel från samhällskunskap.
För betyget A i Samhällskunskap årskurs 9 anger Skolverket följande kriterier:
“Eleven har mycket goda kunskaper om olika samhällsstrukturer. Eleven visar det genom att undersöka hur sociala, mediala, rättsliga, ekonomiska och poltiska strukturer i samhället är uppbyggda och fungerar och beskriver då komplexa samband inom och mellan olika samhällsstrukturer. I beskrivningarna kan eleven använda begrepp och modeller på att väl fungerande sätt. Eleven kan föra välutvecklade och nyanserade resonemang om hur individer och samhällen påverkas av och påverkar varandra och beskriver då komplexa samband mellan olika faktorer som har betydelse för individers möjligheter att påverka sin egen och andras livssituation.
Eleven kan undersöka samhällsfrågor ur olika perspektiv och beskriver då komplexa samband med välutvecklade och väl underbyggda resonemang. Eleven värderar och uttrycker olika ståndpunkter i några samhällsfrågor med välutvecklade resonemang och väl underbyggda argument och kan då i stor utsträckning växla mellan olika perspektiv. Eleven redogör för de mänskliga rättigheternas innebörd och betydelse och ger exempel på hur de kränks och främjas i olika delar av världen. dessutom kan eleven redogöra för de nationella minoriteterna och deras särställning och rättigheter.
Eleven har mycket goda kunskaper om demokratiska värden och processer och visar det genom att föra välutvecklade och nyanserade resonemang om demokratiska rättigheter och skyldigheter samt om för- och nackdelar med olika former av gemensamt beslutsfattande. Eleven kan söka information om samhället och använder då olika källor på ett väl fungerande sätt och för välutvecklade och väl underbyggda resonemang om informationens och källornas trovärdighet och relevans.”
Hur undersöker Skolinspektionen att elever i samhällskunskap i årskurs 9 har nått ovanstående mål A?
Eller vilka problem kring elevers måluppfyllse är det som Skolinspektionen förväntas identifiera?
Jag är här lika frågande här som inför en ekonomivetenskap som har svårt att få en gemensam definition kring av vad pengar är och hur pengar skapas. I skolan tolkar jag att ett potentiellt problem är på vilket sätt en samsyn kan utvecklas vad gäller betygskriterier och mätning av elevers kunskaper.Och vilken funktion som Skolinspektionen förväntas ha i detta.
Kahneman får anses nått en vidare publik och igenkänning än t ex komplexitetsvetenskaperna som jag delvis representerar tillsammans med processer för sensemaking. Så fastna inte på Kahneman. Han är bara ett exempel på en som tar på allvar och funderar kring vilken karaktär som åtminstone delar av vår vardag har. Är livet i dess detaljer och på längre sikt förutsägbart eller inte?
Vår enkla poäng, är att vid styrning måste vi nogsamt beakta den karaktär som det som ska styras har. Mätas det som mätas kan och som inte stör skickligt handlande.
Det som går att förutsäga, med åtminstone en viss säkerhet, är möjligt att planera och mäta. Det som är komlicerat går att förutsäga med tillräcklig expertis. Komplexa fenomen kan bara till viss del planeras och förutsägas. Vilken typ av fenomen är skolan som organisation? Beroende på svar använder vi olika sätt att styra. Alltså, det komlicerade kan och ska styras på dess villkor, komplexitet kräver sitt. Komplexitetsvetenskaperna bidrar med ett sätt att se som har utmanat och fortfarande utmanar den överdrivna tron på att livet är planerbart i detalj och på längre sikt.
Sören Augustinsson, jag håller med. Dessutom påverkar mätning av vår verklighet delar av denna verklighet, t.ex. kan människor taktikrösta om de vet om de aktuella opinionssiffrorna före valet. Och då uppstår ett antal frågor: Ska vi ha kvar nuvarande modell med tydliga mål som ska mätas, s.k. mål-resultatstyrning, eller ska vi ha en annan modell – om det sistnämnda, i så fall vilken?
Och om vi har kvar mål- och resultatstyrning. Hur ska avvägningen ske mellan viktiga mål och mätbara mål? Vilka ska avgöra detta?
Funktionell dumhet?
1. PISA-fallet bekymrar!
Högst allvarligt är att så många 15-åringar varje vår visar sig må dåligt på grund av den skoltid de genomgått; deras under årens gång tappade ambitioner och de senare icke-godkända betygen. Hur klarar dessa unga att leva vidare med det som så länge påverkat deras liv? Och hur ska vårt samhälle klara av att ta konsekvenserna som följer av dessa resultat, år efter år…
PISA borde i framtiden kunna betraktas som något att se fram emot, för att vårt skolsystem då faktiskt ger de unga det de behöver! Hur vi når då dit? är frågan. Knappast med hjälp av enbart felsökning i alla fall!
2. Mål- och kontrollsystemet bekymrar!
Det bekymrar mig att Skolinspektionens folk accepterar sin roll trots dess fokus på ”funktionell dumhet”. Att de inte opponerar, försöker få politikerna att se vad dessas icke-professionella 90-talsbeslut på djupet inneburit?
Målstyrningens innersta mål och kärna finns i Skollagens 1 kap 4 §. I decennier har detta mål beskrivits som portalparagraf. Kunskap och värden står paragrafen för idag. Målet innebär att skolan och läraren ska:
• ge eleven livslång lust att lära
• ge eleven/klassen erfarenhet av demokratiska värderingar
• se till att uppväga skillnader i elevernas förutsättningar för lärande
• stimulera alla att vara aktiva, kreativa, kompetenta och ansvarskännande…
Så ser elevens rätt ut. Ett fokus på detta ska tillsammans med ämneskunskaper ge fullgod utbildning. Både tidigt under skolåren och vid 15 års ålder ska var och en av eleverna känna av och veta att de fått av skolan det de hade rätt till – och för sitt vidare liv har glädje av.
Men kritik och felsökning i sammanhanget är absolut slöseri med resurser, både mänskliga och ekonomiska. Det vi i samspel borde söka efter är vetenskapens svar! Och så stödja det, dvs växla resurserna till stimulans för skolutveckling i stället.
3. Att uppdraget om dokumentation i kommunerna inte fullföljdes bekymrar!
Mycket har det bekymrat mig att kommunerna i sina Skolplaner inte sett möjligheten att efterlysa och föra in sina skolors utvecklingssatsningar där. Årligen skulle då beslutsfattare/politiker fått vetskap om resultaten; lyckade projekt lika väl som problem. De behov av stöd eller förändring deras skolor förde fram kunde då lyftas till kommunnivå, diskuteras där och tillgodoses på lämpliga sätt. Sådan kunskap om skolan är troligen av godo för samtliga berörda. Dessa tankar, jämte varje skolas egenansvar för utveckling, självskattning och utvärdering var under åren 89/91 min hemkommuns arbetsidé.
I en vidareutveckling kunde Skolverket fått i uppdrag att följa upp också de kvalitativa resultaten i kommunerna – och därmed komplettera den kvantitativa uppföljning som blev nationellt allenarådande från 90-talets början. Utveckling i kommunalt ansvar alltså – men uppföljning med viss kunskapsspridning på nationell nivå?
4. Försenad tolkning av aktuell forskning bekymrar!
Bekymmersamt är att forskningens viktigaste framgångsfaktorer inte ännu ställts i fokus; den forskning som visar hur såväl kunskaper som värden uppnås. Särskilt John Hattie har (2009) lagt fram resultat – från c:a 800 utforskade exempel – vilka samlats in, kanske redan på 80-talet (liksom min erfarenhet, visad tidigare här i SOS).
Rutiner för självskattning, formativ återkoppling och studiero har via Hattie visat sig vara premisser för framgång; Tydlighet när det gäller mål likaså, samt demokratiska arbetsformer i generös miljö, likvärdigt gällande alla.
Slutsatser:
• Det var synd att kvalitativ erfarenhet inte kunde fångas upp i Skolverkets tidiga uppföljningssystem. Hade beprövad erfarenhet granskats och fått spridning under 90-talet redan, hade som jag ser saken, något PISA-fall idag knappast varit aktuellt. Tidig funktionell dumhet? Jo, men för de flesta osynlig – då.
• Väsentligt är det, enligt min mening, att nytänkare tillåts ta sig mod – att åtminstone ibland – försöka påverka ”uppåt”. Inte alltid kommer höga vederbörande att bry sig om att lyssna. Stundom kommer ändå vissa utvecklingsidéer ikapp verkligheten.
Pär
Kahneman är inte matematiker utan psykolog. Han integrerar matematisk statistik i beteendevetenskap. Han har bl.a. visat på slumpens inverkan när börsmäklare förutspår aktiers utveckling.
De som fått Nobelpris för matematiska modeller för ekonomiska system är oftast rena matematiker och där har antagligen Chalmersprofessorn en poäng.
Den matematik Kahneman använder i sina beteendevetenskapliga studier är av mycket grundläggande karaktär. Det är därför oroande att bl.a. skolforskare antingen inte använder matematiken eller att de inte har kunskaperna.
Jag har i flera inlägg på en annan blogg försökt förklara för en pedagogikprofessor, som ståtar med ett mycket stort antal vetenskapliga artiklar, att man som mått på en bra skola inte kan använda kriteriet att alla elever nått målen utan att ta hänsyn till skolans storlek. När jag läste Kahneman förstod jag att professorn inte var ensam i sitt skrå när det gäller att förstå slumpens inverkan.
Kahneman beskriver i sin bok (sid.134) ett storslaget forskningsprojekt i staten Pennsylvania – man satsade i storleksordningen 10 miljarder kronor. I studien definierades kriterier för en bra skola och frekvensen för förekomsten av dessa mättes. Man fann att små skolor förekom bland de 50 bästa fyra gånger mer än väntat. Det föranledde USA:s utbildningsdepartiment att lansera ett program för att främja små skolenheter. Istället för att tänka statistiskt gick man på ”intuitiv känsla” av att det är naturligt att små skolor kan ta hand om varje elev på ett bättre sätt än de stora skolorna. En motsvarande studie för dåliga skolor visade att även i den studien var de små skolorna överrepresenterade – då började man tänka! Skälet till resultaten var helt enkelt att den statistiska variansen är större för de små skolorna och därför inträffar extremfallen oftare i dessa än för de stora skolorna.
För att förklara matematiken kan mitt tidigare exempel stå som ett varnande exempel på definitionen för en bra skola – den där alla elever når målen. Antag att två skolor är lika bra, den ena (A) med 300 elever och den andra (B) med 30 elever. Antag vidare att om ett stort antal elever går dessa skolor kommer 98% av eleverna att nå målen i genomsnitt. Då blir sannolikheten för ett visst läsår att alla elever når målen i skola A P(A) = 0,98^300 = 0,23 % och i skola B P(B) = 0,98^30 = 55 %. Det innebär att om vi noterar de skolor där alla når målen är det mycket sannolikt att B kommer med men mycket osannolikt att A kommer med, trots att skolorna är lika bra.
Jag avslutar med ett citat ur Kahneman i anslutning till ovanstående exempel:
”Den överdrivna tilltron till små urval är bara ett exempel på en mycket vidare illusion – vi ägnar mer uppmärksamhet åt budskapens innehåll än deras tillförlitlighet. Följden blir att vi upplever världen runt omkring oss som enklare och mer sammanhängande än den i själva verket är. Att dra förhastade slutsatser är tryggare i fantasin än i verkligheten”.
Hans-Gunnar!
Du har kvar problemet med att definiera vad att nå målen innebär. Att endast gå efter betyg är en andrahandsinformation som visserligen har en sociologisk betydelse men knappast en pedagogisk om vi utgår från dagens kursmål i t.ex. samhällskunskap, historia etc. Centralt rättade nationella prov kan vara en lösning på detta mätproblem, men även där återfinns kommunikationsproblem mellan rättaren, läraren och eleven.
John Hatties studie berör måluppfyllelse, dvs. vad som kan förklara variationer i måluppfyllelse, men vad måluppfyllelsen innebär i form av kunskaper definierar inte Hattie, vilket gör hans studie lite märklig. Eller har ämnet och vilka mål som inryms i ämnet ingen betydelse?
Att få kunskaper om undervisningsprocesser menar jag också kan ske genom t.ex. videofilmning eller observation. En videofilmning kan t.ex. få läraren att reflektera över sin egen undervisning och om vi ska tro Hattie är detta en bra strategi, t.ex. i en lärarutbildning.
Men huvudproblemet menar jag är att kraven inom socialt arbete, utbildningsvetenskap, terapi etc. är s.k. evidensbaserad forskning. Den ursprungliga definitionen av evidensbaserad forskning är hämtad från medicin med slumpmässigt oberoende urval från en population och en kontroll- och referensgrupp. Medicinen som provas ut kan påverka försöksperson men försökspersonen kan inte påverka sammansättningen i medicinen. Inom socialvetenskaperna sker det någon form av ömsesidig påverkan mellan t.ex. en lärare och en elevgrupp.
Inom sociologin pratar vi om att förstå samhället, att förklara samhället och att förändra samhället. Beroende på vilken målsättning sociologen har med sin studie kan hen anpassa frågeställning och metod.
Hans-Gunnar!
En annan indelning än små och stora urval är s.k. strategiska urval och slumpmässiga urval – båda urvalstyperna syfter till att generera generaliseringar av något slag (analytiska generaliseringar, empiriska generaliseringar etc.)
Jag vill minnas att du själv här på Skola och samhälle har referat till en studie som i sin design bl.a. har använt ett strategiskt urval. Om jag har fel ber jag om ursäkt, men i alla fall var det någon av de som kommenterade på denna blogg som hänvisade till en studie som jämförde amerikanska och kinesiska lärare. Valet av USA och Kina är ett strategiskt urval och finns säkert motiverat i nämnda studie.
Men åter igen, detta betyder inte att jag kritiserar slumpmässiga urval. Det betyder endast att urvalsproblematiken behöver ses utifrån vad forskare faktiskt gör och vilket studieobjekt det handlar om. Vissa studieobjekt sker endast en gång, t.ex. andra världskriget, andra studieobjekt sker flera gånger, t.ex. krig.
Vissa studieobjekt berör många människor, ett antal miljoner, andra studieobjekt sker enstaka gånger och berör ett mindre antal människor. Ta till exempel det som har benämnts som Göteborgskravallerna. Denna händelse har studerats av forskare ifrån olika perspektiv, t.ex. för att förbättra polisens sätt att förebygga våldsamma upplopp. För att det sistnämnda ska kunna generaliseras på något sätt behövs en jämförelsepunkt, t.ex. mellan ett toppmöte i Göteborg 2001 och ett dito i Köpenhamn några år senare.
En stor studie pågår just nu inom statsvetenskap – där undersöks demokratiutvecklingen i ca. 150 stater från 1900 till 2010. Några tusen forskare från ett antal univsersitet världen över är involverade. Utgångspunkten är statsvetenskaplig teori om demokrati som i sin tur leder in på fem temaområden som undersöks. Det empiriska materialet består av statistiska uppgifter (knappat 50%) och av en rad olika kvalitativt genererad empiri, t.ex. policydokument, intervjuer (det sistnämnda berör senare delen av den period som studeras) etc.
Ovannämnda studie bygger således på en mängd olika insamlings- och analysmetoder och det vore synd om dylika forskning helt skulle överges till förmån för endast renodlade statistiska forskningsdesign.
I ett välbärgat område som Torslanda i Göteborg och i en skola där de flesta når målen röstade 25% av eleverna på Sverigedemokraterna i årets skolval. Utbildning av människor är inte detsamma som tillverkning av bilar
Pär
Mitt inlägg om Kahneman och stickprov syftade inte till något annat än att visa på vad följderna kan bli om man inte inkluderar matematisk statistik i sina studier. Bland skolforskare väger ofta ideologi och politik tyngre än tillförlitlighet i resultaten.
Frågan om hur man mäter elevernas måluppfyllelse är naturligtvis komplicerad, framförallt om värdegrundsmålen ska bedömas. När det gäller ämneskunskaper ser jag inga problem med att mäta uppfyllelsen av de målen, i alla händelser inte om det gäller matematik och naturvetenskap. Du beskriver svårigheter med att tolka målen i samhällskunskap – det betvivlar jag inte. Vi har det betydligt lättare i matematik och naturvetenskap eftersom merparten av det grundläggande innehållet har stått sig i flera hundra år.
Du skriver ” I ett välbärgat område som Torslanda i Göteborg och i en skola där de flesta når målen röstade 25% av eleverna på Sverigedemokraterna i årets skolval. Utbildning av människor är inte detsamma som tillverkning av bilar”. Det är ett problem att elever som når målen i ämnena inte gör detsamma när det gäller värdegrunden. Eftersom dessa elever tydligen varit kommunicerbara har uppenbarligen skolan inte gjort sitt, men det faller även ett tungt ansvar på föräldrarna. Vi har ett uppenbart värdegrundsproblem i klassrummen. Där visas varken hänsyn eller respekt för kamrater och lärare. I den svenska skolan accepteras svordomar och tillmälen till såväl kamrater som lärare, där störs undervisningen så att kamrater hindras i sitt lärande, där följer man inga regler när det gäller lektionstider och närvaro etc. Skolledare och lärare har anpassat sig till detta som ett normaltillstånd och det bekräftas i både TIMSS och PISA. En tid tillbaka vikarierade jag vid en gymnasieskola. På lite distans lyssnade jag till några lärares diskussion i lärarrummet. Duktiga och studiemotiverade elever hade klagat på att vissa elever i en stökig klass störde undervisningen så mycket att man inte kunde koncentrera sig. Lärarnas slutsats var att de klagande eleverna uppvisade intolerans mot sin kamrater. Vilken värdegrund ger de lärarna sina elever? Jag tror inte att nuvarande regering tänker vidta några åtgärder för att förändra detta.
Det stämmer att Karl Asp, du och jag hade en givande diskussion kring Karls krönika om ”arbetardöttrar”. Jag kommenterade Liping Ma:s jämförelse mellan Amerikanska och Kinesiska lärares ämneskunskaper. Jag vill nog kalla det för ett stratifierat slumpmässigt urval eftersom jag utgår från att urvalet var slumpmässigt inom respektive lands lärare inom en viss ålderskategori. Problemet med t.ex. Hatties metastudie är att lärares ämneskunskaper mäts med akademiska betyg från olika länder med vitt skilda krav. Liping Ma mätte verkligen lärarnas ämneskunskaper. Det visade sig att de Amerikanska lärarna hade överlägsna akademiska meriter, men de Kinesiska lärarna hade överlägsna relevanta matematiska kunskaper. Skulle motsvarande jämförelse göras mellan Svenska och Finska lärare skulle man antagligen jämställa lärarnas akademiska meriter eftersom utbildningstiden inte skiljer så mycket, något längre i Finland. Däremot är jag övertygad om att de finska lärarna skulle visa sig ha överlägset bättre relevanta matematikkunskaper.
Så här snart två veckor efter det att vi publicerade vår debattartikel kan jag bara konstatera, och tacka för, alla inlägg som visar på hur svårt styrning är och att det är en mängd olika aspekter som måste tas hänsyn till. Det bådar gott inför framtiden, viktigt att det inte blir antingen eller. Att låta olika perspektiv komma till tals är en viktig del på t ex Rektorsprogrammet Linné där jag är kursansvarig för Skolledarskap.
Vi får inte ställa mätning mot icke-mätning, djupa ämneskunskaper mot didaktik, tvärtom i en komplex verksamhet måste dessa och andra olika delar gå hand i hand. Debatten/dialogen visar också på att skolan är en mång- och tvetydig verksamhet där det aldrig kommer att finnas några enkla lösningar. Därför behöver vi vandra från olika discipliner och perspektiv. Vardagens komplexitet måste dock alltid vara utgångspunkten, hävdar jag. Som Wittgenstein skrev “Det förslår inte att förklara en regel med en annan regel, utan en regel behöver förklaras med sin praxis” (Augustinsson & Brynolf 2012, Rektors ledarskap. Komplexitet och förändring).
Sköt om er alla debattörer, ni behövs!
Vänligen
Sören Augustinsson