Skola och SamhälleÄr du mätbar nog, lilla vän? Mätbarhetskultur, ICCS 2009 och ungdomars medborgar-kompetens
De internationella studierna PIRLS, PISA OCH TIMMS har fått stort genomslag i skoldebatten och det förs en diskussion om vilka effekter dessa undersökningar har. Men det finns även en mindre känd studie, ICCS 2009 (International Civic and Citizenship Education Study), som har mätt 14-åringars medborgerliga kompetens i 38 länder. Maria Olson, Silvia Edling, Johan Liljestrand och Erik Andersson har studerat vad ICCS mäter och diskuterar tänkbara konsekvenser för skolans medborgardanande uppgift. (red)
Mätbarhetskulturens genomslag inom skolan har oftast uppmärksammats i samband med internationella studier som PIRLS, PISA och TIMSS. Dessa studier har tillmätts stor betydelse för skolans inriktning. Mindre har dock sagts om den kvantitativa studien ICCS 2009 (International Civic and Citizenship Education Study) som i 38 länder, bland annat Sverige, har mätt 14-åringars medborgerliga kompetens. Men vad är det som egentligen har mätts och vilka tänkbara konsekvenser kan en övertro på denna typ av mätning ha för skolans medborgardanande uppgift?
I Sverige har ICCS 2009 uppmärksammats genom fyra skolverksrapporter: Morgondagens medborgare (2010), Skolor som politiska arenor (2010), Skolan och medborgarskapandet (2011) och Medborgarkunskaper i sikte (2012). Ett problem kopplat till ICCS är naturligtvis att demokratiska frågor inte får tillräckligt med utrymme i debatten om skolans innehåll. Rapporten passerar därför lätt förbi den mediala uppmärksamheten. Men rapporten har också en likhet med de rapporter som brukar uppmärksammas: mätbarhet tenderar ofta idag att tolkas som sannare och mer generaliserbar än kvalitativ forskning vilket osynliggör urval och ideologi. Varje internationell kvantitativ studie bygger dock på val vars metoder också medför specifika sätt att se på världen och det som ska studeras. ICCS är inget undantag. Vilka sätt att se på medborgarkompetens skapas och återskapas då i ICCS?
I liberala samhällen som Sverige har utbildningen traditionellt riktats mot att dana unga till ett medborgarskap med fasta grunder och oföränderliga former av kunskap och vetande, där mångtydighet och kontroversiella frågor ställts i bakgrunden. Inte sällan rymmer dessa samhällen och utbildningssystem universella antaganden om människan och hennes sociala, kommunikativa, etiska och politiska villkor. I och med detta väcks frågor om medborgarskapets tillhörighet, former av deltagande och identitet. I Utbildning & Demokrati 2012 nr 1 sätter vi ICCS i relation till empiriska studier som på olika sätt lyfter fram vad unga människor själva gör. Vi betraktar dem därmed som redan varande och blivande medborgare.
Ungas sätt att resonera, erfara och praktiskt göra sitt medborgarskap skiljer sig på flera sätt från ICCS-enkätens sätt att beskriva unga. Betydelsefulla sidor av deras redan pågående medborgerliga engagemang fångas inte upp i ICCS och faller således undan som möjliga sätt att studera ungas medborgerliga kompetens. ICCS frågor om ungdomars attityder och värden förmedlar ett viktigt budskap om ungdomars möjligheter att främja välbefinnande, men missar samtidigt handlingar av kroppslig karaktär och betydelse för att främja andras välbefinnande. ICCS antar vissa ämnen som viktiga för diskussioner om sociala och politiska frågor. I jämförelse med diskussioner som tar form i klassrummet kan man istället visa att det pågår förhandlingar om diskussionsagendan i klassrummet som avgör hur diskussionen utvecklas i klassrummet. I ICCS tenderar ungas politiska samtal att bli en fråga om i vilken grad de äger kunskap om politiskt institutionella och samhälleliga frågor. Det görs en uppdelning mellan politiska samtal i och utanför skolan och mellan vuxnas och ungas samtal. När unga ägnar sig åt politiska samtal utanför skolan beskrivs aktiviteten som prata och åsikter vilket inte behöver vara fallet eftersom ungas politiska samtal utanför skolan, exempelvis i de sociala medierna, kan ha en helt annan karaktär.
Om inte unga ges plats att vara aktörer redan i skolan riskerar ungas medborgerliga handlingar, här och nu, att glömmas bort som resurs för medborgarskap. De behandlas då framför allt som ännu-icke medborgare i och utanför skolans byggnad. Unga behöver fortfarande vägledning, kunskap och vetande om medborgarskap men vi som lärare och utbildningsforskare behöver ständigt ställa oss frågan om vad medborgardaning är och kan vara med utgångspunkt i de ungas liv. Därmed kan vi inte enbart utgå från förhandsformulerade kompetenser, mot vilka de ungas erfarenheter, tankar och handlingar bara blir ett pedagogiskt avstamp inför ’det riktiga’ medborgardanandet. En överbetoning på mätbarhet, vilket stundtals kan spåras i den utbildningspolitiska retoriken kring demokratifostran och medborgarbildning, lägger tyngdpunkten på utbildning för ett framtida medborgarskap utifrån vissa fasta ideal, formulerade som mätbara kompetenser. Med detta glömmer vi lätt att medborgarskap och medborgardaning också är praktiker som är i konstant rörelse.
Ett problem med internationella mätningar är att de tenderar att få anspråket att täcka in ett helt fält. Det fält som studierna gör anspråk på att ha studerat framstår för många som något objektivt. Vad vi faktiskt kan få kunskap om är hur ungdomar svarar på de frågor som ställs. Utöver detta, empiriska faktum, kan vi dock inte generalisera undersökningen. Om det frågebatteri som presenteras för elever i ICCS ges alltför stor plats i klassrummet, i utbildningspolitiken eller i forskningen kan det leda till ett endimensionellt sätt att se på hur det goda medborgarskapet ska uppnås i utbildningen. Andra alternativa sätt att närma sig, undersöka och arbeta med medborgardaning i skolan riskerar då att försummas.
Våra kvalitativa empiriska studier visar, som vi redan antytt, på ungas pågående medborgerliga aktörskap på ett sätt som studier av ICCS slag inte förmår att fånga in. Exempelvis visar Maria Olsons intervjuer med tonåringar att medborgerligt engagemang inte bara – som i ICCS-studien – är bundet till vissa förutsatt offentliga platser utanför hemmet utan också kan äga rum hemma, där hemmet utgör ett offentligt rum. För en av ungdomarna är exempelvis miljöengagemang och källsortering, vilka anses vara teman som är såväl offentliga och globala, aktiva medborgerliga handlingar. Johan Liljestrand visar hur en 16-årig flicka under en lektion i samhällskunskap lyfter fram tonåringars syn på sexualitet och barnafödande i en diskussion om barnafödande i fattiga länder. Hennes fråga ger upphov till en förhandling med läraren om vad som är värt att diskutera. I ICCS-studien är det snarare en renodling av nationella och internationella frågor som står i fokus när den avser att fånga ungdomars förmåga att diskutera samhällsfrågor. Förhandlingssituationer som när det ”lilla” sammanhanget relateras till det planerade ”stora” sammanhanget belyser att diskussioner i klassrummet rymmer många fler nyanser än vad som inbegrips i en studie av ICCS:s slag. Även Silvia Edlings studie problematiserar de stora föreställningarna om – i det här fallet den etiska medborgaren – i förhållande till människors levda liv. Hon visar genom sin artikel hur ungdomar som anammar värden som förespråkas som viktiga, såsom tolerans och deltagande i politiska eller frivilliga organisationer, ändå kan bidra till förtryckande strukturer genom sättet som värdena förkroppsligas i relationer med andra. Edling lyfter även fram hur vissa handlingar som faktiskt sätter avtryck på andra människors livssituation inte räknas som etiska i ICCS studie. Exempel på förbisedda handlingar är att hålla handen, lyssna på andra och sätta fram foten för att skydda en individ från attack. Erik Andersson visar genom analyser i en ungdomsnätgemenskap att det i det politiskt kontroversiella samtalet öppnas upp för ungdomars politiska frågor och röster. Kommunikationen är inte fri utan ställer snarare krav på att hantera konflikter, att vara påläst och kunna argumentera för sin politiska position och samtidigt lyssna in andra deltagares meningsyttringar – förmågor och kunskaper vilka även skolan ställer krav på, men som skolan enligt tidigare forskning har svårt att hantera när det kommer till politiskt kontroversiella frågor.
Att även rikta blicken mot ungas deltagande i vardagliga sammanhang innanför såväl som utanför skolan kan ge en mer nyanserad beskrivning till vad medborgerlig kompetens kan vara. Då undviker man att ’stänga ner’ medborgerlig kompetens till en fråga om individuella kapaciteter och utvecklingspsykologisk mognad. Om vi enbart betraktar medborgarskapet som något som ska uppnås, finns det få möjligheter att undersöka hur det erfars och levs av ungdomarna själva. Det finns goda skäl att mäta ungas medborgerliga kompetens men poängen är att vi kritiskt ska reflektera över vad dessa mätningar kan ge och inte ge samt vad de åstadkommer på längre sikt. Ungas medborgerliga kompetens kan inte enbart avgränsas till kvantitativa mätningar och tester – det är mer komplex än så, vilket är något som inte får glömmas bort i skolan.
Maria Olson, postdoktor i ämnesdidaktik vid Stockholms universitet och lektor i pedagogik vid Högskolan i Skövde (gästredaktör för temanumret)
Silvia Edling, lektor i didaktik vid Uppsala Universitet
Johan Liljestrand, lektor i pedagogik vid Högskolan i Gävle
Erik Andersson, doktorand i pedagogik vid Örebro universitet och anställd vid Högskolan i Skövde
Artikeln bygger på ett nyligen utkommet temanummer med titeln ’Citizenship Education under Liberal Democracy’ i tidskriften Utbildning & Demokrati (2012), vol 21, nr 1.
22 Comments on “Är du mätbar nog, lilla vän? Mätbarhetskultur, ICCS 2009 och ungdomars medborgar-kompetens”
Lämna ett svar
STÖD SKOLA OCH SAMHÄLLE!
Skola och Samhälle är en ideell förening. Vi som arbetar med S.O.S. gör det helt utan ersättning. Alla bidrag till en fortsatt kritisk debatt om skola och lärarutbildning mottages tacksamt!
Swisha till: 123 589 43 73
Jag vill tacka de pedagoger som står bakom artikeln för intresseväckande perspektiv. Visst kan intervjuer och samtal fånga upp upplevelser som standardiserade frågeformulär inte kan göra. Vad man dock måste ha i åtanke är de begränsningar som vidlåder intervjuer, vilket jag tagit upp i en annan artikel här
http://www.skolaochsamhalle.se/skola/bertil-torestad-mer-vetenskaplig-forskning-om-skolan-behovs/
Spridda anekdotiska utsagor kan visst vara intressanta men frågan är ju hur representativa och vanliga de är. Intervjuar man tillräckligt många ungdomar om deras föreställningar kan man till sist stå där med en hel del närmast avvikande svar. Dessa kan ju vara intressanta i sig.
Frågan är vad man är intresserad av: Att fånga in de upplevelser som kan tänkas uppkomma hos just de intervjuade eller mer generellt se hur ungdomar tänker och tycker i frågan. Det finns också statistiska metoder att studera undergrupper av individer med samma svarsprofiler, vilket ger ökad förståelse åt resultaten.
Hej!
Visst behövs kvalitativa studier men nu har vi en mängd kvantitativa studier. Och jag tycker att
ICCS 2009 är en intressant läsning men hur vi ska tolka den hamnar väl i någon form av ideolgiskt fält.
Rent tabellmässigt saknar jag ett antal länder. Sydkorea är med men inte Nordkorea. Tänk om den medborgerliga kompetens är högre i Nordkorea än iSydkorea, hur skulle vi i så fall tolka detta?
Av de tabeller som finns tycks de svarande i Indonesien ha högst medvelvärde vad gäller förtroende för institutioner. detta är signifikant högre än Sverige, medan elever i Sydkorea har lägst förtroende för institutioner, och detta är då signifikant lägre än Sverige. Elever i Finland har signifikant högre förtroende för institutioner än vad elever i Sverige har.
Vad kan vi dra för slutsatser av denna tabell? Är det bra eller dåligt att ligga i toppen eller botten av tabellen?
Tabellen över självskattad politisk kompetens ligger Indonesien i topp, signifikat högre än i Sverige, medan Finland och Tjeckien ligger i botten på tabellen, signifikant lägre än Sverige.
Om det är bra att ligga i toppen på dessa tabeller så kanske vi ska titta på Indonesien eller domonikanska republiken som också har medaljpats i flera tabeller och inte Finland som brukligt är i andra skolmätningar.’
Men Sverige då, ligger vi inte i topp i något? Deltagande i medborgerliga aktiviteter i skolan borde väl vara en gren som passar Sverige. Men ack nej, vad man bedrog sig. Där ligger Guatemala i topp, på ett signifikat högre värde än Sverige – vi ligger där först på 14:e plats av 36 deltagande länder. Men vi slår i alla fall Finland som ligger på 27:e plats med ett singifikant lägre värde än Sverige.
Diskussionsklimat i klassrummet är också en gren som kunde passa Sverige. Men där ligger Danmark i topp, på ett signifikant högre värde än Sverige. Och där ligger Sydkorea på sista (36:e plats), på ett signifkat lägre värde än Sverige.
Den bästa svenska grenen tycks vara jämställdhet. Där ligger vi på andra plats, knappt slagna av Taiwan.
Nåväl, något är vi alla alla fall bra på enligt statistiken – vad som nu är bra.
Jag tycker att artikeln helt missar att vi har en väldigt tydlig trend mot mer av mätningar och mätbarhet även i samhället. Hela frågan får ett annat perspektiv när vi inser att skolan bara följer efter samhället i den här frågan, det är inte skolan som driver den här utvecklingen. Är det överhuvud taget rimligt att skolan ska omstöpa samhället, är det inte bättre att fokusera på att följa samhället, då får vi i alla fall lite redskap för att hålla det politiska käbblet utanför skolan.
Det har i detta forum framförts uppfattningen, att den forskning som utnyttjar s.k. kvalitativa metoder alltför ofta uppvisar undermåliga resultat i bemärkelsen, att den inte gynnar skolutveckling. En slutsats har då varit, att man borde satsa mer på kvantitativa metoder, eftersom dessa antas kunna ge en mer objektiv och därmed också en sannare bild av verkligheten. Därtill kommer förhållandet, att metoder som mäter faktakunskaper är lättare att använda än de, som mäter kunskaper vilka kan relateras till vissa kunskapsformer som förståelse, färdighet och förtrogenhet. Med siffror kan man ju lättare ge intryck av exakthet, vilket ofta “betraktas som entydiga och robusta avspeglingar av verkligheten…” Alveson & Sköldberg, 1994, s 11).
Med den nya synen på lärandet, handlar det inte längre enbart om en upprepning av inlärda fakta som är lätta att mäta och värdera. Därutöver kan “lärandet förstås i skillnader mellan de olika representationer som en individ designar vid olika tidpunkter” (Selander & Kress, 2010, s 37). Intresset knyts till hur-aspekten snarare än vad-aspekten, när det gäller lärandet där lärandeprocessen framstår som viktigare än det faktarelaterade resultatet. Det handlar med andra ord om ett slags kreativ potential, som är relaterad till förståelse (om att förstå på ett nytt sätt) snarare än till rena minneskunskaper:”Lärande kan därför inte ses som en mekanisk process av tillägnelse, utan bör istället ses om en levande process av prövning, förståelse och behärskning, design, transformationer och nyskapande” (ibid., s 45). Det handlar med andra ord om en variation av meningsskapande aktiviteter i en social kontext.
Den förändrade synen på lärandet ställer självfallet stora krav på nya kriterier, vad gäller mätning och värdering av elevernas utveckling av exempelvis insikter, kunnande, förståelse, kreativitet och meningsskapande. Mot denna bakgrund framstår det inte längre som meningsfullt att hävda betydelsen av fortsatta internationella studier, där enbart kvantitativa metoder ligger till grund för en utvärdering, vars resultat skall kunna användas för jämförelser i ett internationellt perspektiv. Oavsett vad resultaten visar, så måste man ställa frågan vilka slutsatser som kan dras och vilken nytta dessa gör i ett framtidsperspektiv. Om syftet är att främja lärande i synnerhet och skolutveckling i allmänhet, så är det svårt att se hur detta skall kunna ske enbart utifrån dagens internationella studier. Dessa måste i framtiden kompletteras med s.k. kvalitativa studier för att därmed möjliggöra större förståelse för, hur elever uppfattar sitt lärande under ett visst tids perspektiv dvs. hur lärandet förändras över tid. Målet att kunna få en mer komplett bild av elever och deras lärande skulle underlättas, om möjligheten gavs att komplettera nuvarande internationell studier med en regelbundet återkommande nationell studie, där s.k. kvalitativa metoder används för att öka förståelsen av hur eleverna uppfattar sitt lärande och därmed skapa bättre underlag för, hur lärandet skulle kunna utvecklas. Detta uppfattar jag som en av skolans mest aktuella och angelägna uppgifter.
Frågan om s.k. minneskunskaper och förståelse visavi förklaring kommer upp. Det är klart att kvalitativa
studier till synes skapar en förståelse för hur en viss grupp av individer upplever en viss företeelse. Det jag vågat mig på att kritisera är att man mycket sällan i kvalitativa studier tar sig tid att kritiskt reflektera över de egna metoderna. Frågor som “Vad säger oss dess intervjusvar egentligen?”, “Har intervjuaren inte påverkat svaren på något sätt?” “Varför finner vi svaren rimliga så ofta?” Metoder problematiseras sällan. Till det kan läggas den ytterligt begränsade generalisering resultaten kan nå. Det blir som att plocka lite smultron i Tranås och tycka att man då känner till alla smultronställen i hela Sverige
Minneskunskaper är ett egendomligt ord. Är inte alla kunskaper minneskunskaper? Det är betecknande att ett så märkligt ord kan vinna insteg i vissa personers tankevärld. Det man menar är faktakunskaper, förmodligen.Det är kring fakta som berättelser existerar. Fakta är mycket viktigare än vad man tror.
Det problem som Bertil här tar upp är principiellt viktigt och förtjänar därför all uppmärksamhet. Detta varken kan eller skall förnekas. Det jag dristat mig till att ifrågasätt dock är de generella och långtgående slutsatser, som man kan dra av de förhållanden som Bertil ingående beskrivit.
Min tolkning av den ovan redovisade problematiken är, att det inte nödvändigtvis behöver vara något fel på de s.k. kvalitativa metoder som används och att man därför skulle vinna på att i stället välja en s.k. kvantitativ metod. Däremot finns det mycket som talar för möjligheten, att använda en kombination av kvantitativa och kvalitativa metoder dvs. någon form av triangulering, vilket jag tidigare föreslagit.
Det problem som Bertil tar upp, kan snarare tillskrivas den som beforskar en viss företeelse eller ett visst problemområde i vår omvärld. Om kritisk reflektion saknas eller om forskaren låter sina subjektiva åsikter påverka resultatet eller om han/hon faller för frestelsen att krydda sin resultatframställning med långtgående generaliseringar, så visar väl bara detta att personen ifråga inte är sin uppgift vuxen och därför borde åläggas att korrigera förekommande fel och brister. Sedan är det väl handledarens uppgift att se till att dessa åtgärdas.
Som jag uppfattar Bertils problematik handlar det inte så mycket om själva forskningsmetoden utan snarare om ett problem, som har med bristande kunskaper och insikter att göra. Därtill kommer möjligtvis en etisk eller moralisk aspekt i de fall forskaren medvetet låtit sina subjektiva värderingar sätta sin prägel på resultatframställningen för att eventuellt bättre passa in och motsvara det förväntade resultatet. Det handlar i så fall om bristande insikter i allmän forskningsmetodik som jag uppfattar det och borde kunna åtgärdas med hjälp av ökade utbildningsinsatser.
I inget av dessa fall kan jag dock finna, att det finns anledning att rikta någon kritik mot användandet av kvalitativa metoder, även om det skulle visa sig att dessa dominerar klart när det gäller forskning på skolutvecklingens område. Inte heller att denna omständighet specifikt skulle motivera valet av kvantitativ metod. Valet av metod måste, som tidigare framhållits, relateras till forskningsproblem och -objekt.
Min slutsats, efter att ha läst Bertils framställning av gällande problematik är, att man måste kräva en mer gedigen utbildning vid universitet och högskolor, vad gäller undervisningen i forskningsmetodik samt en stringentare hållning från handledarnas sida när det gäller kravet på vetenskaplighet beträffande skriftliga examensarbeten. Därtill kommer det berättigade kravet på kritisk reflektion, intervjuteknik och inte minst det Bertil tidigare poängterat vid upprepade tillfällen, gedigna kunskaper och insikter i ämnet psykologi. Med en satsning på ovan föreslagna åtgärder borde förutsättningarna för en ökad kvalitet på skolforskningens område kunna förbättras, vilket därmed borde kunna resultera i en positivare skolutveckling.
Hej igen!
Om jag har tolkat Bertil rätt så är det inte intervjuer i sig som här är problemet utan hur de används i de alster som Bertil har läst och som handlar om skolor/skolforskning.
Bertil har varit inne på problem med intervjuer och har också kritiserat kvalitativ metod. Intervjuer är endast en del av kvalitativ metod. Intervjuer, t.ex. via telefon, kan också kombineras med siffror och statisitisk analys.
En fördel med intervjuer brukar vara att intervjuaren har kontroll över svarssituationen, dvs. intervjuaren vet vem det är som svarar på frågorna. Denna kontroll är som störst i ansikte mot ansikte-intervjuer och mindre i telefonintevjuer och minst i enkätundersökningar. Där vet forskaren inte om den som fått enkäten fyller i den eller om det är någon annan som fyller i den.
En annan fördel med personliga intervjuer är att de är bättre än enkäter när det gäller att få svar på svåra frågor som eventuellt behöver upprepas eller förklaras. Intervjuer är också att föredra vid öppna frågor.
Intervjuareffekterna är, som Bertil påpekat ett problem, och de kan vara av tre slag. Medveten påverkan från interjvuaren, omedveten påverkan och en anpassning av den svarande. Här bör man vara uppmärksam på t.ex. vilken betydelse som intervjuarens och den intervjuades kön, ålder och etnicitet kan ha i svar på känsliga frågor.
Vad gäller enkäter är som bekant frågeformuleringen viktig för den information som forskaren får, liksom vilka svarslaternativ som finns. Forskning visar t.ex. att öppna frågor kan vara bra att ha när det gäller känsliga frågor istället för olika alternativ (Converse & Presser, 1986). Forskning pekar också på att när fasta svarsalternativ ges och att det samtidigt ges ett öpper alternativ är det vanliga att den svarande väljer bland de fasta alternativen (Schuman & Presser, 1996). En annan sak att tänka på är ordningsföljdseffekter, dvs. att ordningsföljden av frågorna kan påverka hur enkäten fylls i, och liksom vid ansikte-mot-ansikte-intervjuer finns det här olika sätt att komma åt detta.
Ordningsföljden vad gäller svarsalternativen i en enkät kan också ha betydelse. Vid enkäter tycks det vara så att det är fler som väljer det första alternativet än det som kommer senare. Ett sätt att hantera detta är att slumpmässigt variera ordningsföljden (Krosnick, 1999). Antalet svarsalternativ har också betydelse. Exempelvis pekar Krosnick (1999) på att skalfrågor, med en nollpunkt och plus-minusvärden fungerar bäst vid sju alternativ.
När är då intervjuer att föredra framför enkäter? Jo, det beror på vilket område som ska beforskas. Vid följande områden är samtalsintervjuer relevanta:
1) När forskningen ger sig in på ett relativt outforskat fält (se t.ex. McCracken, 1988)
2) När man vill veta hur människor uppfattar sin värld (se t.ex. Kvale, 1997)
3) När syftet är att utveckla teorier eller begrepp (se t.ex. Glaser & Strauss, 1967)
4) Som ett komplent till annan forskning.
Desutom kan intervjuer på olika sätt användas för att pröva hållbarheten i någon teori eller del av teori (t.ex. Krantz Lindgren, 2001).
Converse, j. & Presser, S (1986). Survey Questions. “Handcrafting the Standardized Questionarie. ”
Beverly Hills: Sage
Glaser, B & Strauss, A (1967), “The Discovery of Grounded Theory”. London: Weidenfeld & Nicolson.
Krantz Lindgren, P. (2001). “Att färdas som man lär? Miljömedvetenhet och bilåkande”. Hedemora:
Gidlunds Förlag.
Krosnick, J (1999). “Maximizing Questionary Quality. I Robinson, J m.fl. “Measures of Political Attitudes”.
San Diego: Academic Press.
Kvale, S (1997) “Den kvalitativa forskningsintervjun. Lund: Studentlitteratur.
McCracken, G. (1988). “The Long Interview”. Beverly Hills: Sage
Schuman, H. & Presser, S. (1996). “Questions and Answers in Attitude Surveys. Experiments on
Question Form, Wording, and Context”. Beverly Hills: Sage.
Det vore oerhört intressant att få kommentarer och synpunkter på vad kvalitativa och kvantitativa undersökningar bidrar med – och kan och kanske också bör bidra med – när det gäller just frågan om ungas medborgarskap och s.k. medborgerliga kompetens, det vill säga själva ‘saken’ i vår artikel rörande ICCS 2009
Bästa hälsningar
Maria
Maria
Du frågar hur man ska mäta medborgerlig kompetens. Jag skulle vilja säga att det nästan är en omöjlig uppgift. Om man nu försöker måste man noggrant avgränsa och definiera vad man menar med begreppet.
Det är inte lätt eftersom det är ett vittförgrenat och brett begrepp. Om man enas om en definition måste också frågor till enkät formuleras på ett otvetydigt sätt. Förmodligen är det så att många aspekter när det gäller den aktuella frågan har människor inte någon speciell tanke om. Svaren blir därför lätt en imitation av vad de hört och vad som allmänna åsikter i samhället.
Per
Du ger oss en lektion i metodik. Tack för den. Du är dock lite kvar i det gamla tänkandet där du inte ser några avgörande problem med intervjuer. Attitydforskningen har hunnit längre än vad dina referenser visar.
Slutsats: Man bör vara försiktigare och mer kritisk till de metoder man använder.
Hej!
Först, ursäkta Maria och övriga artilekförfattare att inte er arrtikel kom mer i fokus, t.ex. i mina responser.
Sedan Bertil. Tack för din respons på min senaste kommentar. Och då blir givetivs min respons till dig att jag gärna vill ha rekommendationer på de senaste alstren inom attitydforskningen. Vilken sommarläsning, vad gäller attitydforskning, anser du jag behöver för att komma till rätta med att “jag är kvar lite i det gamla tänkandet”.
Pär
Det är en hel mängd litteratur. Jag tycker du ska skaffa dig en rejäl grundbok i socialpsykologi. Det räcker långt. Finns i alla Akademiboklådor.
Bertil!
Jag tackar för ditt råd. Vad säger du om Helkama, Myllyniemi och Liebkind (2000) “Socialpsykologi – En introduktion”. När jag för snart 10 år sedan undervisade sociologistudenter i socialpsykologi använde vi den. Håller den boken måttet fortfarande?
Nej! Den höll inte måttet år 2000 heller.
Gå till Akademibokhandeln och köp en bok i socialpsykologi på engelska
som används vid undervisningen i psykologi vid universiteten. Där finns avsnitt om de flesta områden som är relevanta. Lycka till!
Trevlig sommar!
Pingback: Skoldebatt med okunnighet som ledstjärna « Johan Kants blogg
Stefan
Du avfärdar de kvantitativa internationella kunskapsmätningarna PISA, PEARLS, TIMSS och TIMSS ADVANCED. Att döma av ditt inlägg gör du detta utan att veta vad de står för! Dessa studier mäter grundläggande kunskaper i matematik, naturvetenskap och läsförståelse. Du skriver “Med den nya synen på lärandet, handlar det inte längre enbart om en upprepning av inlärda fakta som är lätta att mäta och värdera”. Hur ser den nya synen på lärandet i matematik ut? Vidare skriver du “Därtill kommer förhållandet, att metoder som mäter faktakunskaper är lättare att använda än de, som mäter kunskaper vilka kan relateras till vissa kunskapsformer som förståelse, färdighet och förtrogenhet”. Det är just förståelse, färdighet och förtrogenhet som representerar kunskaper i matematik. Detta mäts i de internationella studierna och det är i dessa avseenden svenska elever inte längre lyckas väl.
Jag rekommenderar docent Per-Olof Bentleys utförliga studie av svenska elevers resultat i TIMSS och TIMSS ADVANCED i matematik. Han konstaterar bl.a. att svenska elever har procedurella kunskaper till följd av ett alltför stort mått av lärande på egen hand. Denna pedagogik, sprungen ur kvalitativ forskning, har varit allenarådande de senaste 15 – 20 åren med förödande konsekvenser när det gäller kunskaper i matematik. Är det detta du menar med den nya synen att processen är viktigare än själva kunskaperna? Vi kan skatta oss lyckliga över att de internationella mätningarna avslöjat resultatet av en helt misslyckad pedagogisk och ämnesdidaktisk forskning i Sverige. Vari ligger meningen med processen i matematiklärandet om den inte resulterar i djupa kunskaper?
Hans-Gunnar Liljenvall har fel! Jag har ingalunda avfärdat de internationella kunskapsmätningarna enligt ovan. Det jag efterlyst är kompletterande undersökningar. Och det handlar ju trots allt inte enbart om undersökningar i ämnet matematik. Det jag tidigare framhållit är följande:”Dessa måste i framtiden kompletteras med s.k. kvalitativa studier för att därmed möjliggöra större förståelse för, hur elever uppfattar sitt lärande under ett visst tids perspektiv dvs. hur lärandet förändras över tid. Målet att kunna få en mer komplett bild av elever och deras lärande skulle underlättas, om möjligheten gavs att komplettera nuvarande internationell studier med en regelbundet återkommande nationell studie, där s.k. kvalitativa metoder används för att öka förståelsen av hur eleverna uppfattar sitt lärande och därmed skapa bättre underlag för, hur lärandet skulle kunna utvecklas. Detta uppfattar jag som en av skolans mest aktuella och angelägna uppgifter.”
Nej, Hans-Gunnar Liljenvall. Jag avfärdar verkligen inte de internationella kunskapsmätningar som du nämner. Däremot anser jag att de behöver kompletteras, vilket är något helt annat om du ursäktar. Det jag försökt framhålla är följande:
“Om syftet är att främja lärande i synnerhet och skolutveckling i allmänhet, så är det svårt att se hur detta skall kunna ske enbart utifrån dagens internationella studier. Dessa måste i framtiden kompletteras med s.k. kvalitativa studier för att därmed möjliggöra större förståelse för, hur elever uppfattar sitt lärande under ett visst tids perspektiv dvs. hur lärandet förändras över tid. Målet att kunna få en mer komplett bild av elever och deras lärande skulle underlättas, om möjligheten gavs att komplettera nuvarande internationell studier med en regelbundet återkommande nationell studie, där s.k. kvalitativa metoder används för att öka förståelsen av hur eleverna uppfattar sitt lärande och därmed skapa bättre underlag för, hur lärandet skulle kunna utvecklas. Detta uppfattar jag som en av skolans mest aktuella och angelägna uppgifter.”
Stefan
Du karakteriserar kvantitativa metoder med att de enbart mäter inlärda fakta, d.v.s. minneskunskaper, i motsats till kvalitativa där förståelse, färdighet och förtrogenhet kan mätas. Du skriver dessutom ”Mot denna bakgrund framstår det inte längre som meningsfullt att hävda betydelsen av fortsatta internationella studier, där enbart kvantitativa metoder ligger till grund för en utvärdering, vars resultat skall kunna användas för jämförelser i ett internationellt perspektiv. Oavsett vad resultaten visar, så måste man ställa frågan vilka slutsatser som kan dras och vilken nytta dessa gör i ett framtidsperspektiv”. Jag kan inte tolka din beskrivning av de internationella mätningarna på något annat sätt än att du anser att de endast ger en bild av elevernas förmåga att ta till sig faktakunskap och att av den anledningen bör de kompletteras med kvalitativa studier. Det är på denna punkt jag menar att du har helt fel. Jan Björklund varnade tidigt för att de internationella mätningarna pekade på att kunskaperna i matematik och naturvetenskap sjönk dramatiskt för svenska elever. Han fick till att börja med stark kritik av skolforskare med motiveringen att de internationella mätningarna var ofullständiga och att svenska elever hade andra förmågor än det som mättes. I dag, när samma sak upprepas i mätning efter mätning, har man flyttat fokus i kritiken av Jan Björklund. Skolforskare som inte är insatta i vad djupa kunskaper i matematik och naturvetenskap karakteriseras av borde vara mer försiktiga i sina synpunkter. Man kan inte dra alla ämnen över en kam!
De internationella kunskapsmätningarna erbjuder en enorm tillgång på information i form av elevlösningar på problem, sammanställda intervjuresultat med rektorer, lärare och elever, videoinspelningar av lektioner etc. Forskare världen över använder denna information för att få en bred bild av kunskapsläget i ländernas skolsystem. I Sverige har, som jag skrev i förra inlägget, bl.a. Per-Olof Bentley genomfört en omfattande kartläggning av kunskaperna i matematik såväl i grundskolan som i gymnasiet. Jag kan ge exempel på ett av tusentals studier i andra länder. De internationellt kända forskarna James Stigler och James Hierbert kunde i sin utmärkta bok, The teaching gap, utnyttja 231 videoinspelade lektioner i USA, Tyskland och Japan som genomfördes i en av TIMSS – mätningarna.
Kvalitativ didaktisk forskning har starkt bidragit till de sjunkande kunskaperna i svensk skola de senaste 20 åren. Den ena didaktiska tokidén efter den andra har skolforskare rest land och rike runt och planterat i skolorna. Man har inte med kvantitativa studier undersökt effekten av dessa idéer. De internationella mätningarna har gett oss en andra chans att påbörja ett återupprättande av den svenska kunskapsskolan, men det förutsätter att vi inte fortsätter med den snuttifierade pedagogiska och didaktiska forskning som dominerat de senaste två decennierna.
Tusen tack Hans-Gunnar Liljenvall!
Undertecknad är varken blind, döv eller okunnig beträffande framförda sakargument enligt ovan, trots diverse välformulerade insinuationer om motsatsen. Emellertid finns invändningar, som styrker påståendet om att allt inte är guld som glimmar, vare sig du gillar det eller ej. Så är även fallet, vad gäller den nu pågående internationaliseringen av skolan alltsedan professor Torsten Husens initiativ, där svenska elever resultat skulle bedömas i ett internationellt perspektiv. Därmed avtog också intresset för att utveckla skolan enligt nationella riktlinjer. Den internationella standarden skulle gälla alldeles oavsett vår egen samhällsutveckling.
För att slippa en tröttsam upprepning hänvisar jag härmed till ämnesrådet Mats Björnssons utmärkta artikel i ämnet: “PISA, MIMSS och PIRLS – det nya nationella utvärderingslandskapet?”, som också finns att läsa i detta forum.
Hälsar
Stefan Svedberg
Stefan
Jag finner inget i Mats Björnssons artikel som motsäger det jag skrivit. Vi ska självklart ha egna nationella utvärderingar och det har vi ju i de nationella proven, men med den betygsinflation som råder krävs en kalibrering och där fyller de internationella mätningarna en viktig funktion – ingen tvingar oss att se det på annat sätt. Här kan jag instämma i att PISA, i motsats till TIMSS, extrapolerar betydelsen av sina mätningar längre än vad de egentligen är – mätning av grundläggande kunskaper.
Björnsson skriver “Det är främst en standard för centrala aspekter av de kunskaper som anses vara mest väsentliga inom språk, matematik och naturvetenskap. Vad barn och unga i Sverige har för kunnande när det gäller historia och geografi eller bild och musik, det har fallit utanför”. Här går en skiljelinje. Grundläggande matematik och naturvetenskap är universella vetenskaper, som oftast har hundratals år på nacken och ej heller har nationell eller kulturell prägel. Detta gäller inte i många av de övriga skolämnena och därför måste de “falla utanför”.
Hans-Gunnar sist och slutligen.
Vi kan kanske vara överens om, att internationella skolundersökningar som TIMSS och PISA har kommit för att stanna, även om det alltjämt finns kritiska invändningar. Som professor Svein Sjöberg framhåller, så är det ju positivt att debatten fortsätter, inte minst för att frågan om dessa studiers vara eller inte vara utsatts och utsätts för en hård politisering i ett antal deltagarländer. Enligt Svein Sjöberg kan man därför “vara säker på att förutsättningarna för den framtida skolpolitiken i en rad länder kommer att bygga på dessa studier. Därför är det viktigt att föra en kritisk debatt: Vad är TIMSS och PISA för slags studier? Vem står bakom dem? Vilka är drivkrafterna? Vad är det som testas – och inte testas? Vilka teorier och antaganden bygger studierna på?”. Kan vi åtminstone vara överens så långt Hans-Gunnar Liljenvall?
Stefan
Vi är överens om det du skriver. Det du uppfattade som insinuation från min sida var inte riktat mot dig, utan mot de forskare som okritiskt och under lång tid avfärdat signalerna från de internationella mätningarna. Det är som du skriver viktigt att debattera och arbeta för att vända trenden. Tack för diskussionen.