Skola och SamhälleSvein Sjøberg: Hva PISA måler – og ikke måler
Alla talar om PISA men vet alla vad de talar om? I några artiklar ska SOS försöka reda ut vad PISA är och inte är. Först ut är Svein Sjøberg professor em. i de naturvetenskapliga ämnenas didaktik med en lång bakgrund som granskare av internationella kunskapsmätningar. I en första artikel ställer han frågan vad PISA mäter och inte mäter. (red)
Det er viktig å kjenne noen grunntrekk ved PISA-testen hvis man skal kunne vurdere hvilken betydning den skal tillegges, og om man skal «tro» på den eller ikke. Et viktig poeng er at PISA faktisk er helt tydelig på at de ikke tester skolekunnskaper. Like klart sier PISA at de ikke forholder seg til landenes læreplaner, og at oppgaver ikke kan tas med i PISA hvis de er typiske skoleoppgaver. Likevel hevder de å ha utviklet et universelt gyldig mål for kvaliteten til et lands skolesystem. Det er ikke helt lett å gripe logikken.
Mer konkret hevder PISA at de besvarer disse spørsmålene: «Are students well prepared for future challenges? Can they analyse, reason and communicate effectively? Do they have the capacity to continue learning throughout life?». Instrumentet for å kunne besvare disse ambisiøse spørsmålene er svarene på en to og en halv times skriftlig test der elevene verken kan kommunisere med hverandre eller bruke den informasjonsteknologien de er så vant til.
Testen er anonym, oppgavene samles inn i etterkant og blir aldri diskutert. Det gis ingen tilbakemeldinger, verken til elevene, klassen eller skolene. I så måte er testen også en test på elevenes lojalitet og vilje til å adlyde autoritet. Det kan være grunn til å antyde at 15-åringer i ulike land og kulturer vil kunne forholde seg ulikt til en slik øvelse (Sjøberg 2007). En ulikhet i testvillighet vil selvsagt ha stor påvirkning på de gjennomsnittverdier som blir beregnet og publisert. Det kan være grunn til å tro at 15-åringer i Korea, Singapore og Shanghai er noe mer testorientert enn 15-åringer (spesielt gutter?) i Norge, Sverige og Danmark.
Ved utviklingen av PISA-prosjektet har man foretatt en rekke valg. Først og fremst har man valgt ut tre ulike fagfelt. PISA-fagene er som nevnt lesing, matematikk og naturfag. Alle andre fag og temaer er valgt vekk. Her finnes ikke noe om historie, geografi, samfunnsfag, fremmedspråk, kunst, musikk, litteratur, praktiske eller estetiske fag, etikk, filosofi etc. Likevel presenteres og forstås PISA-rankingen som et gyldig mål for hele skolesystemets kvalitet. I en slik situasjon kan alt annet enn PISA-faglett skyves til side for å få en «bedre skole».
Valget av PISA-fagene er selvsagt ingen tilfeldighet, men springer ut av OECDs mandat og formål, nemlig å fremme økonomisk utvikling i en konkurransepreget global frihandel. Også lenge før PISA var det spesielt teknisk-naturvitenskapelige fag som ble gjenstand for OECDs interesse. Det er også interessant å merke seg at man ved siste PISA-test, i 2012, hadde fått et nytt fagfelt med i PISA, nemlig «Economical Literacy». Av alle mulige fag valgte man altså økonomi, et fag som ikke finnes i norsk grunnskole, men som passer godt med OECDs økonomisk orienterte mandat. De nordiske landene deltok imidlertid ikke i denne modulen.
Selv innen de fagene som faktisk er med i PISA, er det bare enkelte områder som er tatt med. For eksempel er naturfag et eksperimentelt fag der forsøk, eksperimenter og feltarbeid er viktig. Ikke noe av dette testes i PISA, men er sentralt i de fleste landenes læreplaner. Det viser seg for øvrig at PISA-skår korrelerer negativt med bruk av eksperimenter, forsøk og med at elevene utvikler og tester hypoteser, noe som nettopp er en sentral del av en autentisk undervisning i naturfag. En slik negativ sammenheng er kanskje ikke overraskende, i og med at PISA-testen er en ren papir-og blyant-test. Skal man forberede seg til slike tester, lønner det seg neppe å utføre eksperimenter eller dra på feltarbeid.
PISA beskriver i detalj hvordan prosessen bak konstruksjonen av PISA-testen foregår. Til grunn for oppgavene ligger det rammeverket for testing som er utviklet av PISAs faggrupper. På dette grunnlaget sender en del land inn forslag på oppgaver som så blir vurdert. Noen blir prøvd ut i en omfattende internasjonal pilottesting. Et viktig premiss er at oppgavene må fungere rettferdig, altså slik at ingen land eller kulturer blir favorisert. Fra et statistisk synspunkt er dette helt nødvendig, men det gjør også at oppgavene per definisjon ikke blir relevante eller dagsaktuelle.
Det statistiske kravet om fair test gjør at PISA-oppgavene blir dekontekstualisert. I PISA finner man ingen ting om snø og is, om nordisk flora eller fauna, eller om temaer som er på dagsordenen i elevenes lokale eller nasjonale sammenheng. Mens nær sagt alle som arbeider med å forbedre skolens naturfag er opptatt av nettopp å knytte faget til elevenes kontekst (Osborne og Dillon 2008), blir kvaliteten i undervisningen altså målt med et instrument som per definisjon må unngå akkurat dette.
PISA hevder at deres oppgaver er «real life challenges» og at de er basert på «autentiske tekster». Bak dette ligger en antakelse om at «real life» for 15-åringer i f.eks. Mexico, USA og Norge er identiske. Man forutsetter også at en tekst som var «autentisk» i f.eks. Japan er like autentisk når den er oversatt til alle andre språk. En ambisjon om å lage en universelt gyldig og relevant test basert på autentiske tekster fra det virkelige liv vil av mange oppfattes som et prinsipielt umulig prosjekt. Oppgavesettet i PISA er hemmelig, så en faglig, pedagogisk og kulturell kritikk av oppgavene er vanskelig. Etter hvert er en del oppgaver imidlertid offentliggjort, og mange av disse er blitt gjenstand for betydelig faglig kritikk, se f.eks. Henningsen 2005.
Det oppstår også komplikasjoner når oppgavene skal oversettes fra ett språk til et annet. Her har PISA lagt opp til et omfattende regelverk og kontrollregime for at alle detaljer skal gjøres riktig. Men verken poesi eller prosa kan oversettes «riktig» fra ett språk til et annet ved hjelp av presise regler. Nokså enkle stikkprøver på oversettelsene viser at det til og med mellom de skandinaviske språkene finnes store ulikheter. Enkelte oppgaver er dessuten endret innholdsmessig, også mellom skandinaviske land (Sjøberg 2012). En mer omfattende språklig analyse av oppgavene på tvers av ulike kulturer, både asiatiske og vestlige språk, ville ha vært interessant, men slik kritisk forskning finnes det lite av.
Veien fra elevenes svar til den PISA-skår som blir brukt i analysene er også komplisert og kontroversiell. Alle elever har dessuten ikke fått de samme oppgavene, men bare et utvalg fra en større pool av oppgaver som til sammen utgjør PISA-testen. En dansk professor i statistikk, Svend Kreiner (2013), har i flere artikler påvist at man, basert på PISA-data, vil kunne få Danmark til å havne på alt fra nummer 2 til 42 ved bruk av denne statistikken, såkalt «Rasch-analyse». Denne saken har fått stor politiskoppmerksomhet i Danmark, og selv ledende politikere er etter hvert blitt svært kritiske til PISA-resultatene.
Avsnitt ur en artikel publicerad i Nytt Norsk Tidsskrift 1/2014 – http://www.idunn.no/ts/nnt)
(Svein Sjøberg är professor em. vid Oslo universitet samt gästprofessor vid Linköpings universitet och Södertörns högskola)
Litteratur
Henningsen, I., ”PISA – et kritisk blik.” MONA. Matematik- og naturfagsdidaktik: Tidsskrift for undervisere, forskere og formidlere, (1): 24–44, 2005.
Kreiner, S. og K. B. Christensen, «Analyses of model fit and robustness. A new look at the PISA scaling model underlying ranking of countries according to reading literacy». Psychometrika, June 2013.
Osborne, J. og J. Dillon (red.), Science education in Europe: Critical reflections. A report to the Nuffield Foundation, King’s College London 2008.
Sjøberg, S., “Internasjonale undersøkelser: Grunnlaget for norsk utdanningspolitikk?” I H. Hølleland (red.): På vei mot Kunnskapsløftet. Begrunnelser, løsninger og utfordringer. Oslo: Cappelen 2007.
Sjøberg, S., «PISA: politique, problèmes fondamentaux et résultats paradoxaux». Recherches en Education no. 14 – Septembre 2012.
15 Comments on “Svein Sjøberg: Hva PISA måler – og ikke måler”
Lämna ett svar till Mats Avbryt svar
STÖD SKOLA OCH SAMHÄLLE!
Skola och Samhälle är en ideell förening. Vi som arbetar med S.O.S. gör det helt utan ersättning. Alla bidrag till en fortsatt kritisk debatt om skola och lärarutbildning mottages tacksamt!
Swisha till: 123 589 43 73
Detta är den intressantaste artikeln om PISA som jag läst. PISA och TIMSS har ej den stringens och betydelse för mätning av kunskaper som de uppges ha. En dansk professor har ju visat att ett land kan rankas från andra plats till fyrtioandra plats med hjälp av PISA-statistik. Är det då inte dags att kritiskt granska dessa undersökningar som tar så stor plats i tidningar och andra media?
Det är skillnad till TIMSS – icke att glömma. Plockar vi ut just algebra och geometri är de just kontextbefriade och “rummet” och “tunnan” är lika över hela världen. Även ekvationslösning och uppställningar av “Arne och Bertil” är bara A och B och då tillkommer Ceasar i bland. Det är fallet 2003 i TIMSS som är det största just i dessa två områden. TIMSS utgår från kursplanerna och i dessa två områden är de lika världen över. De är basen för all teknologi och då kommer frågan om just särskild kurs upp. Den slopades 1994.
Väl känd och väl formulerad kritik av PISA, eller ska vi säga begränsningar i vad PISA visar och inte.
Ett par randanmärkningar: Svenska forskare (kanske är de betalda av OECD?) hävdar envist att det ramverk som PISA bygger på är relevant också med svensk läroplan som utgångspunkt. En sådan prövning görs vid varje internationell kunskapsmätning. Frågan är hur de uppgifter som ges (items) stämmer. Det är svårare att få inblick i. Svenska elever fick hur som helst goda resultat 2000 och 2003 men sen gick det utför – hade det med PISA-testet att göra?
PISA är inte enbart ett papper-och-penna-test. Vid två omgångar (2009 och 2012) har Sverige deltagit i digitalt läsprov och 2012 även i digitalt matematikprov. Svenska elever klarar sig något bättre där, vilket var väntat, men nedgången är lika tydlig.
Kritiken mot tekniken med roterande design och imputering som Kreiner riktat har inte fått fäste, och det är mindre sannolikt att den är särskilt relevant. Men det är onekligen en svår materia som få personer har riktig inblick i.
För ca 50 år då Världsbanken startade med utbildningsfinansiering – idag är den världens största externa finansiär – gjordes omfattande försök at ekonomiskt utvärdera utbildningens värde i relation till vad den kostade. Detta misslyckades dock, beroende på ”svårigheten att bestämma det ekonomiska värdet av den förbättrade utbildningen”. Därför slopades de absoluta, ekonomiska effektivitetskraven för skolinvesteringar globalt och detta gäller än idag. Både inom de nationella skolväsendena och internationellt började man, i brist på annat, att använda sig av relativa, eller jämförande bedömningar av skolkvaliteten- typ PISA och TIMSS. Dessa är av ringa värde – och ofta hindrande – för den positiva skolutvecklingen eftersom man med dess hjälp inte att kan identifiera de verkliga problemen, vilka är relaterade till undervisningens kvalité, varaktighet och organisation i en värld där kunskapsmängden för dubblas vart 7 – 8:de år.
PISA–resultatens största betydelse är för den globala pedagogiska forskningen, där de producerar tusentals nya “doctors of Education” varje år vars betydelse för skolutvecklingen – för att citera Nils Ferlin “torde stå klart för var och en som med någotsånär vaket öga betraktat ett benrangel”.
I den nya förstklassiga skolan kommer all undervisning att ske med användandet av ICT och läraren kommer istället för undervisare att bli utbildningsledare och inspiratörer, Då kommer skolan att bli tio gånger bättre och kosta hälften så mycket.
Lennart Swahn – http://www.sweducation.eu
Det är bara att stiga upp – om det nu behövs och ansluta sig till datorn – om det nu behövs då man alltid är ansluten. Det behövs inga skolbyggnader till detta. Inte lärare heller. Den “doctors of education” du pratar om är utvecklaren av just programvara. Det du skriver om i din “vitbok” är programmerad undervisning som kallades IMU på sin tid och dess symbol är “Hej Matematik”. I stället för att DIAGNOSTISERAS och skickas till olika häften kommer nu DATORN att göra detta på en gång och skicka i väg svaret för blixtsnabb analys och återkomma med en fråga. Detta är nu gjort av Ulla Runesson och Ference Marton som programmerat in att “variationer” eller sätt att “se”. Det är nu den andra varianten av “doctors of education”. Den tredje är “kognitiva psykologer” som tar fram IQ-tester som studerar “strukturella seenden”… Vi har nu slagit ihop mängdläran och “Hej Matematik” via datorn. IMU kallades för det “svenska experimentet” under 1970-talet. Det är möjligt att du var med även där då du säger att du har 50 års erfarenhet.
Mängdläran kom från “doctors in mathematics”. IMU från “doctors in psychology”. Två extremformer. Mellan dessa finns “people who make money”.
OK. Mitt förslag: Ta bort all matematikundervisning i skolan. Den behövs inte i vardagen längre. Den försörjer bara en massa människor som själva skapat ett problem som inte fanns. Koppla lös alla barn från sladdarna. Gå ut och LEK. De träffar nog en “farbror” som lär dem räkna i parken. Han som inte är kastrerad, programmerad och kallas människa.
Svar till Håkan Broström.
Det finns överväldigande bevis för att matematik och alla andra kunskapsbaserade skolämnen, vilket är ca 95% % av alla ämnen i grundskolan och på gymnasiet kan idag läras genom programmerad, individuell undervisning. Vad du refererar till är försök till dylik undervisning för 25 + 30 år sedan. Jämför dock dagens teknik med den för 30 år sedan – 1984 – så måste vi inse att vi talar inte om samma sak. Idag är det ingen tvekan att vi kan helt ersätta läraren som undervisare.Idag är det ingen tvekan om att vi kan skapa en modern förstklassig skola som är tio gånger bättre får alla – och även för lärarna – till ett pris per elev som är hälften av vad den gamla kostar.
Beträffande ditt förslag: Hur gör det saken bättre?
Det finns enastående möjligheter att lösa skolproblemet, men då måste vi sluta att fråga lärarfacken och lärarhögskolorna om råd.
Lennart
Lennart Swahn och Staffan Svahn.
Ni har tillsammans skrivit en bok om Kreativitet. Varför har ni då lämnat Sverige. Det är ju där ni ska genomföra ert projekt : Den förstklassiga skolan . Då kommer skolan att bli tio gånger bättre och kosta hälften så mycket, skriver Swahn. Sanningen är förvisso den att användandet av ICT inneburit ett stort resursslöseri i Sverige. Kostbara satsningar på datorer har givit klent resultat och utarmat kunskaperna hos den svenska lärarkåren. Mattekommissionen hävdar att de ska kunna ersätta läraren med banal tavelmatematik i YouTube. Titta på de lärare som viker ut sig på You Tube så inser ni att de gamla pedagogerna utförde en mycket bättre undervisning. Det verkar vara där som
Swahn och Svahn hämtat sin kreativitet. Kom hem till Sverige och visa vad ni går för.
Sture Sjöstedt
Swahn vill påskina att ”modern” fysik förändrar vår syn (han klargör inte på vad, för vem, i vilket sammanhang och i vilket syfte) och stannar då vid Einstein. Han förtiger kvantfysiken som Einstein inte ”orkade med”. Einstein hävdade att Gud inte spelar tärning. Det ligger en hel del i detta även om han hade ”fel”. Jag kan citera Einstein med andra citat och då kommer hans senare liv och tankar upp på ett bättre sätt. Det kallas vishet. Minervas uggla. Sök på Google. Men hur kom vi på att söka på Minerva och Hegel? Ugglan som lyfter i skymningen. Va? Nu är vi människor bara en avbildning av ett tvådimensionellt hologram som finns vid universums händelsehorisont. Jasså. Kunskapsmängden ”fördubblas på 7-8 år”. Efter 3 sådana cykler har vi då 8 gånger så många bantningsmetoder. Låt säga att vi har nu 3468 st väl dokumenterade som ger effekt. Nu säger fysiken att om vi mäter den energi som stoppas in och den som kommer ut som kommer skillnaden att lagras. Det behövs ingen kvantfysik för det. Inte heller Einstein. Ser vi då på amerikaner som nu har all denna information verkar det inte ha hjälpt. De har inte fattat de grundläggande lagarna. De Googlar på ”bli smal”. De får de ”mest lästa”. Så många kan inte ha fel.
Vi ponerar att det smälls av en vätebomb vars EMC puls direkt förstör all elektronik. Osynlig. Poff. Mjölken kan nu inte åka 200 mil och hur f-n gör man allt detta mer praktiskt. Helt handlingsförlamade. Kunnandet är nu omvänt proportionellt mot Swahns. Ko? Va? Fisk? Är Braxen en fisk? Det var det jävligaste. Nu är det 7-8 gånger mindre antal som kan detta. Även vanlig grundläggande fysik. De som inte fattar att fysikens lagar på det ”mänskliga planet” (jordytan, ekosystem…) är Newtons tror nu att kvantfluktuationer och strängar och överintag av selen, litium, vitaminer… och 3468 olika ”recept” löser det hela.
Nu finns det 3468 olika filosofer. 3468 politiker men inga visioner. Alla ska nu halvera klasser och fördubbla antalet speciallärare. Poff. Nu kommer fascismens EMC. Nu är det 7-8 gånger mindre andel av befolkningen som själva har tagit till sig olika ”filosofer” och mer allmänna resonemang. ALLT FINNS PÅ NÄTET. Däremot EN av dessa 3468 MODERNA. Le Pen verkar bäst. Enklast att ”förstå”. Nu funkar Google. Sök på ”demokrati”. Va? Allt omodernt anses förlegat. Heja Swahn. Kvantfysik, scientologi och Le Pen. Det finns så mycket information och lika mycket desinformation. Sök på Google. Vad står INTE där? Jo – det står efter 3468x3468x3468 förgreningar att det fanns en gång i tiden Sokrates, Kant, Nietzsche… Gallilei och Newton. ANTALET MÄNNISKOR som har grundläggande kunskaper är viktigare än en samlad ”kunskapsmängd” ingen kommer åt. Finessen ligger i att sprida ut de grundläggande och även om den är densamma kommer finessen att vara att den finns i en självständig människa som kommunicerar face to face. Vår hjärna är utrustad med detta – att känna igen ansikten – i IRL. Varför det? Svar: Därför att vi finns kvar som släkte. Det är inte alls den omedelbara nyttan att omvandla allt till pengar som gäller. Ett friskt samhälle väljer att fördela gracerna. Då räcker det med grundläggande fysik. Det kallas demokrati. Man möts i IRL. På torget. Även programmeraren till Swahns ICL. Märk singularis. Då 3468 programmerare tänker lika räcker det med en. STOREBROR. Du snackar skit Swahn
Dina kommentarer är till att börja med både irrelevanta och konfunderande. Det är visserligen sant att jag och en kollega för fem är sedan skrev en lärobok i kreativitet, men den har inte den minsta anknytning till min “EN VITBOK OM GRUNDSKOLAN” och de inlägg och kommentarer till skolutvecklingen som jag gör.
Beträffande dina kommentarer om programmerad undervisning hänvisar till svaret ovan till Håkan Broström.
Jag har all den vetenskapliga uppbackning för vad jag säger i skrifterna på min hemsida. Jag bygger samtliga förslag på internationella UNESCO-utredningar
Jag är precis lika svensk som du men bor som pensionär nära till den plats där jag har full tillgång till alla vetenskaplig
utredningar om skolan och skolutveckling och samtidigt kan ha personlig kontakt med all världens skolexperter.
Vad jag erbjuder som är en stor möjlighet är inte bara en förstklassig skola för Sverige, utan också att ge Sverige en möjlighet att leda en global utveckling av samma skola. Det kan jag göra genom den erfarenhet. kunskap och kontakter som jag har internationellt. sedan ca 50 år tillbaka.
Lennart
Sture Sjöstedt
Ursäkta, men jag trodde det var PISA-undersökningarna vi diskuterade här.
Vad du anför har ju inget med saken att göra
Lennart Swahn
Lennart Swahn.
Du skriver om dina internationella kontakter. UNESCO-utredningar omnämnes. För min del har jag programmerat SMIL i Lund och känner mycket väl till hur man kan få datorer att göra avancerade beräkningar, så du är ute på hal is när du anklagar mig för okunskap och virrighet. Ditt angrepp på lärarna blir förmodligen bemött av NCM så det hoppar jag över. Att du inte kan förstå det som är formulerat för att begripas av små barn är för mig en gåta. När du besinnat vad Håkan Broström skrivit inser du nog att din ide om ICT.s förträfflighet inte går hem i ditt hemland Sverige.
Sture Sjöstedt
En intressant diskussion om hur människor lär eller kan lära sig matematik.
Det jag funderar på är om denna diskussion även inkluderar s.k. samhällsorienterande ämnen. Dvs. om den konfliktlinje som finns mellan å ena sidan Lennart Swahn, å andra sidan Håkan Broström, Sture Sjöstedt m.fl. även finns i t.ex. samhällskunskap. Eller finns det andra konfliktlinjer i t.ex. samhällskunskapsundervisning?
Sedan är frågan hur vi mäter effekterna av undervisning. Om skolan har som mål att fostra demokratiska medborgare, t.ex. genom samhällskunskap, har skolan då uppnått detta mål om kommande generationer röstar mer eller mindre i EU-val och val till Sveriges riskdag? Har skolan nått detta mål om röstningen har ökat och om Sverigedemokraterna har ökat sina mandat i riskdagen? Eller har skolan inget ansvar för medborgarnas demokratiska preferensramar?
Och hur är det med den ekonomiska tillväxten? Om skolan har som mål att främja kunskaper som främjar ekonomisk tillväxt, hur mäter vi denna korrelation mellan skolkunskaper och ekonomisk tillväxt? Att Sveriges ekonomiska tillväxt har en annan kurva än PISA-mätningarnas kunskapsresultat för Sverige behöver i så fall analyseras.
Pär Engström.
Det är inte ovanligt att lärare på gymnasiet har ämneskombinationen ma-sh.
Dessa lärare kunna lära barnen både vad demokrati och matematik är. PISA -mätningarna har en besynnerlig egenhet. Elever som bara deltar i ett av testen i ma och läsförståelse ska ändå tilldelas ett testresultat i det test där de inte deltagit. Detta påhittade testresultat väger lika tungt som det eleven gjort i något av ämnena ma eller läsförståelse. Fattar du hur man kan göra så?
Artikeln är en partsinlaga till stöd för de som fortfarande vill tillbakavisa kunskapsförsämringen i den svenska skolan. Man får hoppas att en representant för PISA får kommentera Sjöbergs inlägg.
Sjöberg uppehåller sig vid vad PISA inte mäter och hur fel PISA mäter, men han säger inte ett ord om vad länderna kan använda resultaten till. Om det är som Sjöberg skriver – förklara i så fall varför så många länder deltar i mätningarna och varför så många forskningsrapporter genereras?
Sjöberg problematiserar inte internationella kunskapsmätningar (jämför t.ex. inte med TIMSS), han definierar inte begrepp (vad är skolkunskaper?), han exemplifierar inte med publicerade uppgifter, han förklarar inte Kreiners kritik (t.ex att enbart läsförståelse studerats)…
Sjöberg skriver ” Like klart sier PISA at de ikke forholder seg til landenes læreplaner, og at oppgaver ikke kan tas med i PISA hvis de er typiske skoleoppgaver. Likevel hevder de å ha utviklet et universelt gyldig mål for kvaliteten til et lands skolesystem. Det er ikke helt lett å gripe logikken”. Logiken kan förstås om man läser vad PISA skriver ”Målet i PISA är att utvärdera hur elever omsätter sina kunskaper i olika sammanhang”. Uppgifterna i matematik och naturvetenskap innehåller mycket text. Det ställs alltså krav på läsförståelse för att ur texten utkristallisera den matematik eller naturvetenskap som krävs för att lösa uppgifterna. Skolmatematiken t.ex. i form av aritmetik, algebra, statistik och geometri, finns naturligtvis med implicit i texterna. I TIMSS testas i större utsträckning ren matematik och kraven på matematisk förmåga är större än i PISA. Därför är resultatet i TIMSS en bättre prognos för fortsatta studier i matematik och naturvetenskap. PISA handlar om vardagsmatematik.
Eftersom PISA och TIMSS testar matematik och naturvetenskap på principiellt olika sätta kan jämförande studier ge viktig information om brister i utbildningssystemen. Detta nämner Sjöberg inte med ett ord! Finland och de asiatiska länderna presterar på hög nivå i såväl PISA som TIMSS. Lärarna i dessa länder har alltså förmågan att ge eleverna förutsättning att både förstå och använda matematiken. Svenska och norska elever presterar betydligt sämre i TIMSS än i PISA. Detta beror på att man i första hand fokuserar på vardagsmatematik. Det återspeglas i en katastrofal försämring i TIMSS ADVANCED 2008 (ma och fy NV och T vid gy). Ryssland är ett intressant exempel! I PISA presterar ryska elever sämre än svenska elever i alla tre ämnesområden, särskilt i läsförståelse. I TIMSS däremot tillhör Ryssland toppnationerna i matematik. Detta förklaras antagligen med den starka kopplingen mellan läsförståelse och det sätt matematik testas i PISA.
Sjöberg hävdar att elever från Sverige, Norge och Danmark hyser ovilja mot att bli testade och att detta skulle påverka resultatet PISA. Eftersom PISA-testet (liksom TIMSS) är ett obligatoriskt moment som vilket annat prov som helst, vore Sjöbergs farhåga en allvarlig svaghet i utbildningssystemen för dessa länder. Eleverna tar inte ansvar för sin utbildning och de visar inte respekt för sina lärares önskemål. Jag tror dock inte på Sjöbergs antagande!
Sjöberg skriver ” Instrumentet for å kunne besvare disse ambisiøse spørsmålene er svarene på en to og en halv times skriftlig test der elevene verken kan kommunisere med hverandre eller bruke den informasjonsteknologien de er så vant til”. Testet för varje elev är två timmar, men Sjöberg nämner inte att varje land får 13 olika test (lika för varje land) som fördelas. På detta sätt innehåller testet ett mycket större antal uppgifter än vad varje elev får och man utökar på så sätt den effektiva testtiden till sju timmar. Den statistiska metod som användes för att möjliggöra detta och som bl.a. innehåller korrelationsberäkningar, finns beskriven i PISAS tekniska del.
Sjöberg skriver vidare ” En dansk professor i statistikk, Svend Kreiner (2013), har i flere artikler påvist at man, basert på PISA-data, vil kunne få Danmark til å havne på alt fra nummer 2 til 42 ved bruk av denne statistikken, såkalt «Rasch-analyse»”. Professor Ray Adams, PISAS ledande expert på internationella kunskapsmätningar, tillbakavisar Kreiners kritiska artikel fullständigt och påvisar ovetenskaplighet och ofullständighet. Själv reagerar jag på ett påstående i Kreiners artikel där han drar en helt felaktig slutsats därför att han inte förstått skillnaden i vad TIMSS respektive PISA testar. Före år 2000 var det endast TIMSS (IEA) som genomförde internationella kunskapsmätningar. I dessa mätningar hamnade Storbritannien lågt, men i PISA 2000 hamnade man plötsligt betydligt högre upp och nådde t.o.m. upp till Schweiz nivå, som i TIMSS presterade på toppnivå. Detta tolkade Kreiner som ett resultat av DIF (different item functioning), d.v.s. att PISA innehöll frågor som uppfattades olika svåra i olika länder. Det är precis detta Kreiner kritiserar PISA för. Fakta är att PISA, som jag påpekat tidigare, testar med en helt annan typ av uppgifter än TIMSS och därför kan resultaten i TIMSS och PISA skilja sig avsevärt. Ray Adams framhåller detta i en artikel 2003.
Sjöberg kritiserar att det inte finns återkoppling från elevtesten i internationella kunskapsmätningar. På elevnivå är det inte tekniskt möjligt att ge återkoppling, men på nationell nivå kommer en strid ström av artiklar som kan ses som en form av nationell formativ bedömning. Docent Per-Olof Bentley har analyserat ett mycket stort antal elevlösningar i TIMSS och har med ledning av detta kunnat diagnostisera problem i matematikundervisningen i den svenska skolan. På liknande sätt har Liv Sissel Groenmo och Rolf Vegar Olsen studerat norska elever.
Visst. Hans Gunnar. Så är det. TIMSS och PISA mäter olika saker. Vi som undervisat i matematik och besökt Ryssland vet att de har den särskilda kursen och en klassisk indelning i algebra och geometri som då drar med sig den övriga rena matematiken. Sedan har de inte matematik i dessa typer av vardagssammanhang och inte heller fysik som också är mer rakt på den mer vetenskapliga sidan. Frågan är om matematik och naturvetenskap ens ska vara med i PISA. Vygotskij menade att man lär sig vetenskapliga begrepp i skolan och vardagliga utanför och att det uppstår ett lika stort problem “i slutet av tonåren” då skolkunskaper skulle tillämpas i vardagliga sammanhang. Han studerade den ryska skolan som inte ändrats speciellt mycket. En mycket simpel förklaring är att de svenska eleverna inte bryr sig om olika statistiska uppgifter och vardagshändelser som de gjorde 2000. Och då inte heller mellanstadiets “naturlära” vilket också förklaras av lärarkårens utbildningsbakgrund. Det är väl självklara samband och det är väl bara att den berömda skolinspektionen tittar i lärarnas studiebakgrund. Dessutom tas så mycket tid till annat och ska det då byggas upp ett materielrum och hållas ordning där… Det är väl bara att titta och “inspektera”. Ser man i matematikböckerna har diagrammen ändrats till rörmokarräkningar och taxikostnader och vem f-n ser en timkostnad som en lutning av en linje. Det ritas också diagram över hur någon går till bussen och måste springa i slutet som då jämförs med det som är ute i tid och då väntar i 5 min och linjen blir vågrät. Svenska elever börjar mer betala med kort och gör inga större kalkyler och det är väl då ett mått på att veckopengen avskaffats. Att de sedan inte kan engagera sig i “brek-even” eller se sitt telefonabbonemang eller kontantkorts minutpris som intressant då de sms:ar till “mamma” som får ringa upp… Kort sagt: Medelklassbarnen gör inga “privatekonomiska” kalkyler. De får sina jeans för 1400 kronor…
Sedan skiter de i om statistiken “ljuger”. De utgår från det. Som Per är inne på indirekt så är inte intresset för mer djuplodande frågor heller så stort då sverigedemokrater tar röster för att alla är totalt urleda på att det bara pratas och sägs samma sak. Nu har “vuxenvärlden” pratat om dåliga matematikkunskaper i 20 år och de vet att mamma och pappa är lika dåliga. Vad pratas det om vid svenska köksbord?
Jag återkommer till att TIMSS mäter Sveriges “potens” i teknik och naturvetenskap och den matematik som är kopplad dit. Där har OECD en poäng – fullt klart. Det visste vi väl redan då det inte går att få tag i fysiklärare. Enkel matematik. Därför menar jag att matematikämnet med nuvarande innehåll bara är till skada. Det är inte till för rena praktiker och inte heller för blivande ingenjörer. Den är bara till för att se att kurvan går neråt i PISA. Nergången visar att privatekonomin blivit bättre. “Tyvärr” visar den också att ingen vill ta “skitjobben” och att ingen vill ha ett jobb där lönen stiger sakta. Dessutom tycker de att matematik och fysik i den riktiga varianten kommer att inkräkta för mycket på deras personliga rörlighet – med viss rätt. Både under studietiden och efteråt.