Michael Tengberg: Replik – Läsprovsansvariga dåliga på att läsa innantill

Michael Tengberg ger här sitt svar på en replik från Enheten Nationella prov i svenska och svenska som andraspråk. I provenhetens replik bemöttes en av Tengberg tidigare framförd kritik av de nationella läsprovens konstruktion. (red.)

När Lovisa Gardell, Anne Palmér och Maria Westman ska svara på kritiken mot den bristande kvaliteten i de nationella läsproven för årskurs 9 läser de för det första fel innantill i artikeln, därefter drar de uppenbart överdrivna slutsatser från sina egna undersökningar och avslutar med ett beklagligt och allvarligt försök att misskreditera mig. Detta under devisen att ”diskussionen om de nationella proven förtjänar hederlighet och korrekthet.”

Felläsning
Gardell, Palmér och Westman menar i sin replik att jag dels övertolkat läsprocessernas ställning som delkonstrukt, dels dragit slutsatsen att processerna inte existerar. Sanningen är att det nationella provet i läsning i årskurs 9 konstruerats på ett sätt som förutsätter att läsprocesserna existerar som separerbara delkonstrukt, eftersom elevens möjlighet att få ett visst betyg är beroende av om han eller hon lyckas få poäng inom åtminstone tre av kategorierna.

Om provuppgifterna i de olika kategorierna inte representerar separerbara delkonstrukt blir en sådan bedömningsregel inte bara meningslös, den riskerar till och med att, på felaktiga grunder, hindra elever från att få ett visst betyg.

Vad jag gjort är helt enkelt att, med utgångspunkt i väletablerade definitioner av dimensionalitet i prov (Henning, 1992), undersökt om det går att finna empiriskt stöd för de fyra läsprocesser som provkonstruktionen förutsätter. I den ena studien undersökte jag om processerna delades som tankekategorier av de som ska använda proven och bedöma elevprestationer, dvs. lärare.

I den andra studien undersökte jag om resultaten på uppgifterna i de olika kategorierna samvarierade. Ingen av studierna gav stöd för att läsprocesserna existerade som separerbara konstrukt. Jag har däremot inte hävdat att de inte existerar. Däremot hävdar jag att provkonstruktören antingen måste påvisa empiriskt att läsprocesserna fungerar som separerbara delkonstrukt eller ändra i provkonstruktionen så att elevens möjlighet att få ett visst betyg inte styrs av på vilka uppgifter denne får sina poäng. Den slutsatsen tror jag egentligen att provgruppen delar.

Överdrivna slutsatser
Enligt replikförfattarna har provgruppen gjort egna mätningar av samstämmigheten i bedömning av öppna uppgifter och funnit att den vida överstiger de nivåer som jag och Gustaf B. Skar funnit. Det framgår att man använt tränade bedömare istället för vanliga lärare i mätningen.

Skolverket har tidigare publicerat en studie av bedömarsamstämmighet (Skolverket, 2009). I den ingick i bedömargruppen en provkonstruktör, en lärare som deltagit i provgruppens utprövningar och en ”vanlig” lärare.

På det viset kan man undersöka den möjliga samstämmigheten, vilket förstås är intressant i sig. Men om man vill veta hur det är ställt med den faktiska likvärdigheten i bedömning för riktiga elever som får riktiga provresultat (med riktiga konsekvenser) måste man naturligtvis undersöka samstämmigheten bland lärare som arbetar i skolan, och inte enbart bland dem som arbetar för nationella provgruppen.

Att, som Gardell, Palmér och Westman utifrån en uppmätt möjlig samstämmighet stjälpa över hela ansvaret på skolhuvudmannen och hävda att det ”åvilar” denne att se till att den möjliga samstämmigheten också uppnås ute i skolorna är helt enkelt oseriöst.

Försök till misskreditering
Som avslutning försöker Gardell, Palmér och Westman  misskreditera min hederlighet genom att påstå att de slutsatser jag drar i artikeln skulle vara hämtade från ett systemramverk som tagits fram av ledande bedömningsforskare i Göteborg.

Det är riktigt att jag är bekant med innehållet i det föreslagna systemramverket och att jag deltagit vid ett referensgruppsmöte om detta i Uppsala. På retoriskt vis finner de det ”anmärkningsvärt” att detta inte redovisas i min artikel.

Som bedömningsforskare är man dock förtrogen med en lång rad olika ramverk för prov av olika slag. Dessa är sällan unika med avseende på kvalitetskriterier utan bygger på en lång internationell forskningstradition. Vilket förstås är rätt och riktigt. Det nya svenska förslaget till systemramverk för de nationella proven är möjligen unikt i Sverige, eftersom vi inte haft något tidigare, men knappast nyheter för den som forskar om bedömning. Att hävda att de slutsatser jag formulerat i min debattartikel – slutsatser som bygger på lång tids egen forskning om nationella prov och den diskussion jag under flera års tid fört om kvalitetsproblem i de svenska läsproven – skulle ha stulits från ett dokument som provgruppen sände mig i maj i år, det är ett ynkligt försök till misskreditering, som jag hoppas att författarna tar tillbaka.

Som avslutning vill jag, med anledning av replikförfattarnas påstående om vetenskaplig tveksamhet i min argumentation, förtydliga att grunden för den specifika kritik som framfördes i mitt debattinlägg bygger på tre studier som alla sakkunniggranskats och accepterats för publicering i vetenskapliga tidskrifter. En av dem publicerades förra året, den andra publiceras inom kort och en tredje har accepterats och kommer att publiceras.

Huruvida provgruppens egen undersökning, som tycks motivera övertygelsen om den plötsligt makalöst höga bedömarsamstämmigheten, också har granskats av externa bedömare eller var rapporten redovisats någonstans, det vet jag däremot inte.

Michael Tengberg, Karlstads universitet

Referenser
Henning, G. (1992). Dimensionality and construct validity of language tests. Language Testing, 9(1), 1‒11.
Skolverket (2009). Bedömaröverensstämmelse vid bedömning av nationella prov. Dnr 2008:286. Stockholm: Skolverket.