Skola och SamhälleLovisa Gardell m.fl: Replik – Vetenskapligt tveksamma delar i Tengbergs argumentation
Lovisa Gardell, Anne Palmér och Maria Westman vid enheten Nationella prov i svenska och svenska som andraspråk (Uppsala universitet) går i svaromål, efter Michael Tengbergs kritik av de nationella provens konstruktion och möjlighet till bedömarsamstämmighet (red.)
Michael Tengberg hävdar i sin artikel på S.O.S. den 9 oktober att kvaliteten i det nationella läsprovet för årskurs 9 har brister. Vissa av de problem han pekar på är relevanta och bör åtgärdas. Men annat i Tengbergs argumentation är vetenskapligt tveksamt och måste bemötas. Diskussionen om de nationella proven förtjänar hederlighet och korrekthet.
Den läsning som elever ska utföra i det nationella läsprovet beskrivs i provet som fyra läsförståelseprocesser, ett koncept som också används i internationella läsförståelseprov som PIRLS. En process innebär till exempel att hitta information i texten och en annan att utifrån texten reflektera över innehåll och form.
Tengberg har utfört två undersökningar och drar utifrån dessa slutsatsen att läsprocesserna inte existerar som delkonstrukt i provet.
För det första gör Tengberg en felaktig övertolkning då han implicerar att provgruppen ser läsprocesserna som separata delkonstrukt. Det tydliggörs i provet att processerna går in i varandra och inte klart går att åtskilja. Vi är överens med Tengberg om att underlaget för att se processerna som delkonstrukt är för begränsat. Till provet 2018 (som redan är konstruerat) har vissa förtydliganden angående processerna införts, och efter det förväntar vi oss att denna diskussion kan komma till en punkt.
För det andra är de metoder Tengberg använder otillräckliga för att dra denna slutsats. Det är till exempel inte så att lärares förmåga att skilja uppgifter som prövar olika processer från varandra kan bevisa huruvida de existerar.
Vidare pekar Tengberg på bristande samstämmighet i bedömning av öppna uppgifter, ett känt problem i bedömningsforskning. Detta är en fråga som provgruppen ständigt arbetar med.
De mätningar som utförs i provgruppens referensgrupp för att pröva tillförlitligheten i bedömningsanvisningarna visar ökad samstämmighet mellan bedömare från år 2015 till 2018 års prov. Den procentuella överensstämmelsen mellan bedömarpar för det senaste provet varierar mellan 0,86 och 0,96, vilket är högt. Tengberg & Skar (2016) har arbetat med ett antal lärare från fältet medan våra bedömare är aktiva lärare som också ingår i provgruppens referensgrupp. De är vana bedömare men har inte tränat på att bedöma det aktuella materialet i förväg. Lärarna i Tengberg & Skars studie (2016) hade viss erfarenhet av att bedöma de aktuella uppgifterna.
Den slutsats vi drar är att uppgifterna är fullt möjliga att bedöma samstämmigt. Det åvilar skolhuvudmännen att se till att detta sker.
Vad gäller provets förmåga att sortera elevers läsförmåga i sex olika nivåer är vi medvetna om att provet har förbättringspotential, och en utveckling av provets design pågår.
Under 2017 har Skolverket initierat ett utvecklingsarbete där kvalitetssäkringen av nationella prov i alla ämnen stramas upp och förbättras. Detta sker genom att ett systemramverk har tagits fram av ledande bedömningsforskare från Göteborgs universitet. Systemramverket består av utförliga anvisningar för kvalitetssäkring av prov baserade på internationell standard. På de universitet som utvecklar prov pågår därmed ett kvalitetsarbete som kommer att leda till en säkrare bedömning.
Bland de slutsatser som Tengberg säger sig dra är de flesta hämtade från detta systemramverk, något som Tengberg dock inte anger. Han ingår i provgruppens referensgrupp och har därför tagit del av systemramverkets innehåll. Det är anmärkningsvärt att detta inte framgår i artikeln.
Referens
Michael Tengberg and Gustaf B. Skar. ’’Samstämmighet i lärares bedömning av nationella prov i läsförståelse.’’ Nordic Journal of Literacy Research, Vol. 2, 2016, s 1-18.
Enheten Nationella prov i svenska och svenska som andraspråk, Uppsala universitet
Lovisa Gardell
Anne Palmér
Maria Westman
One Comment on “Lovisa Gardell m.fl: Replik – Vetenskapligt tveksamma delar i Tengbergs argumentation”
Lämna ett svar
STÖD SKOLA OCH SAMHÄLLE!
Skola och Samhälle är en ideell förening. Vi som arbetar med S.O.S. gör det helt utan ersättning. Alla bidrag till en fortsatt kritisk debatt om skola och lärarutbildning mottages tacksamt!
Swisha till: 123 589 43 73
” Uppgifterna är alltså fullt möjliga att bedöma samstämmigt. Det åvilar skolhuvudmännen att se till att detta sker.” skriver Gardell, Palmér och Westman.
Här ser vi ett klassiskt fel som ofta inträffar i offentlig (säkert också i privat) maktutövning, från regeringsnivå och hela vägen in i klassrummet.
”I min klass förekommer ingen mobbing, för det har jag sagt till dem att de inte får hålla på med.” Detta är en autentisk replik från en klasskonferens.
”Jo eleverna har visst inflytande för vi har beslutat det i skolplanen.” Autentisk replik från nämndsledamot i min hemkommun.
Det intressanta, ur forskningssynpunkt men också ur styrningssynpunkt är väl ändå att undersöka om huvudmännen verkligen lever upp till sitt åliggande. Och förstås att undersöka om det ens är möjligt för dem att leva upp till det. Det kanske inte är huvudmannen, utan åliggandet, det är fel på.
Argumentationen känns i övrigt igen från t ex kärnkraftsdebatten. ”OK, säkerheten förr var kanske inte total, men nu har vi genomfört förbättringar som gjort den helt säker.” Det kunde man säga 1978, 1985, 2010 och kommer säkert att upprepa 2023, 2047 och framöver.
Hur ska man kunna använda de nationella proven idag, om de ständigt behöver och kommer att förbättras?
Kjell Arvedson
(Förtydligande från redaktionen: denna kommentar återfanns ursprungligen på Michael Tengbergs inlägg “Den bristande kvaliteten i de nationella läsproven”, men hörde till Lovisa Gardells mfl replik, dit kommentaren nu alltså flyttats)