Eva Hartell m.fl.: Arbeta med komparativ bedömning
Komparativ bedömning har visat sig ge hög tillförlitlighet vid sambedömning av öppna uppgifter och har fått mycket positiv uppmärksamhet i bland annat Irland, Storbritannien, USA och Belgien. Det är än så länge ganska få som använder metoden i Sverige, men författarna, Eva Hartell, Jeffrey Buckley, Lena Gumaelius, Andrew Doyle och Niall Seery, menar att komparativ bedömning är ett bra exempel på hur digitalisering öppnar upp möjligheter för att öka likvärdigheten (red).
Tänk dig uppgiften 3 x 5. Om du bad dina elever att besvara uppgiften och samtidigt bad dem att förklara hur de kom fram till rätt lösning skulle du utan problem förstå om eleven lärt sig principen för multiplikation. Den här typen av uppgifter har ett korrekt svar och lärare som har en grundläggande förståelse för matematik kan bedöma och dra slutsatser utifrån denna förståelse. Men sen finns det uppgifter där lösningen inte alls är lika uppenbar, till exempel konstruktionsuppgifter i teknikämnet, uppsatser i svenska eller problemlösning i matematik.
Som exempel kan vi titta på hur lärare förväntas förstå vilken kunskap som ska bedömas i ämnet teknik. För att uppnå betyg C i slutet av åk 9 måste eleven kunna “genomföra enkla teknikutvecklings-och konstruktionsarbeten genom att undersöka och pröva och ompröva möjliga idéer till lösningar samt utforma utvecklade fysiska eller digitala modeller.” För att uppnå A måste eleven kunna ”…undersöka och systematiskt pröva och ompröva möjliga idéer till lösningar samt utforma välutvecklade och genomarbetade fysiska eller digitala modeller”.
Det är inte lätt att tolka vad eleverna förväntas lära sig eller hur man som lärare ska bedöma denna kunskap. Vad en lärare tolkar som en välutvecklad och genomarbetad modell värd betyget A, kan en annan lärare tolka som inte lika utvecklad modell som motsvarar ett C. Detta dilemma leder i många fall till att bedömningar inte blir likvärdiga, vilket får konsekvenser för eleverna.
Dessvärre så är det svårt att nå hög reliabilitet med traditionella metoder vid bedömning av kreativt arbete och öppna uppgifter. Komparativ bedömning är en tänkbar metod för att nå högre likvärdighet. I stället för att bocka av punkter i en matris eller rättningsmall, jämför den bedömande läraren två elevarbeten med varandra. Det kan till exempel vara två uppsatser eller två multimodala portföljer från en konstruktionsuppgift. Det handlar inte om att bedöma hur mycket bättre ett arbete är, utan endast att ett arbete är bättre. Denna parvisa komparativa procedur upprepas gång på gång inom gruppen av elevarbeten och ofta deltar flera lärare som bedömare. Som slutprodukt får man fram en kvalitetsgradering av de bedömda arbetena, från det bästa till det sämsta elevarbetet som representerar lärarnas kollektiva, professionella bedömning. Vi vill påpeka att det inte är en rankinglista och inte heller att det bästa arbetet per automatik motsvarar betyget A och att det sämsta motsvarar ett E eller ett F – det skulle lika gärna kunna vara så att samtliga arbeten motsvarar ett A. Man kan komplettera bedömningen genom att lägga in några äldre uppsatser/teknikarbeten etc. i bedömningsprocessen, vilket gör det möjligt att relatera arbetena till kvalitetsnivåer och se hur kunskap utvecklas över tid.
Genom ökad användning av komparativ bedömning menar vi att likvärdigheten i skolan kommer att öka. Det är enklare att göra binära holistiska bedömningar istället för absoluta sådana. Följande förenklade exempel kan illustrera detta: Om du ska gissa vikten på en gris kan du genom en lyckoträff ange exakt vikt, men ditt svar skulle sannolikt avvika lite. Andra skulle också kunna gissa olika vikter. Om du blev ombedd att gissa vikten på en elefant skulle det ge samma resultat. Men, om du fick frågan om vilken av grisen och elefanten som vägde mest, så skulle du och de andra bedömarna vara överens.
Forskningsstudier har genomförts med komparativ bedömning, både avseende validitet och reliabilitet, i bland annat Irland, England, USA samt några i Sverige. I studierna har komparativ bedömning använts främst för att bedöma kreativt arbete i teknik och uppsatsskrivning. Studierna har visat på en reliabilitet högre än 90 %, vilket är mycket högt. Tillförlitligheten återspeglar en professionell konsensus i gruppen av bedömare och då flera bedömare tillsammans bedömer elevarbeten med komparativ bedömning ökar likvärdigheten. Det är också relativt enkelt att ordna sambedömning med komparativ bedömning via digital plattform.
Komparativ bedömning har många potentiella användningsområden. Ett exempel är att bedömarna kan lämna kommentarer och förklara varför de valde att ett arbete är bättre än ett annat. Kommentarerna kan användas för att identifiera kriterier som beskriver vad lärare anser vara viktig kompetens i ämnet. Kommentarerna kan ges som feedback både till lärare och studenter. Lärare kan på detta sätt utveckla och träna sin bedömarförmåga. En svensk studie om komparativ bedömning visade att svenska lärare tyckte att metoden svarade upp bra mot behovet att arbeta tillsammans med andra lärare i de bedömningsprocesser som ingår i läraruppdraget.
Denna artikel beskriver främst när lärare är de som bedömer, men man kan också involvera eleverna i bedömningsprocessen. Elever kan både ge och ta emot feedback från sina kamrater. En studie från Universitetet i Limerick visade att studenter genom att bedöma klasskamraters arbeten lärde sig mycket och utvecklade ett sinne för kvalitet. De tvingades även sätta ord på vad de menar med kvalitet. Att låta elever delta i bedömningsprocessen stämmer bra med den svenska läroplanens övergripande mål att skolan ska ansvara för att varje elev efter genomgången grundskola “utvecklar ett allt större ansvar för sina studier, och utvecklar förmågan att själv bedöma sina resultat och ställa egen och andras bedömning i relation till de egna arbetsprestationerna och förutsättningarna” (Skolverket, 2017, s. 18).
De lärare som varit med i våra studier tycker att metoden är mycket användbar och tillsammans med dem ser vi fram emot att vidareutveckla metoden för svenska förhållanden. Användningsområdena är många! Kanske kan vi rätta nationella prov på ett mer rättssäkert sätt? Följa förändring över tid? Framförallt är vi övertygade om möjligheten att träna lärare och elevers näsa för kvalitet genom komparativ bedömning.
Eva Hartell, Jeffrey Buckley, Lena Gumaelius, Andrew Doyle och Niall Seery är alla verksamma i en forskargrupp vid ITM skolan på KTH i Stockholm. Deras forskning handlar om undervisning inom teknik och ingenjörsutbildning och inkluderar bland annat komparativ bedömning. Eva Hartell arbetar även som lektor i Haninge kommun.
Referenser
Bartholomew, S. R., Strimel, G. S., & Yoshikawa, E. (2018). Using Adaptive Comparative Judgment for Student Formative Feedback and Learning During a Middle School Open-ended Design Challenge. International Journal of Technology & Design Education. https://doi.org/10.1007/s10798-018-9442-7
Canty, D., Seery, N., Hartell, E. & Doyle, A. (2017), ”Integrating Peer Assessment in Technology Education through Adaptive Comparative Judgment,” In PATT34 Technology & Engineering Education – Fostering the Creativity of Youth Around The Globe, Millersville University, Pennsylvania, USA. 10–14 July, 2017.
Hartell, E., and Skogh, I. B. (2015). Criteria for Success: A Study of Primary Technology Teachers’ Assessment of Digital Portfolios. Australasian Journal of Technology Education, 2(1) http://ajte.org/index.php/AJTE/article/view/27
Hartell, E. (2018). Teachers’ Self-Efficacy in Assessment in Technology Education. In M. J. de Vries (Ed.), Springer International Handbook of Education: Handbook of Technology Education (1st ed., pp. 785–800). Springer. http://doi.org/10.1007/978-3-319-38889-2_56-1
Statens skolverk (2017) Läroplan för grundskolan, förskoleklassen och fritidshemmet 2011 (reviderad 2017).
van Daal, T., Lesterhuis, M., Coertjens, L., Donche, V., & De Maeyer, S. (2016). Validity of comparative judgement to assess academic writing: examining implications of its holistic character and building on a shared consensus. Assessment in Education: Principles, Policy & Practice, s. 1-16.
När jag var rektor på Paulinska skolan i Strängnäs 1987-1997 jobbade vi tydligen med komparativ bedömning i samband med att Lpo94 och det kriterierelaterade betygssystemet skulle sjösättas.
Vi förstod vad det innebar och redan 1992/93 fick eleverna större uppgifter samtidigt som vi informerade dem om våra krav för betygen 3, 4 och 5. Vi prövade oss fram, bedömde elevresultaten tillsammans och lärde oss att formulera bedömningskriterier som eleverna förstod. Resultatet blev att vi redan 1995 kunde ge varje elev i åk 7 ett litet häfte om 10 A5-sidor med kriterierna för betygen G, VG och MVG i alla ämnen.
Lärare var jättestolta och bjöd in Skolverket för att presentera vårt arbete. De skickade en ung man som kom, lyssnade och förklarade “Så kan man inte göra!” Och då även lokalpolitikerna negligerade vårt arbete sa jag upp mig. Sen dess har jag kämpat för att definiera målstyrning som den politiska styrningen AV skolan och resultatstyrningen som den professionella styrningen I skolan något som kräver att lärare kan göra professionella bedömningar av hög kvalitet.
Tack Eva. Vårt arbete för mer än 25 år sedan har alltså ett vetenskapligt namn. Kul att veta men för sent. Åtminstone för mig.
Tack Lars! Som du säger är detta inget nytt och ja det är inte helt enkelt att förklara. Det har på senare tid kommit internationell litteratur och vi ser fram emot mer. Komperativ bedömning behöver mer uppmärksamhet då det finns många användningsområden och det är en värdefull metod. Det vore oerhört spännande att få ta del av ert arbete på något vis. Ser fram emot kontakt framöver.
Men själva termen ”komparativ bedömning” – riskerar inte den att associera till relativ bedömning och relativa betyg? Skulle det kunna vara bättre på svenska med ”jämförande bedömning”? ”Kollektiv bedömning”? ”Gemensam bedömning”? (ev ”konsensusbedömning”???)
Spelar det någon roll? Alla lärare jämför ändå i någon grad. För att överhuvudtaget kunna operationalisera de abstrakta och – GASP! – *relativa* kunskapskraven använder vi redan elevexempel. Dessa exempel är…olika ”bra”.
D v s: vi jämför redan. Att _i ord_ ange en absolut ”rikslikare” för E, C, respektive A är en omöjlighet. Det enda kunskapskraven faktiskt gör är att relatera E, C, respektive A till varandra, då värdeorden är…
…relativa. Ridå!