Schrijftaken goed beoordelen, hoe pak je dat het beste aan?

 

Tine Van Reeth, Elies Ghysebrechts & Jolien Polus, o.l.v. Jan T’Sas

 

Iedereen kent het beeld van een leraar die zich zuchtend doorheen een stapel essays worstelt. Elk werkstuk objectief beoordelen is een hele klus. Hoe quoteer je bijvoorbeeld een schrijfopdracht die inhoudelijk sterk is, maar vol spelfouten staat? Vaak ook hebben leraren een verschillend idee van wat een goed essay precies inhoudt. Wat de ene een vlotte schrijfstijl noemt, vindt de andere te informeel. In het kader van onze specifieke lerarenopleiding hebben wij in dat verband een mini-onderzoek opgezet. We vergeleken de gangbare beoordelingsmethode op basis van criteria met een alternatieve methode op basis van comparatief beoordelen. Onze conclusie? Schrijftaken door meerdere leraren laten beoordelen verhoogt de objectiviteit aanzienlijk. 0-1 voor D-PAC.

 

Rubrics or D-PAC to the rescue?

Naar aanleiding van een les Nederlands over recensies, schreven leerlingen uit een klas in het vijfde jaar ASO zelf één over een lied naar keuze. Recensies beoordelen is niet eenvoudig. Gelukkig zijn er hulpmiddelen voorhanden. Eén van de meest bekende is de rubric: een verbeterfiche bestaande uit verschillende relevante criteria (bv. opbouw & argumentatie, spelling & grammatica, stijl, …) waarop punten gegeven worden. Afhankelijk van het belang, kan het aantal te behalen punten voor elk criterium verschillend zijn. In samenspraak met een vakmentor Nederlands stelden we een rubric op. De leerlingen konden de meeste punten verdienen wanneer de recensie inhoudelijk goed was uitgewerkt. De overige criteria in de rubric waren taalgebruik (spelling en grammatica), zinsbouw, structuur, inleiding, woordaantal, stiptheid en originaliteit.

 

rubric_recensie

De leerkracht besprak de rubric vooraf in de klas.

 

Daarnaast zochten we contact met Maarten Goossens. Hij is als medewerker verbonden aan de Universiteit Antwerpen waar hij mee het project rond D-PAC coördineert. D-PAC staat voor het Digitaal Platform voor het Assessment van Competenties. Deze tool betrekt steeds meerdere beoordelaars, die elk meerdere schrijfopdrachten beoordelen. De schrijfopdrachten worden geüpload om vervolgens met elkaar vergeleken te worden. De leraren krijgen telkens twee recensies te zien en kiezen hieruit welke ze de beste vinden. Bij elke vergelijking die ze maken kunnen ze kort de sterke en zwakke punten van beide teksten noteren. Op basis van de keuzes van alle beoordelaars, maakt D-PAC een rangorde op, gaande van de minst goede recensie tot de best beoordeelde recensie. Aan deze rangorde kunnen de leraren vervolgens ook punten toekennen.

 

Rubrics leiden tot subjectiviteit

Ook al geeft een rubric houvast door duidelijk afgebakende criteria aan te bieden, het leidt toch tot grote verschillen in het eindcijfer.  We vroegen zes beoordelaars om twaalf recensies te verbeteren aan de hand van de rubric die we opstelden. Tegen onze verwachtingen in, lagen de punten sterk uiteen. Zo kreeg een bepaalde recensie van één van de beoordelaars 8/20, terwijl een andere beoordelaar vond dat dit werk 16 punten waard was. Figuur 1 laat zien dat beoordelaars ook met betrekking tot andere recensies onderling sterk verschilden in de punten die ze gaven.

 

grafiek blog Tine

Grote verschillen tussen beoordelaars ondanks het gebruik van rubrics.

 

Subjectiviteit bij rubrics verhelpen: wat werkt (niet)?

Het gebruik van een rubric leidt tot grote verschillen tussen de beoordelaars. Niet alleen op vlak van het punt dat zij toekennen, maar ook wat betreft de rangorde van de recensies op basis van deze punten. We bestudeerden namelijk ook de rangordes van elk van de beoordelaars omdat de waarde van een punt bij iedere leraar anders is. Overeenstemmende rangordes zouden er op kunnen wijzen dat de beoordelaars toch een gelijkaardig oordeel hebben over de onderlinge posities van de recensies in termen van beter en slechter. Dit was duidelijk niet het geval. Een recensie die bijvoorbeeld bovenaan in de rangorde van de ene beoordelaar stond, bevond zich bij een andere beoordelaar helemaal onderaan.

We konden de subjectiviteit wel enigszins uitschakelen door per recensie het gemiddelde cijfer van de zes beoordelaars te nemen. Het toegekende cijfer is zo minder afhankelijk is van één beoordelaar en vormt een objectievere maat. Het nadeel is echter dat de werklast voor de leerkrachten sterkt verhoogt. Elke schrijfopdracht moet dan namelijk door meerdere leraren beoordeeld worden, aan de hand van de verschillende criteria in de rubric.

 

 D-PAC: sterk op vlak van objectiviteit en snelheid

D-PAC is een objectievere beoordelingsmethode dan het individueel verbeteren aan de hand van rubrics. We lieten dezelfde twaalf recensies opnieuw verbeteren door dezelfde zes beoordelaars, maar dit keer met behulp van D-PAC. Wat bleek? De resulterende rangorde stemde in grote mate overeen met de rangorde van de gemiddelde scores aan de hand van de rubric. Een ander voordeel die de beoordelaars ervaarden, was dat D-PAC sneller verbetert. Vergelijken en de beste kiezen neemt minder tijd in beslag dan punten geven voor elk van de criteria in een rubric.

Leerkrachten kunnen de werklast delen en daar de vruchten van plukken. Wanneer elke opdracht door meerdere leraren beoordeeld wordt, verhoogt de objectiviteit aanzienlijk. Dat een leraar meer dan alleen zijn of haar eigen stapeltje essays dient te beoordelen wordt goedgemaakt door de efficiëntie van D-PAC: de tool vraagt enkel maar om te vergelijken en de beste uit elk paar te kiezen.

 

Meer weten?

Neem dan snel contact op met d-pac@uantwerpen.be

 

Goed nieuws vanuit ‘slechtnieuwscommunicatie’

Masterstudenten meertalige professionele communicatie aan de Universiteit Antwerpen zijn lovend over ons digitale platform D-PAC om competenties comparatief te beoordelen: “We kunnen onze eigen competentie beter inschatten én krijgen door de voorbeelden van anderen inspiratie om onze tekst te herwerken”. Via peer-assessment beoordeelden 80 studenten – in twee groepen – de kwaliteit van elkaars slechtnieuwsbrieven en gaven ze elkaar feedback.  Dat gebeurde in de context van blended learning.

 

Slechtnieuwsbrieven schrijven en vergelijken

Door de teksten van medestudenten onderling te vergelijken, beoordelen studenten elkaars competentie op het vlak van slechtnieuwscommunicatie. Elkaars brieven lezen en de positie van hun eigen tekst op de uiteindelijke rangorde zien, levert hen interessante feedback op. 

Voor een opdracht binnen het vak ‘Specialisatie Bedrijfscommunicatie’ moesten de studenten schriftelijk reageren op een klacht van een klant. Daaraan gekoppeld kregen de studenten de kans om de feedbackmodule van D-PAC, uit te testen. De docenten, Luuk Van Waes en Suzy Stals, van het departement Management, over de taak: “Na zelfstudie over het thema slechtnieuwscommunicatie via onze website www.calliope.be werkten onze studenten de case Learn-It uit. Vervolgens laadden ze hun brief in D-PAC op. Elk van hen maakte 10 vergelijkingen: ze kozen telkens de beste brief uit elk paar en noteerden suggesties voor elkaar hoe het beter kan”.  

screenshot_Calliope

De opdracht: schriftelijk reageren op een klacht en elkaars brieven beoordelen via D-PAC.

 

Via de methode van comparatieve beoordeling lazen en vergeleken alle studenten dus meerdere brieven. Dit experiment met peer-beoordelaars leverde een rangorde van de teksten op, gaande van de slechtst beoordeelde brief tot het beste exemplaar. De studenten kregen een dag voor het feedbackcollege toegang tot de (geanonimiseerde) brieven van hun medestudenten en konden hun eigen brief in de rangorde identificeren. Op basis van deze feedback, samen met een terugkoppeling van de docenten tijdens het college, konden de studenten hun brief in een volgende fase herwerken.

 

Vele voorbeelden verschaffen volop inspiratie

D-PAC biedt studenten de kans om inspiratie op te doen en te leren van elkaar, voornamelijk door verschillende brieven van medestudenten in paren te vergelijken en altijd de beste aan te duiden. Het peer-assessment duurde gemiddeld twee tot twee en een half uur.

Door kennis te maken met de (strategische) aanpak van hun collega’s, doen de studenten ideeën op om hun eigen aanpak aan te scherpen. Ze kregen tijdens het experiment immers veel andere voorbeelden van mogelijke reacties op de klacht te lezen. Het digitale platform wees de paren brieven op basis van toeval aan de studenten toe. Maximaal kon een student op basis van tien vergelijkingen inzichten halen uit maar liefst 20 andere brieven. Bovendien kregen studenten achteraf ook de mogelijkheid om alle andere brieven te bekijken, inclusief de feedback daarbij.

 

Beter of slechter dan de anderen? D-PAC houdt studenten een spiegel voor

Het resultaat van alle vergelijkingen die de studenten maken, levert een rangorde  op: van de slechtst beoordeelde tot de beste slechtnieuwsbrief. De positie in de finale rangorde geeft de studenten een duidelijk beeld of ze bij de betere of de zwakkere schrijvers horen. Zo maakt D-PAC het mogelijk om het eigen competentieniveau beter in te schatten in relatie tot dat van anderen. En dat is iets wat de studenten duidelijk op prijs stelden.

Slechtnieuwsbrieven_rangorde_v2

De rangorde: waar positioneer ik mij ten opzichte van anderen?

 

Maar hoe representatief is deze rangorde eigenlijk? De docenten waarschuwen ervoor om ook rekening te houden met het feit dat de studenten nog niet aan het einde van hun leertraject zitten. De rangorde is zeker niet helemaal perfect: “de student die volgens ons de beste brief had geschreven stond op nummer 17 in de rangschikking van de studenten. En in de brieven van hun top drie kwamen soms nog wel fundamentele problemen voor. Maar we weten dat ook professionele beoordelaars het niet zomaar altijd eens zijn met elkaar.” Professor Van Waes en Suzy Stals vervolgen: “We zijn dan ook erg benieuwd naar een herhaling van het experiment waarbij we hen ná het feedbackcollege teksten laten vergelijken.” Onze voorspelling is in elk geval dat de ranking aan het einde van het traject beter overeen zal stemmen met het oordeel van de docenten.

 

Zelf aan de slag?

Benieuwd of jouw organisatie ook gebruik kan maken van de troeven van D-PAC?  Wil je een peer-assessment opzetten waarbij leerlingen, studenten of werknemers elkaars werk beoordelen en van elkaar leren? En ook liefst op een eenvoudige en efficiënte manier?

Neem dan snel contact op met ons, via d-pac@uantwerpen.be