Schrijftaken goed beoordelen, hoe pak je dat het beste aan?

 

Tine Van Reeth, Elies Ghysebrechts & Jolien Polus, o.l.v. Jan ‘t Sas

 

Iedereen kent het beeld van een leraar die zich zuchtend doorheen een stapel essays worstelt. Elk werkstuk objectief beoordelen is een hele klus. Hoe quoteer je bijvoorbeeld een schrijfopdracht die inhoudelijk sterk is, maar vol spelfouten staat? Vaak ook hebben leraren een verschillend idee van wat een goed essay precies inhoudt. Wat de ene een vlotte schrijfstijl noemt, vindt de andere te informeel. In het kader van onze specifieke lerarenopleiding hebben wij in dat verband een mini-onderzoek opgezet. We vergeleken de gangbare beoordelingsmethode op basis van criteria met een alternatieve methode op basis van comparatief beoordelen. Onze conclusie? Schrijftaken door meerdere leraren laten beoordelen verhoogt de objectiviteit aanzienlijk. 0-1 voor D-PAC.

 

Rubrics or D-PAC to the rescue?

Naar aanleiding van een les Nederlands over recensies, schreven leerlingen uit een klas in het vijfde jaar ASO zelf één over een lied naar keuze. Recensies beoordelen is niet eenvoudig. Gelukkig zijn er hulpmiddelen voorhanden. Eén van de meest bekende is de rubric: een verbeterfiche bestaande uit verschillende relevante criteria (bv. opbouw & argumentatie, spelling & grammatica, stijl, …) waarop punten gegeven worden. Afhankelijk van het belang, kan het aantal te behalen punten voor elk criterium verschillend zijn. In samenspraak met een vakmentor Nederlands stelden we een rubric op. De leerlingen konden de meeste punten verdienen wanneer de recensie inhoudelijk goed was uitgewerkt. De overige criteria in de rubric waren taalgebruik (spelling en grammatica), zinsbouw, structuur, inleiding, woordaantal, stiptheid en originaliteit.

 

rubric_recensie

De leerkracht besprak de rubric vooraf in de klas.

 

Daarnaast zochten we contact met Maarten Goossens. Hij is als medewerker verbonden aan de Universiteit Antwerpen waar hij mee het project rond D-PAC coördineert. D-PAC staat voor het Digitaal Platform voor het Assessment van Competenties. Deze tool betrekt steeds meerdere beoordelaars, die elk meerdere schrijfopdrachten beoordelen. De schrijfopdrachten worden geüpload om vervolgens met elkaar vergeleken te worden. De leraren krijgen telkens twee recensies te zien en kiezen hieruit welke ze de beste vinden. Bij elke vergelijking die ze maken kunnen ze kort de sterke en zwakke punten van beide teksten noteren. Op basis van de keuzes van alle beoordelaars, maakt D-PAC een rangorde op, gaande van de minst goede recensie tot de best beoordeelde recensie. Aan deze rangorde kunnen de leraren vervolgens ook punten toekennen.

 

Rubrics leiden tot subjectiviteit

Ook al geeft een rubric houvast door duidelijk afgebakende criteria aan te bieden, het leidt toch tot grote verschillen in het eindcijfer.  We vroegen zes beoordelaars om twaalf recensies te verbeteren aan de hand van de rubric die we opstelden. Tegen onze verwachtingen in, lagen de punten sterk uiteen. Zo kreeg een bepaalde recensie van één van de beoordelaars 8/20, terwijl een andere beoordelaar vond dat dit werk 16 punten waard was. Figuur 1 laat zien dat beoordelaars ook met betrekking tot andere recensies onderling sterk verschilden in de punten die ze gaven.

 

grafiek blog Tine

Grote verschillen tussen beoordelaars ondanks het gebruik van rubrics.

 

Subjectiviteit bij rubrics verhelpen: wat werkt (niet)?

Het gebruik van een rubric leidt tot grote verschillen tussen de beoordelaars. Niet alleen op vlak van het punt dat zij toekennen, maar ook wat betreft de rangorde van de recensies op basis van deze punten. We bestudeerden namelijk ook de rangordes van elk van de beoordelaars omdat de waarde van een punt bij iedere leraar anders is. Overeenstemmende rangordes zouden er op kunnen wijzen dat de beoordelaars toch een gelijkaardig oordeel hebben over de onderlinge posities van de recensies in termen van beter en slechter. Dit was duidelijk niet het geval. Een recensie die bijvoorbeeld bovenaan in de rangorde van de ene beoordelaar stond, bevond zich bij een andere beoordelaar helemaal onderaan.

We konden de subjectiviteit wel enigszins uitschakelen door per recensie het gemiddelde cijfer van de zes beoordelaars te nemen. Het toegekende cijfer is zo minder afhankelijk is van één beoordelaar en vormt een objectievere maat. Het nadeel is echter dat de werklast voor de leerkrachten sterkt verhoogt. Elke schrijfopdracht moet dan namelijk door meerdere leraren beoordeeld worden, aan de hand van de verschillende criteria in de rubric.

 

 D-PAC: sterk op vlak van objectiviteit en snelheid

D-PAC is een objectievere beoordelingsmethode dan het individueel verbeteren aan de hand van rubrics. We lieten dezelfde twaalf recensies opnieuw verbeteren door dezelfde zes beoordelaars, maar dit keer met behulp van D-PAC. Wat bleek? De resulterende rangorde stemde in grote mate overeen met de rangorde van de gemiddelde scores aan de hand van de rubric. Een ander voordeel die de beoordelaars ervaarden, was dat D-PAC sneller verbetert. Vergelijken en de beste kiezen neemt minder tijd in beslag dan punten geven voor elk van de criteria in een rubric.

Leerkrachten kunnen de werklast delen en daar de vruchten van plukken. Wanneer elke opdracht door meerdere leraren beoordeeld wordt, verhoogt de objectiviteit aanzienlijk. Dat een leraar meer dan alleen zijn of haar eigen stapeltje essays dient te beoordelen wordt goedgemaakt door de efficiëntie van D-PAC: de tool vraagt enkel maar om te vergelijken en de beste uit elk paar te kiezen.

 

Meer weten?

Neem dan snel contact op met d-pac@uantwerpen.be

 

5/10 voor de juf of meester: geven leerlingen wél eerlijke oordelen?

Soms heb je erg je best gedaan om van die suffe tekenopdracht een meesterwerk te maken! En wat blijkt? Je krijgt van juf of meester maar een 6, terwijl je buurman met een 9 staat te blinken… Is dat wel helemaal eerlijk?

Volgens leerlingen vinden leerkrachten het maar moeilijk om cijfers te geven voor opdrachten zoals schrijven of spreken. Op de Kinderuniversiteit, een initiatief van de Universiteit Antwerpen, onderzoeken we vandaag samen met leerlingen van 8 tot 14 jaar hoe we tot eerlijke beoordelingen kunnen komen. In 3 workshops laten we groepen van 30 leerlingen cijfers geven aan tekeningen van poppetjes. Kunnen zij het beter dan hun leerkracht?

Ook leerlingen blijken zeer verschillende punten te geven. Zo geeft de ene leerling 3 punten voor een tekening, terwijl een andere leerling de tekening maar liefst 8 punten waard vindt. Er zijn zelfs leerlingen die een tekening 4,8 punten geven. Dat is wel heel nauwkeurig!

Blog kinderuniversiteit_foto1

Iedereen heeft een ander idee over hoeveel punten de tekening verdient.

Net als leerkrachten letten leerlingen op zeer verschillende aspecten. Sommige leerlingen kijken naar de kleur in een tekening, terwijl andere leerlingen kijken of het poppetje wel duidelijk getekend is of welke gezichtskenmerken te zien zijn.  De leerlingen zijn ook kritisch tijdens het oordelen. Want hoe oud is de tekenaar eigenlijk, en wat was precies de opdracht? Dat is natuurlijk van invloed op het oordeel dat je geeft.

De oordelen van de leerlingen lopen dus erg uiteen. Kan het anders en beter? We laten de leerlingen eens proberen om tot een rangorde te komen met D-PAC. In groepjes krijgen de leerlingen steeds twee tekeningen die ze met elkaar moeten vergelijken. Volgens de leerlingen is dat een stuk makkelijker, want ‘je hoeft maar van 2 tekeningen te zeggen welke de beste is’. En dat is natuurlijk makkelijker dan een cijfer te kiezen tussen 1 en 10. Het blijkt wel lastig te zijn als twee tekeningen heel erg op elkaar lijken, want welke kies je dan?

 

Blog kinderuniversiteit_foto2   Blog kinderuniversiteit_foto3

‘Ik vind vergelijken makkelijker dan elke tekening een punt te geven.’

 

Het advies van leerlingen aan hun leerkrachten?

  • Het is sowieso niet gemakkelijk om punten te geven;  leerkrachten geven verschillende punten omdat ze naar andere dingen kijken.
  • Geef niet in je eentje punten maar werk samen met collega’s.
  • Geef een bepaalde les opnieuw als de punten erg laag zijn.
  • Geef niet enkel punten, maar zeg ook wat er goed of minder goed is, zodat wij er ook iets van kunnen leren.