Interview met winnaars D-PAC Inspiratie Award

Een schaal ontwikkelen met D-PAC en daar vervolgens 2700 teksten mee beoordelen. Onderzoekers Nina Vandermeulen & Brenda van den Broek wonnen op 15 november met hun prachtige poster over dit onderzoek de D-PAC Inspiratie Award. Wat kunnen zij ons – als ervaringsdeskundigen – leren over comparatief beoordelen?

 

D-PAC Inspiratie Award voor comparatief beoordelen3

Brenda (l) & Nina (r) nemen de D-PAC Inspiratie Award in ontvangst

 

Waar hebben jullie D-PAC voor gebruikt en hoe hebben jullie dat aangepakt?

We hebben D-PAC gebruikt voor het opstellen van een betrouwbaar beoordelings- en feedbackinstrument. We hielden een nationale peiling naar de schrijfvaardigheid van vwo-leerlingen in Nederland en verzamelden zo 2700 syntheseteksten (teksten gebaseerd op verschillende bronnen). We hebben een deel daarvan (300 teksten) beoordeeld met D-PAC op vijf verschillende criteria:

  1. volledigheid, correctheid en relevantie van de informatie
  2. integratie van de bronnen
  3. samenhang (cohesie en coherentie)
  4. taal
  5. algemeen/globaal oordeel

Poster4

Winnende poster D-PAC Inspiratie Award (klik voor groter formaat)

Vervolgens hebben we de vijf schalen die D-PAC opleverde onderverdeeld in vijf kwaliteitscategorieën (oplopend van zeer zwak tot zeer sterk) en zijn we op zoek gegaan naar een representatieve tekst voor elke categorie. Dat was steeds een tekst die zowel globaal als op de vier criteria apart ongeveer dezelfde score had.

Op deze manier hielden we een schaal over met vijf ankerteksten: één gemiddelde tekst en twee (veel) hoger en twee (veel) lager scorende teksten. Deze schaal met ankerteksten is gebruikt om de andere teksten uit onze nationale peiling te beoordelen. Daarnaast gaan we hem ook inzetten om feedback te geven aan leerlingen.

 

Waarom kozen jullie voor D-PAC?

Vooral vanwege de gebruiksvriendelijkheid, zowel voor ons als onderzoekers (geen gedoe met pakketjes opsturen, verwerking achteraf) als voor de beoordelaars (heel intuïtieve manier van beoordelen, twee teksten vergelijken naast elkaar op scherm werkt prettig).

We hadden op PhD-bijeenkomsten kennisgemaakt met Marije Lesterhuis, onderzoeker bij D-PAC, en leerden zo de tool kennen.

 

D-PAC levert betrouwbare beoordelingen op, het is heel eenvoudig in gebruik, werkt prettig en is in veel sectoren inzetbaar.

 

Wat werkte goed?

De vlotte samenwerking met het D-PAC team: na het aanleveren van de data had het D-PAC team heel snel de assessments opgezet. Alle beoordelaars hadden ook binnen de tijd hun beoordelingen afgerond, er was geen uitval. Dat wijst er volgens ons ook op dat het voor hen een prettige ervaring was. Het strookt ook met onze eigen ervaring (want we hebben zelf ook al beoordeeld met D-PAC): het werkt heel intuïtief, je bent als beoordelaar vrij zeker van je oordeel, dat geeft vertrouwen.

 

D-PAC Inspiratie Award voor comparatief beoordelen2

Onderzoekers Brenda & Nina met hun award

 

Wat was lastig?

Eigen aan beoordelen: de betrouwbaarheid. We hebben voor sommige assessments nog een extra beoordelaar moeten inroepen omdat onze betrouwbaarheid (net iets) te laag was voor onderzoeksdoeleinden. We waren overigens in eerste instantie voor het minimum aantal vergelijkingen gegaan en wisten dus dat het zou kunnen dat we beoordelaars zouden moeten toevoegen.

Het goede aan D-PAC is dat je heel makkelijk beoordelaars kan toevoegen om tot een betere betrouwbaarheid van je beoordeling te komen, behalve een extra beoordelaar zoeken heb je hier als onderzoeker verder geen werk aan.

 

Wat zou je een volgende keer anders doen?

Niks! We zouden het zo opnieuw doen!

 

Zijn jullie geïnspireerd geraakt door D-PAC en hoe dan?

Ja, zeker! Aangezien we nu een mooie betrouwbare schaal gemaakt hebben met D-PAC zijn we heel benieuwd naar de verdere ontwikkeling van het plaatsingsalgoritme. In de toekomst zouden we dit graag gebruiken: we stoppen onze schaal in D-PAC en nieuwe teksten kunnen dan in D-PAC beoordeeld worden door vergelijking met de schaal. Dit is niet enkel inzetbaar voor ons als onderzoekers maar zou ook in klassen kunnen worden ingezet: leerlingen zouden er dan er zelf mee aan de slag kunnen als leerproces.

 

Het werkt heel intuïtief, je bent als beoordelaar vrij zeker van je oordeel, dat geeft vertrouwen.

 

Wat voor toekomst zien jullie voor D-PAC?

Wij hebben D-PAC gebruikt voor het beoordelen van teksten maar zoals de grote variatie aan projecten heeft aangetoond kan D-PAC op veel vlakken worden ingezet. Naast het puur beoordelen, kan D-PAC ook worden ingezet als feedback- en leerinstrument in scholen, bijvoorbeeld voor peer-assessment.

D-PAC levert betrouwbare beoordelingen op, het is heel eenvoudig in gebruik, werkt prettig en is in veel sectoren inzetbaar. Er is sowieso een grote markt voor dus met een beetje “chance” (lees: financiering) is er zeker een mooie toekomst weggelegd voor D-PAC.

 

Waar hebben jullie de D-PAC Award gelaten? Is het een wisselbeker die jullie ombeurten een dagje mee naar huis nemen? Of staat hij op een vaste plek?

Die staat te shinen op ons bureau, goed zichtbaar uiteraard. :)

D-PAC Inspiratie Award voor comparatief beoordelen1

Meer weten?

Bezoek de website van het project van Brenda & Nina: LIFT Writing Research.

Bekijk de andere 9 posters die meedongen naar de D-PAC Inspiratie Award

Schrijftaken goed beoordelen, hoe pak je dat het beste aan?

 

Tine Van Reeth, Elies Ghysebrechts & Jolien Polus, o.l.v. Jan T’Sas

 

Iedereen kent het beeld van een leraar die zich zuchtend doorheen een stapel essays worstelt. Elk werkstuk objectief beoordelen is een hele klus. Hoe quoteer je bijvoorbeeld een schrijfopdracht die inhoudelijk sterk is, maar vol spelfouten staat? Vaak ook hebben leraren een verschillend idee van wat een goed essay precies inhoudt. Wat de ene een vlotte schrijfstijl noemt, vindt de andere te informeel. In het kader van onze specifieke lerarenopleiding hebben wij in dat verband een mini-onderzoek opgezet. We vergeleken de gangbare beoordelingsmethode op basis van criteria met een alternatieve methode op basis van comparatief beoordelen. Onze conclusie? Schrijftaken door meerdere leraren laten beoordelen verhoogt de objectiviteit aanzienlijk. 0-1 voor D-PAC.

 

Rubrics or D-PAC to the rescue?

Naar aanleiding van een les Nederlands over recensies, schreven leerlingen uit een klas in het vijfde jaar ASO zelf één over een lied naar keuze. Recensies beoordelen is niet eenvoudig. Gelukkig zijn er hulpmiddelen voorhanden. Eén van de meest bekende is de rubric: een verbeterfiche bestaande uit verschillende relevante criteria (bv. opbouw & argumentatie, spelling & grammatica, stijl, …) waarop punten gegeven worden. Afhankelijk van het belang, kan het aantal te behalen punten voor elk criterium verschillend zijn. In samenspraak met een vakmentor Nederlands stelden we een rubric op. De leerlingen konden de meeste punten verdienen wanneer de recensie inhoudelijk goed was uitgewerkt. De overige criteria in de rubric waren taalgebruik (spelling en grammatica), zinsbouw, structuur, inleiding, woordaantal, stiptheid en originaliteit.

 

rubric_recensie

De leerkracht besprak de rubric vooraf in de klas.

 

Daarnaast zochten we contact met Maarten Goossens. Hij is als medewerker verbonden aan de Universiteit Antwerpen waar hij mee het project rond D-PAC coördineert. D-PAC staat voor het Digitaal Platform voor het Assessment van Competenties. Deze tool betrekt steeds meerdere beoordelaars, die elk meerdere schrijfopdrachten beoordelen. De schrijfopdrachten worden geüpload om vervolgens met elkaar vergeleken te worden. De leraren krijgen telkens twee recensies te zien en kiezen hieruit welke ze de beste vinden. Bij elke vergelijking die ze maken kunnen ze kort de sterke en zwakke punten van beide teksten noteren. Op basis van de keuzes van alle beoordelaars, maakt D-PAC een rangorde op, gaande van de minst goede recensie tot de best beoordeelde recensie. Aan deze rangorde kunnen de leraren vervolgens ook punten toekennen.

 

Rubrics leiden tot subjectiviteit

Ook al geeft een rubric houvast door duidelijk afgebakende criteria aan te bieden, het leidt toch tot grote verschillen in het eindcijfer.  We vroegen zes beoordelaars om twaalf recensies te verbeteren aan de hand van de rubric die we opstelden. Tegen onze verwachtingen in, lagen de punten sterk uiteen. Zo kreeg een bepaalde recensie van één van de beoordelaars 8/20, terwijl een andere beoordelaar vond dat dit werk 16 punten waard was. Figuur 1 laat zien dat beoordelaars ook met betrekking tot andere recensies onderling sterk verschilden in de punten die ze gaven.

 

grafiek blog Tine

Grote verschillen tussen beoordelaars ondanks het gebruik van rubrics.

 

Subjectiviteit bij rubrics verhelpen: wat werkt (niet)?

Het gebruik van een rubric leidt tot grote verschillen tussen de beoordelaars. Niet alleen op vlak van het punt dat zij toekennen, maar ook wat betreft de rangorde van de recensies op basis van deze punten. We bestudeerden namelijk ook de rangordes van elk van de beoordelaars omdat de waarde van een punt bij iedere leraar anders is. Overeenstemmende rangordes zouden er op kunnen wijzen dat de beoordelaars toch een gelijkaardig oordeel hebben over de onderlinge posities van de recensies in termen van beter en slechter. Dit was duidelijk niet het geval. Een recensie die bijvoorbeeld bovenaan in de rangorde van de ene beoordelaar stond, bevond zich bij een andere beoordelaar helemaal onderaan.

We konden de subjectiviteit wel enigszins uitschakelen door per recensie het gemiddelde cijfer van de zes beoordelaars te nemen. Het toegekende cijfer is zo minder afhankelijk is van één beoordelaar en vormt een objectievere maat. Het nadeel is echter dat de werklast voor de leerkrachten sterkt verhoogt. Elke schrijfopdracht moet dan namelijk door meerdere leraren beoordeeld worden, aan de hand van de verschillende criteria in de rubric.

 

 D-PAC: sterk op vlak van objectiviteit en snelheid

D-PAC is een objectievere beoordelingsmethode dan het individueel verbeteren aan de hand van rubrics. We lieten dezelfde twaalf recensies opnieuw verbeteren door dezelfde zes beoordelaars, maar dit keer met behulp van D-PAC. Wat bleek? De resulterende rangorde stemde in grote mate overeen met de rangorde van de gemiddelde scores aan de hand van de rubric. Een ander voordeel die de beoordelaars ervaarden, was dat D-PAC sneller verbetert. Vergelijken en de beste kiezen neemt minder tijd in beslag dan punten geven voor elk van de criteria in een rubric.

Leerkrachten kunnen de werklast delen en daar de vruchten van plukken. Wanneer elke opdracht door meerdere leraren beoordeeld wordt, verhoogt de objectiviteit aanzienlijk. Dat een leraar meer dan alleen zijn of haar eigen stapeltje essays dient te beoordelen wordt goedgemaakt door de efficiëntie van D-PAC: de tool vraagt enkel maar om te vergelijken en de beste uit elk paar te kiezen.

 

Meer weten?

Neem dan snel contact op met d-pac@uantwerpen.be