Interview met winnaars D-PAC Inspiratie Award

Een schaal ontwikkelen met D-PAC en daar vervolgens 2700 teksten mee beoordelen. Onderzoekers Nina Vandermeulen & Brenda van den Broek wonnen op 15 november met hun prachtige poster over dit onderzoek de D-PAC Inspiratie Award. Wat kunnen zij ons – als ervaringsdeskundigen – leren over comparatief beoordelen?

 

D-PAC Inspiratie Award voor comparatief beoordelen3

Brenda (l) & Nina (r) nemen de D-PAC Inspiratie Award in ontvangst

 

Waar hebben jullie D-PAC voor gebruikt en hoe hebben jullie dat aangepakt?

We hebben D-PAC gebruikt voor het opstellen van een betrouwbaar beoordelings- en feedbackinstrument. We hielden een nationale peiling naar de schrijfvaardigheid van vwo-leerlingen in Nederland en verzamelden zo 2700 syntheseteksten (teksten gebaseerd op verschillende bronnen). We hebben een deel daarvan (300 teksten) beoordeeld met D-PAC op vijf verschillende criteria:

  1. volledigheid, correctheid en relevantie van de informatie
  2. integratie van de bronnen
  3. samenhang (cohesie en coherentie)
  4. taal
  5. algemeen/globaal oordeel

Poster4

Winnende poster D-PAC Inspiratie Award (klik voor groter formaat)

Vervolgens hebben we de vijf schalen die D-PAC opleverde onderverdeeld in vijf kwaliteitscategorieën (oplopend van zeer zwak tot zeer sterk) en zijn we op zoek gegaan naar een representatieve tekst voor elke categorie. Dat was steeds een tekst die zowel globaal als op de vier criteria apart ongeveer dezelfde score had.

Op deze manier hielden we een schaal over met vijf ankerteksten: één gemiddelde tekst en twee (veel) hoger en twee (veel) lager scorende teksten. Deze schaal met ankerteksten is gebruikt om de andere teksten uit onze nationale peiling te beoordelen. Daarnaast gaan we hem ook inzetten om feedback te geven aan leerlingen.

 

Waarom kozen jullie voor D-PAC?

Vooral vanwege de gebruiksvriendelijkheid, zowel voor ons als onderzoekers (geen gedoe met pakketjes opsturen, verwerking achteraf) als voor de beoordelaars (heel intuïtieve manier van beoordelen, twee teksten vergelijken naast elkaar op scherm werkt prettig).

We hadden op PhD-bijeenkomsten kennisgemaakt met Marije Lesterhuis, onderzoeker bij D-PAC, en leerden zo de tool kennen.

 

D-PAC levert betrouwbare beoordelingen op, het is heel eenvoudig in gebruik, werkt prettig en is in veel sectoren inzetbaar.

 

Wat werkte goed?

De vlotte samenwerking met het D-PAC team: na het aanleveren van de data had het D-PAC team heel snel de assessments opgezet. Alle beoordelaars hadden ook binnen de tijd hun beoordelingen afgerond, er was geen uitval. Dat wijst er volgens ons ook op dat het voor hen een prettige ervaring was. Het strookt ook met onze eigen ervaring (want we hebben zelf ook al beoordeeld met D-PAC): het werkt heel intuïtief, je bent als beoordelaar vrij zeker van je oordeel, dat geeft vertrouwen.

 

D-PAC Inspiratie Award voor comparatief beoordelen2

Onderzoekers Brenda & Nina met hun award

 

Wat was lastig?

Eigen aan beoordelen: de betrouwbaarheid. We hebben voor sommige assessments nog een extra beoordelaar moeten inroepen omdat onze betrouwbaarheid (net iets) te laag was voor onderzoeksdoeleinden. We waren overigens in eerste instantie voor het minimum aantal vergelijkingen gegaan en wisten dus dat het zou kunnen dat we beoordelaars zouden moeten toevoegen.

Het goede aan D-PAC is dat je heel makkelijk beoordelaars kan toevoegen om tot een betere betrouwbaarheid van je beoordeling te komen, behalve een extra beoordelaar zoeken heb je hier als onderzoeker verder geen werk aan.

 

Wat zou je een volgende keer anders doen?

Niks! We zouden het zo opnieuw doen!

 

Zijn jullie geïnspireerd geraakt door D-PAC en hoe dan?

Ja, zeker! Aangezien we nu een mooie betrouwbare schaal gemaakt hebben met D-PAC zijn we heel benieuwd naar de verdere ontwikkeling van het plaatsingsalgoritme. In de toekomst zouden we dit graag gebruiken: we stoppen onze schaal in D-PAC en nieuwe teksten kunnen dan in D-PAC beoordeeld worden door vergelijking met de schaal. Dit is niet enkel inzetbaar voor ons als onderzoekers maar zou ook in klassen kunnen worden ingezet: leerlingen zouden er dan er zelf mee aan de slag kunnen als leerproces.

 

Het werkt heel intuïtief, je bent als beoordelaar vrij zeker van je oordeel, dat geeft vertrouwen.

 

Wat voor toekomst zien jullie voor D-PAC?

Wij hebben D-PAC gebruikt voor het beoordelen van teksten maar zoals de grote variatie aan projecten heeft aangetoond kan D-PAC op veel vlakken worden ingezet. Naast het puur beoordelen, kan D-PAC ook worden ingezet als feedback- en leerinstrument in scholen, bijvoorbeeld voor peer-assessment.

D-PAC levert betrouwbare beoordelingen op, het is heel eenvoudig in gebruik, werkt prettig en is in veel sectoren inzetbaar. Er is sowieso een grote markt voor dus met een beetje “chance” (lees: financiering) is er zeker een mooie toekomst weggelegd voor D-PAC.

 

Waar hebben jullie de D-PAC Award gelaten? Is het een wisselbeker die jullie ombeurten een dagje mee naar huis nemen? Of staat hij op een vaste plek?

Die staat te shinen op ons bureau, goed zichtbaar uiteraard. :)

D-PAC Inspiratie Award voor comparatief beoordelen1

Meer weten?

Bezoek de website van het project van Brenda & Nina: LIFT Writing Research.

Bekijk de andere 9 posters die meedongen naar de D-PAC Inspiratie Award

D-PAC wint de Prijs voor Examens van de NVE

Op 23 november won D-PAC de Prijs voor Examens tijdens het congres van de Nederlandse Vereniging voor Examens (NVE). We namen het op tegen vier andere indrukwekkende innovaties en zijn dus extra trots dat de jury D-PAC ziet als de bijzonderste recente prestatie op het gebied van toetsing en beoordeling.

 

D-PAC wint de Prijs voor Examens van de Nederlandse Vereniging voor Examens

Renske Bouwer (tweede van links) met de juryprijs, links Hester Brenninkmeijer die met eX:plain de publieksprijs won

Uit het juryrapport

De jury koos D-PAC als winnaar om de volgende redenen:

  • Het concept is volledig en heeft reeds resultaat geboekt.
  • De tool is direct bruikbaar en er wordt zichtbaar aandacht besteed aan ondersteuning van (potentiële) gebruikers middels video’s en instructies.
  • De tool is professioneel vormgegeven en gebruiksvriendelijk.
  • De tool is nog steeds in ontwikkeling (doorontwikkeling qua nieuwe features en het doorvoeren van verbeteringen).

Prijs voor Examens

De NVE kent een Prijs voor Examens toe voor een bijzondere, recente prestatie op het gebied van toetsing, beoordeling en examinering. De prijs wordt tweejaarlijks toegekend en uitgereikt tijdens het NVE-congres aan een persoon, een groep personen of een instelling. Een jury beoordeelt de inzendingen aan de hand van onderstaande criteria:

  • creativiteit en inventiviteit,
  • waardevolheid voor anderen in de toets- en examenpraktijk,
  • overdraagbaarheid naar andere toetssituaties,
  • toetskwaliteit.

Bekijk de andere genomineerden op de website van de NVE

D-PAC wint Prijs voor Examens

Schrijftaken goed beoordelen, hoe pak je dat het beste aan?

 

Tine Van Reeth, Elies Ghysebrechts & Jolien Polus, o.l.v. Jan T’Sas

 

Iedereen kent het beeld van een leraar die zich zuchtend doorheen een stapel essays worstelt. Elk werkstuk objectief beoordelen is een hele klus. Hoe quoteer je bijvoorbeeld een schrijfopdracht die inhoudelijk sterk is, maar vol spelfouten staat? Vaak ook hebben leraren een verschillend idee van wat een goed essay precies inhoudt. Wat de ene een vlotte schrijfstijl noemt, vindt de andere te informeel. In het kader van onze specifieke lerarenopleiding hebben wij in dat verband een mini-onderzoek opgezet. We vergeleken de gangbare beoordelingsmethode op basis van criteria met een alternatieve methode op basis van comparatief beoordelen. Onze conclusie? Schrijftaken door meerdere leraren laten beoordelen verhoogt de objectiviteit aanzienlijk. 0-1 voor D-PAC.

 

Rubrics or D-PAC to the rescue?

Naar aanleiding van een les Nederlands over recensies, schreven leerlingen uit een klas in het vijfde jaar ASO zelf één over een lied naar keuze. Recensies beoordelen is niet eenvoudig. Gelukkig zijn er hulpmiddelen voorhanden. Eén van de meest bekende is de rubric: een verbeterfiche bestaande uit verschillende relevante criteria (bv. opbouw & argumentatie, spelling & grammatica, stijl, …) waarop punten gegeven worden. Afhankelijk van het belang, kan het aantal te behalen punten voor elk criterium verschillend zijn. In samenspraak met een vakmentor Nederlands stelden we een rubric op. De leerlingen konden de meeste punten verdienen wanneer de recensie inhoudelijk goed was uitgewerkt. De overige criteria in de rubric waren taalgebruik (spelling en grammatica), zinsbouw, structuur, inleiding, woordaantal, stiptheid en originaliteit.

 

rubric_recensie

De leerkracht besprak de rubric vooraf in de klas.

 

Daarnaast zochten we contact met Maarten Goossens. Hij is als medewerker verbonden aan de Universiteit Antwerpen waar hij mee het project rond D-PAC coördineert. D-PAC staat voor het Digitaal Platform voor het Assessment van Competenties. Deze tool betrekt steeds meerdere beoordelaars, die elk meerdere schrijfopdrachten beoordelen. De schrijfopdrachten worden geüpload om vervolgens met elkaar vergeleken te worden. De leraren krijgen telkens twee recensies te zien en kiezen hieruit welke ze de beste vinden. Bij elke vergelijking die ze maken kunnen ze kort de sterke en zwakke punten van beide teksten noteren. Op basis van de keuzes van alle beoordelaars, maakt D-PAC een rangorde op, gaande van de minst goede recensie tot de best beoordeelde recensie. Aan deze rangorde kunnen de leraren vervolgens ook punten toekennen.

 

Rubrics leiden tot subjectiviteit

Ook al geeft een rubric houvast door duidelijk afgebakende criteria aan te bieden, het leidt toch tot grote verschillen in het eindcijfer.  We vroegen zes beoordelaars om twaalf recensies te verbeteren aan de hand van de rubric die we opstelden. Tegen onze verwachtingen in, lagen de punten sterk uiteen. Zo kreeg een bepaalde recensie van één van de beoordelaars 8/20, terwijl een andere beoordelaar vond dat dit werk 16 punten waard was. Figuur 1 laat zien dat beoordelaars ook met betrekking tot andere recensies onderling sterk verschilden in de punten die ze gaven.

 

grafiek blog Tine

Grote verschillen tussen beoordelaars ondanks het gebruik van rubrics.

 

Subjectiviteit bij rubrics verhelpen: wat werkt (niet)?

Het gebruik van een rubric leidt tot grote verschillen tussen de beoordelaars. Niet alleen op vlak van het punt dat zij toekennen, maar ook wat betreft de rangorde van de recensies op basis van deze punten. We bestudeerden namelijk ook de rangordes van elk van de beoordelaars omdat de waarde van een punt bij iedere leraar anders is. Overeenstemmende rangordes zouden er op kunnen wijzen dat de beoordelaars toch een gelijkaardig oordeel hebben over de onderlinge posities van de recensies in termen van beter en slechter. Dit was duidelijk niet het geval. Een recensie die bijvoorbeeld bovenaan in de rangorde van de ene beoordelaar stond, bevond zich bij een andere beoordelaar helemaal onderaan.

We konden de subjectiviteit wel enigszins uitschakelen door per recensie het gemiddelde cijfer van de zes beoordelaars te nemen. Het toegekende cijfer is zo minder afhankelijk is van één beoordelaar en vormt een objectievere maat. Het nadeel is echter dat de werklast voor de leerkrachten sterkt verhoogt. Elke schrijfopdracht moet dan namelijk door meerdere leraren beoordeeld worden, aan de hand van de verschillende criteria in de rubric.

 

 D-PAC: sterk op vlak van objectiviteit en snelheid

D-PAC is een objectievere beoordelingsmethode dan het individueel verbeteren aan de hand van rubrics. We lieten dezelfde twaalf recensies opnieuw verbeteren door dezelfde zes beoordelaars, maar dit keer met behulp van D-PAC. Wat bleek? De resulterende rangorde stemde in grote mate overeen met de rangorde van de gemiddelde scores aan de hand van de rubric. Een ander voordeel die de beoordelaars ervaarden, was dat D-PAC sneller verbetert. Vergelijken en de beste kiezen neemt minder tijd in beslag dan punten geven voor elk van de criteria in een rubric.

Leerkrachten kunnen de werklast delen en daar de vruchten van plukken. Wanneer elke opdracht door meerdere leraren beoordeeld wordt, verhoogt de objectiviteit aanzienlijk. Dat een leraar meer dan alleen zijn of haar eigen stapeltje essays dient te beoordelen wordt goedgemaakt door de efficiëntie van D-PAC: de tool vraagt enkel maar om te vergelijken en de beste uit elk paar te kiezen.

 

Meer weten?

Neem dan snel contact op met d-pac@uantwerpen.be

 

Goed nieuws vanuit ‘slechtnieuwscommunicatie’

Masterstudenten meertalige professionele communicatie aan de Universiteit Antwerpen zijn lovend over ons digitale platform D-PAC om competenties comparatief te beoordelen: “We kunnen onze eigen competentie beter inschatten én krijgen door de voorbeelden van anderen inspiratie om onze tekst te herwerken”. Via peer-assessment beoordeelden 80 studenten – in twee groepen – de kwaliteit van elkaars slechtnieuwsbrieven en gaven ze elkaar feedback.  Dat gebeurde in de context van blended learning.

 

Slechtnieuwsbrieven schrijven en vergelijken

Door de teksten van medestudenten onderling te vergelijken, beoordelen studenten elkaars competentie op het vlak van slechtnieuwscommunicatie. Elkaars brieven lezen en de positie van hun eigen tekst op de uiteindelijke rangorde zien, levert hen interessante feedback op. 

Voor een opdracht binnen het vak ‘Specialisatie Bedrijfscommunicatie’ moesten de studenten schriftelijk reageren op een klacht van een klant. Daaraan gekoppeld kregen de studenten de kans om de feedbackmodule van D-PAC, uit te testen. De docenten, Luuk Van Waes en Suzy Stals, van het departement Management, over de taak: “Na zelfstudie over het thema slechtnieuwscommunicatie via onze website www.calliope.be werkten onze studenten de case Learn-It uit. Vervolgens laadden ze hun brief in D-PAC op. Elk van hen maakte 10 vergelijkingen: ze kozen telkens de beste brief uit elk paar en noteerden suggesties voor elkaar hoe het beter kan”.  

screenshot_Calliope

De opdracht: schriftelijk reageren op een klacht en elkaars brieven beoordelen via D-PAC.

 

Via de methode van comparatieve beoordeling lazen en vergeleken alle studenten dus meerdere brieven. Dit experiment met peer-beoordelaars leverde een rangorde van de teksten op, gaande van de slechtst beoordeelde brief tot het beste exemplaar. De studenten kregen een dag voor het feedbackcollege toegang tot de (geanonimiseerde) brieven van hun medestudenten en konden hun eigen brief in de rangorde identificeren. Op basis van deze feedback, samen met een terugkoppeling van de docenten tijdens het college, konden de studenten hun brief in een volgende fase herwerken.

 

Vele voorbeelden verschaffen volop inspiratie

D-PAC biedt studenten de kans om inspiratie op te doen en te leren van elkaar, voornamelijk door verschillende brieven van medestudenten in paren te vergelijken en altijd de beste aan te duiden. Het peer-assessment duurde gemiddeld twee tot twee en een half uur.

Door kennis te maken met de (strategische) aanpak van hun collega’s, doen de studenten ideeën op om hun eigen aanpak aan te scherpen. Ze kregen tijdens het experiment immers veel andere voorbeelden van mogelijke reacties op de klacht te lezen. Het digitale platform wees de paren brieven op basis van toeval aan de studenten toe. Maximaal kon een student op basis van tien vergelijkingen inzichten halen uit maar liefst 20 andere brieven. Bovendien kregen studenten achteraf ook de mogelijkheid om alle andere brieven te bekijken, inclusief de feedback daarbij.

 

Beter of slechter dan de anderen? D-PAC houdt studenten een spiegel voor

Het resultaat van alle vergelijkingen die de studenten maken, levert een rangorde  op: van de slechtst beoordeelde tot de beste slechtnieuwsbrief. De positie in de finale rangorde geeft de studenten een duidelijk beeld of ze bij de betere of de zwakkere schrijvers horen. Zo maakt D-PAC het mogelijk om het eigen competentieniveau beter in te schatten in relatie tot dat van anderen. En dat is iets wat de studenten duidelijk op prijs stelden.

Slechtnieuwsbrieven_rangorde_v2

De rangorde: waar positioneer ik mij ten opzichte van anderen?

 

Maar hoe representatief is deze rangorde eigenlijk? De docenten waarschuwen ervoor om ook rekening te houden met het feit dat de studenten nog niet aan het einde van hun leertraject zitten. De rangorde is zeker niet helemaal perfect: “de student die volgens ons de beste brief had geschreven stond op nummer 17 in de rangschikking van de studenten. En in de brieven van hun top drie kwamen soms nog wel fundamentele problemen voor. Maar we weten dat ook professionele beoordelaars het niet zomaar altijd eens zijn met elkaar.” Professor Van Waes en Suzy Stals vervolgen: “We zijn dan ook erg benieuwd naar een herhaling van het experiment waarbij we hen ná het feedbackcollege teksten laten vergelijken.” Onze voorspelling is in elk geval dat de ranking aan het einde van het traject beter overeen zal stemmen met het oordeel van de docenten.

 

Zelf aan de slag?

Benieuwd of jouw organisatie ook gebruik kan maken van de troeven van D-PAC?  Wil je een peer-assessment opzetten waarbij leerlingen, studenten of werknemers elkaars werk beoordelen en van elkaar leren? En ook liefst op een eenvoudige en efficiënte manier?

Neem dan snel contact op met ons, via d-pac@uantwerpen.be

Hoe Academie feedback op kunstwerken losweekt via live app

‘Onze studenten zelf laten ervaren hoe bezoekers hun creaties ervaren, welke observaties zij maken, hoe zij hun werk gewaarworden; dat is het doel van onze Black Box-tentoonstelling’, zo vertelt Gio De Weerd, directeur van de Stedelijke Academie voor Schone Kunsten in Lier. Met onze online tool om competenties te beoordelen zag hij kansen om deze doelstelling op een innovatieve manier te realiseren. Bezoekers liepen met de app van D-PAC door de tentoonstelling. Ze vergeleken steeds twee kunstwerken met elkaar, kozen hun favoriet en gaven beide studenten feedback.

 

Tentoonstellen om te leren van het publiek

De kunstacademie in Lier geeft haar studenten jaarlijks de gelegenheid om werk te presenteren. Met deze Black Box-tentoonstelling wil men duidelijk meer dan een louter toonmoment organiseren. De school schakelt doelbewust bezoekers in om de studenten te laten ervaren hoe zij naar hun werk kijken. Voorheen enkel via feedback op steekkaarten die bezoekers anoniem in een zwarte doos konden droppen, nu ook – als experiment – via de live app van D-PAC.

 

Kunstwerken live vergelijken en online feedback geven

De school vond 14 bezoekers bereid om mee te werken aan hun experiment om studenten inzicht te geven in de beleving van een publiek. Eind januari gingen zij enthousiast op wandel langs het werk van 10 verschillende exposanten. Kris kras, geleid door hun smartphone of tablet waarop telkens twee willekeurige kunstwerken oplichtten. De opdracht daarbij was duidelijk: welk van beide kunstwerken vind jij het beste? Bezoekers duidden telkens een favoriet aan en gaven beide kunstwerken feedback. De opdrachten volgden elkaar op, waarbij eenzelfde werk ook meer dan eens vergeleken moest worden. Zo legden de bezoekers een heel individueel parcours van oeuvres af en hadden ze na afloop alle  kunstwerken gezien.

 

authentieke ervaring

De live app van D-PAC zorgt voor een authentieke ervaring bij het vergelijken en beoordelen van kunstwerken.

 

‘Kunst ervaren lukt niet aan de hand van foto’s alleen’

Het gebruik van de live applicatie betekende voor de school dat de bezoekers de look & feel van reële, tastbare fotografie, tekeningen en installaties konden beoordelen. De meeste bezoekers gingen de werken daadwerkelijk live monsteren in plaats van de foto’s op hun toestel te beoordelen. ‘Dat gaat immers niet aan de hand van foto’s alleen’, verduidelijkte een bezoeker.

 

Kunststudenten krijgen feedback over vakmanschap en kunstenaarschap

Studenten laten leren uit de feedback van bezoekers, daar streefde de Academie naar. De live app van D-PAC bleek hiervoor een ideaal kanaal. Bezoekers beoordeelden de kunstwerken uitgebreid op twee aspecten. Voor vakmanschap formuleerden bezoekers bij een bepaald schilderij bijvoorbeeld opmerkingen en tips over toonverloop, dieptezicht, kleurschakeringen, illusie van perspectief, enz. Ook in de feedback over kunstenaarschap school veel rijkdom. Sommige bezoekers gaven aan hoe het kunstwerk hen aan het denken zetten of mogelijkheden tot interpretatie bood, terwijl anderen reageerden op de vanzelfsprekendheid van een kunstwerk of de overdaad aan melancholie.

 

D-PAC zorgt voor gevarieerde feedback van meerdere beoordelaars

Wat D-PAC voor de Academie interessant maakt is dat elke bezoeker bij elk werk meer dan één observatie terugkoppelt. Eigen aan de tool is namelijk dat het elk werk meerdere keren, in verschillende vergelijkingen laat opduiken. Alsof de live app de bezoeker dwingt om bij elke nieuwe vergelijking van een bepaald werk toch weer een iets andere bril op te zetten. ‘Je kunt moeilijk elke keer dezelfde feedback geven bij een bepaald schilderij.’, verduidelijkt een bezoeker. Een beoordelaar die een werk meerdere keren te zien krijgt gaat telkens net weer iets anders of iets nieuws opvallen.

Daarnaast maakt de live app van D-PAC het mogelijk dat alle deelnemende kunstenaars feedback krijgen van alle bezoekers. De digitale tool dwingt beoordelaars immers als het ware elk werk te vergelijken met steeds een willekeurige andere en er feedback bij te noteren. ‘Dit was bij vorige edities van de Black Box tentoonstelling wel eens anders’, licht Gio als hoofd van de Academie toe. Sommige kunstenaars kregen wel eens meer feedback dan anderen. En dat is natuurlijk een gemiste kans.

 

àndere kijk (2)

De live app van D-PAC laat de kijker steeds op een andere manier naar het kunstwerk kijken. Hierdoor wordt de feedback voor de kunstenaar uiteindelijk rijker.

 

Lessen uit de Kunsten

Wat we zelf geleerd hebben uit deze eerste try-out met de live applicatie van D-PAC, is dat de bezoekers de opdracht om twee werken te vergelijken, een favoriet te kiezen en feedback te geven een goede techniek vonden. Goed, maar niet eenvoudig.

Wat het vergelijkend beoordelen moeilijk maakte, was dat:

  • de werken onderling nogal sterk verschilden wat betreft aard en uitwerking;
  • de oeuvres fysiek niet steeds dicht bijeen te vinden waren; 
  • de app nog onvoldoende perfect ontwikkeld is voor gebruik op een mobiel toestel.

Feedback die we beslist meepakken bij de volgende live toepassingen van D-PAC.

 

Zelf testen?

Ben jij betrokken bij een academie, conservatorium, museum of expositie en wil je graag zelf eens experimenteren met de live tool van D-PAC? Ben je nieuwsgierig naar de diverse toepassingsmogelijkheden voor jouw organisatie?

Neem dan snel contact op met ons:

 

5/10 voor de juf of meester: geven leerlingen wél eerlijke oordelen?

Soms heb je erg je best gedaan om van die suffe tekenopdracht een meesterwerk te maken! En wat blijkt? Je krijgt van juf of meester maar een 6, terwijl je buurman met een 9 staat te blinken… Is dat wel helemaal eerlijk?

Volgens leerlingen vinden leerkrachten het maar moeilijk om cijfers te geven voor opdrachten zoals schrijven of spreken. Op de Kinderuniversiteit, een initiatief van de Universiteit Antwerpen, onderzoeken we vandaag samen met leerlingen van 8 tot 14 jaar hoe we tot eerlijke beoordelingen kunnen komen. In 3 workshops laten we groepen van 30 leerlingen cijfers geven aan tekeningen van poppetjes. Kunnen zij het beter dan hun leerkracht?

Ook leerlingen blijken zeer verschillende punten te geven. Zo geeft de ene leerling 3 punten voor een tekening, terwijl een andere leerling de tekening maar liefst 8 punten waard vindt. Er zijn zelfs leerlingen die een tekening 4,8 punten geven. Dat is wel heel nauwkeurig!

Blog kinderuniversiteit_foto1

Iedereen heeft een ander idee over hoeveel punten de tekening verdient.

Net als leerkrachten letten leerlingen op zeer verschillende aspecten. Sommige leerlingen kijken naar de kleur in een tekening, terwijl andere leerlingen kijken of het poppetje wel duidelijk getekend is of welke gezichtskenmerken te zien zijn.  De leerlingen zijn ook kritisch tijdens het oordelen. Want hoe oud is de tekenaar eigenlijk, en wat was precies de opdracht? Dat is natuurlijk van invloed op het oordeel dat je geeft.

De oordelen van de leerlingen lopen dus erg uiteen. Kan het anders en beter? We laten de leerlingen eens proberen om tot een rangorde te komen met D-PAC. In groepjes krijgen de leerlingen steeds twee tekeningen die ze met elkaar moeten vergelijken. Volgens de leerlingen is dat een stuk makkelijker, want ‘je hoeft maar van 2 tekeningen te zeggen welke de beste is’. En dat is natuurlijk makkelijker dan een cijfer te kiezen tussen 1 en 10. Het blijkt wel lastig te zijn als twee tekeningen heel erg op elkaar lijken, want welke kies je dan?

 

Blog kinderuniversiteit_foto2   Blog kinderuniversiteit_foto3

‘Ik vind vergelijken makkelijker dan elke tekening een punt te geven.’

 

Het advies van leerlingen aan hun leerkrachten?

  • Het is sowieso niet gemakkelijk om punten te geven;  leerkrachten geven verschillende punten omdat ze naar andere dingen kijken.
  • Geef niet in je eentje punten maar werk samen met collega’s.
  • Geef een bepaalde les opnieuw als de punten erg laag zijn.
  • Geef niet enkel punten, maar zeg ook wat er goed of minder goed is, zodat wij er ook iets van kunnen leren.

Which video is better? D-PAC allows educators to assess videos in an easy and credible way

Different types of media such as video, audio, or images are increasingly used for the assessment of students’ competences. However, as they allow for a large variation in performance between students, the process of grading is rather difficult. The online tool D-PAC aims to support educators in the assessment of video and images.

 

In D-PAC, students can easily upload their work in any media type (text, audio, image, video), after which the work is presented in randomly selected pairs to the assessors. The only task for assessors is to choose which one of the two is best, using their own expertise. Assessors find it easy to make such comparative judgements because they are not forced to score each work on a (long) list of criteria. Each work is presented multiple times to multiple assessors, resulting in a scale in which students’ worked is ranked according to its quality. 

 

‘Working with D-PAC was really easy and fast.’

Ivan Waumans, KDG University College

Recently, D-PAC has been used in a Bachelor Multimedia and Communication Technology for the assessment of students’ animation skills. Students received an audio fragment of the radio play by ‘Het Geluidshuis’ and had to accompany it with animation. A group of 9 assessors evaluated the quality of the animations. The assessors differed in background and expertise: 3 people from Het Geluidshuis, 2 expert animators, 2 alumni students, and 2 teachers.

 

For Ivan Waumans, coordinator of the course, working with D-PAC was really easy and fast. ‘About 2 hours after I sent the login information to the assessors I got an email from one of them saying: Done!’ Assessors valued that they could do the evaluations from their homes or offices. Some assessors did all the comparisons in one session, whereas others spread their comparisons over a few days. None of them had any trouble using or understanding D-PAC. The only difficulty the assessors experienced was when they had to choose between 2 videos that were of equal quality. Ivan had to reassure them that it was OK to just pick one of them, because the tool generates the same ability score for videos of equal quality. Ability scores represent the likelihood that a particular video will win from others. Based upon these scores the tool provides a ranking order in which videos are ordered from poor to high quality. 

 

video
Assessors evaluated the quality of animations using pairwise comparisons in D-PAC

 

‘After explaining comparative judgement, students accepted their grade’

Ivan and his team assigned grades to the animations based upon the order and ability scores. As there were gaps between ability scores, the final grades were not equally distributed over the ranking order. For instance, the top 2 videos got 18/20 and 16/20. Teachers were happy with this more objective grading system. ‘When I look at certain videos and their grade, I notice that I would have given a higher or lower grade depending on my personal taste or the relation with the students’, Ivan explained. He experienced that by including external people in the evaluation, this bias was eliminated. There were only 2 students who were a bit disappointed about the grade they received. But after explaining the procedure of comparative judgement, they accepted their grade. The fact that 9 people contributed in ranking the videos, instead of only one teacher, convinced them the grade was fair.

 

More information

D-PAC allows educators to assess students’ performance in video or images in a more reliable and credible way, without increasing the workload of teachers.

Want to find out more? Send us an e-mail.

 

Media & Learning Newsletter

This blog has been published in the newsletter of Media & Learning:

Screen Shot 2017-03-09 at 11.20.47

Noorderburen waarderen onze expertise

Onder het motto ‘samen professionaliseren’ pikte hogeschool Zuyd (Heerlen, Sittard, Maastricht) het D-PAC-verhaal op. Geboeid door onze kennis en ervaring op vlak van professioneel beoordelen en peer-assessment, willen ze ook anderen binnen de hogeschool inspireren en stimuleren.

In samenwerking met Dominique Sluijsmans (lector Professioneel Beoordelen, Zuyd) en Judith van Hooijdonk (I-team, Zuyd) is begin deze week een blog over D-PAC als tool voor Technology Enhanced Learning (TEL) verschenen.

blog Zuyd 2

Op de blogpagina van ICT in Onderwijs en Onderzoek @ Zuyd staan overigens ook nog andere zeer interessante nieuwtjes.

Dankjewel I-team om met en voor ons te willen netwerken: benieuwd naar de reacties op deze boeiende blog.

D-PAC in vogelvlucht: (sterk) groeiend gebruik

Steeds meer gebruikers plukken de vruchten van D-PAC, de digitale tool die we ontwikkelden om competenties te beoordelen via paarsgewijze vergelijking. In 2014 en 2015 klopten respectievelijk 1  en 5 organisaties aan om aan de slag te gaan met D-PAC. In 2016 waren dat er al 14. Overheen die 3 jaren hebben zij onze tool in totaal 42 keer gebruikt. 1424 beoordelaars beoordeelden gezamenlijk maar liefst 2848 werkstukken door ze in willekeurige paren te vergelijken. Concreet ging het om geschreven teksten van 1 bladzijde tot portfolio’s van 80 bladzijden, over geluidsfragmenten tot video-opnames.

 

Blog_evolutie
Figuur 1:Evolutie D-PAC (2014-2016).

 

Grote interesse vanuit het hoger onderwijs
Uit de cijfers blijkt dat vooral organisaties uit het Hoger Onderwijs met D-PAC aan de slag gaan. Van de 33 afnames in 2016 vonden er 29 afnames plaats in hogescholen en universiteiten. De tool is hier voornamelijk gebruikt voor wetenschappelijk onderzoek of voor onderwijsdoeleinden. Bij ruim 1 op 3 afnames schakelde men medestudenten in om elkaars werk te beoordelen. Dit verklaart ook de sterke stijging van het aantal beoordelaars sinds 2015.

D-PAC blijkt zich goed te lenen voor peer-assessment: studenten kunnen hun eigen werk uploaden in de tool, waarna ze het werk van hun medestudenten te zien krijgen en kunnen beoordelen door ze onderling te vergelijken. Een belangrijke les uit deze peer-assessments is bovendien dat studenten het werk van hun medestudenten even betrouwbaar beoordelen als docenten dat doen.

 

Wat staat ons te wachten in 2017?
Voor het komende jaar staan er alweer 52 afnames gepland en het jaar is nog maar net begonnen.

Een opsteker voor ons om:

  • de deur wijd open te houden voor nieuwe gebruikers en hen kennis te laten maken met de voordelen van D-PAC;
  • de feedback en ervaringen van huidige gebruikers aan te grijpen om D-PAC verder te verfijnen;
  • de ervaringen van eerdere gebruikers te delen, bijvoorbeeld tijdens de Onderwijs Research Dagen in Antwerpen. Ook zullen we in het najaar van 2017 een eigen conferentie organiseren.

Geïnteresseerd in een demo of wil je op de hoogte blijven van nieuws rondom D-PAC? Mail ons.