Which video is better? D-PAC allows educators to assess videos in an easy and credible way

Different types of media such as video, audio, or images are increasingly used for the assessment of students’ competences. However, as they allow for a large variation in performance between students, the process of grading is rather difficult. The online tool D-PAC aims to support educators in the assessment of video and images.

 

In D-PAC, students can easily upload their work in any media type (text, audio, image, video), after which the work is presented in randomly selected pairs to the assessors. The only task for assessors is to choose which one of the two is best, using their own expertise. Assessors find it easy to make such comparative judgements because they are not forced to score each work on a (long) list of criteria. Each work is presented multiple times to multiple assessors, resulting in a scale in which students’ worked is ranked according to its quality. 

 

‘Working with D-PAC was really easy and fast.’

Ivan Waumans, KDG University College

Recently, D-PAC has been used in a Bachelor Multimedia and Communication Technology for the assessment of students’ animation skills. Students received an audio fragment of the radio play by ‘Het Geluidshuis’ and had to accompany it with animation. A group of 9 assessors evaluated the quality of the animations. The assessors differed in background and expertise: 3 people from Het Geluidshuis, 2 expert animators, 2 alumni students, and 2 teachers.

 

For Ivan Waumans, coordinator of the course, working with D-PAC was really easy and fast. ‘About 2 hours after I sent the login information to the assessors I got an email from one of them saying: Done!’ Assessors valued that they could do the evaluations from their homes or offices. Some assessors did all the comparisons in one session, whereas others spread their comparisons over a few days. None of them had any trouble using or understanding D-PAC. The only difficulty the assessors experienced was when they had to choose between 2 videos that were of equal quality. Ivan had to reassure them that it was OK to just pick one of them, because the tool generates the same ability score for videos of equal quality. Ability scores represent the likelihood that a particular video will win from others. Based upon these scores the tool provides a ranking order in which videos are ordered from poor to high quality. 

 

video
Assessors evaluated the quality of animations using pairwise comparisons in D-PAC

 

‘After explaining comparative judgement, students accepted their grade’

Ivan and his team assigned grades to the animations based upon the order and ability scores. As there were gaps between ability scores, the final grades were not equally distributed over the ranking order. For instance, the top 2 videos got 18/20 and 16/20. Teachers were happy with this more objective grading system. ‘When I look at certain videos and their grade, I notice that I would have given a higher or lower grade depending on my personal taste or the relation with the students’, Ivan explained. He experienced that by including external people in the evaluation, this bias was eliminated. There were only 2 students who were a bit disappointed about the grade they received. But after explaining the procedure of comparative judgement, they accepted their grade. The fact that 9 people contributed in ranking the videos, instead of only one teacher, convinced them the grade was fair.

 

More information

D-PAC allows educators to assess students’ performance in video or images in a more reliable and credible way, without increasing the workload of teachers.

Want to find out more? Get in touch with our team:

 

Media & Learning Newsletter

This blog has been published in the newsletter of Media & Learning:

Screen Shot 2017-03-09 at 11.20.47

Noorderburen waarderen onze expertise

Onder het motto ‘samen professionaliseren’ pikte hogeschool Zuyd (Heerlen, Sittard, Maastricht) het D-PAC-verhaal op. Geboeid door onze kennis en ervaring op vlak van professioneel beoordelen en peer-assessment, willen ze ook anderen binnen de hogeschool inspireren en stimuleren.

In samenwerking met Dominique Sluijsmans (lector Professioneel Beoordelen, Zuyd) en Judith van Hooijdonk (I-team, Zuyd) is begin deze week een blog over D-PAC als tool voor Technology Enhanced Learning (TEL) verschenen.

blog Zuyd 2

Op de blogpagina van ICT in Onderwijs en Onderzoek @ Zuyd staan overigens ook nog andere zeer interessante nieuwtjes.

Dankjewel I-team om met en voor ons te willen netwerken: benieuwd naar de reacties op deze boeiende blog.

D-PAC in vogelvlucht: (sterk) groeiend gebruik

Steeds meer gebruikers plukken de vruchten van D-PAC, de digitale tool die we ontwikkelden om competenties te beoordelen via paarsgewijze vergelijking. In 2014 en 2015 klopten respectievelijk 1  en 5 organisaties aan om aan de slag te gaan met D-PAC. In 2016 waren dat er al 14. Overheen die 3 jaren hebben zij onze tool in totaal 42 keer gebruikt. 1424 beoordelaars beoordeelden gezamenlijk maar liefst 2848 werkstukken door ze in willekeurige paren te vergelijken. Concreet ging het om geschreven teksten van 1 bladzijde tot portfolio’s van 80 bladzijden, over geluidsfragmenten tot video-opnames.

 
Blog_evolutie
Figuur 1: Evolutie D-PAC (2014-2016).

 

Grote interesse vanuit het hoger onderwijs
Uit de cijfers blijkt dat vooral organisaties uit het Hoger Onderwijs met D-PAC aan de slag gaan. Van de 33 afnames in 2016 vonden er 29 afnames plaats in hogescholen en universiteiten. De tool is hier voornamelijk gebruikt voor wetenschappelijk onderzoek of voor onderwijsdoeleinden. Bij ruim 1 op 3 afnames schakelde men medestudenten in om elkaars werk te beoordelen. Dit verklaart ook de sterke stijging van het aantal beoordelaars sinds 2015.

D-PAC blijkt zich goed te lenen voor peer-assessment: studenten kunnen hun eigen werk uploaden in de tool, waarna ze het werk van hun medestudenten te zien krijgen en kunnen beoordelen door ze onderling te vergelijken. Een belangrijke les uit deze peer-assessments is bovendien dat studenten het werk van hun medestudenten even betrouwbaar beoordelen als docenten dat doen.

 

Wat staat ons te wachten in 2017?
Voor het komende jaar staan er alweer 52 afnames gepland en het jaar is nog maar net begonnen.

Een opsteker voor ons om:

  • de deur wijd open te houden voor nieuwe gebruikers en hen kennis te laten maken met de voordelen van D-PAC;
  • de feedback en ervaringen van huidige gebruikers aan te grijpen om D-PAC verder te verfijnen;
  • de ervaringen van eerdere gebruikers te delen, bijvoorbeeld tijdens de Onderwijs Research Dagen in Antwerpen. Ook zullen we in het najaar van 2017 een eigen conferentie organiseren.

Geïnteresseerd in een demo of wil je op de hoogte blijven van nieuws rondom D-PAC? Stuur ons een .