D-PAC in vogelvlucht: (sterk) groeiend gebruik

Steeds meer gebruikers plukken de vruchten van D-PAC, de digitale tool die we ontwikkelden om competenties te beoordelen via paarsgewijze vergelijking. In 2014 en 2015 klopten respectievelijk 1  en 5 organisaties aan om aan de slag te gaan met D-PAC. In 2016 waren dat er al 14. Overheen die 3 jaren hebben zij onze tool in totaal 42 keer gebruikt. 1424 beoordelaars beoordeelden gezamenlijk maar liefst 2848 werkstukken door ze in willekeurige paren te vergelijken. Concreet ging het om geschreven teksten van 1 bladzijde tot portfolio’s van 80 bladzijden, over geluidsfragmenten tot video-opnames.

 

Blog_evolutie
Figuur 1:Evolutie D-PAC (2014-2016).

 

Grote interesse vanuit het hoger onderwijs
Uit de cijfers blijkt dat vooral organisaties uit het Hoger Onderwijs met D-PAC aan de slag gaan. Van de 33 afnames in 2016 vonden er 29 afnames plaats in hogescholen en universiteiten. De tool is hier voornamelijk gebruikt voor wetenschappelijk onderzoek of voor onderwijsdoeleinden. Bij ruim 1 op 3 afnames schakelde men medestudenten in om elkaars werk te beoordelen. Dit verklaart ook de sterke stijging van het aantal beoordelaars sinds 2015.

D-PAC blijkt zich goed te lenen voor peer-assessment: studenten kunnen hun eigen werk uploaden in de tool, waarna ze het werk van hun medestudenten te zien krijgen en kunnen beoordelen door ze onderling te vergelijken. Een belangrijke les uit deze peer-assessments is bovendien dat studenten het werk van hun medestudenten even betrouwbaar beoordelen als docenten dat doen.

 

Wat staat ons te wachten in 2017?
Voor het komende jaar staan er alweer 52 afnames gepland en het jaar is nog maar net begonnen.

Een opsteker voor ons om:

  • de deur wijd open te houden voor nieuwe gebruikers en hen kennis te laten maken met de voordelen van D-PAC;
  • de feedback en ervaringen van huidige gebruikers aan te grijpen om D-PAC verder te verfijnen;
  • de ervaringen van eerdere gebruikers te delen, bijvoorbeeld tijdens de Onderwijs Research Dagen in Antwerpen. Ook zullen we in het najaar van 2017 een eigen conferentie organiseren.

Geïnteresseerd in een demo of wil je op de hoogte blijven van nieuws rondom D-PAC? Mail ons.

D-PAC presentatie en workshop op ORD 2016 Rotterdam

Het D-PAC team is trots volgende presentatie en workshop aan te kondigen:

Opleiden – presentatie & opdracht

Kwaliteitsvol beoordelen en feedback geven: Brengt een comparatieve aanpak soelaas?

door Marije Lesterhuis, Universiteit Antwerpen

Het beoordelen van papers van studenten is geen sinecure. Recent is paarsgewijze vergelijking (ofwel comparative judgement) als alternatieve beoordelingsvorm geïntroduceerd. Bij deze methode vergelijken meerdere beoordelaars meerdere paren van papers en geven telkens aan welke het beste is. Alhoewel de methode haar nut voor summatieve toetsen meermaals bewezen heeft, is er nog weinig gekend over de kwaliteit van de feedback die met deze methode genereerd wordt. Gedurende deze sessie willen wij ingaan op hoe paarsgewijze vergelijking werkt en nodigen we de deelnemers uit om in kleine groepen op de kwaliteit van de feedback te reflecteren.

Voor het volledige programma  klik hier.

 

D-Pac field trials

We at D-Pac are very happy to see that more and more organisations are interested in testing the Open source D-Pac platform (https://github.com/d-pac). As you can see, in the table below we have run a variety of assessments in diverse applications in the education and HR sector.

In each of these assessments, the organisation that we work with gets the opportunity to find out what assessments through Comparative Judgement can mean for them in a hands-on way. The deal is that we provide the hosted software and advice on how to set it up and run the system for free, while the organisation that hosts the assessment provides us with the research data we need to contribute to the advancement of the knowledge on Comparative Judgement and the tools that support it.

Competence Domain Assessees Assessors Reliability
1 Argumentative writing Education 135 High-school students 68 Teachers and teachers in training 0.81 average
2 Writing formal letters Education 12 High-school students 11 Teachers in training 0.68
3 Mathematical problem solving Education 58 High-school students 10 mathematics teachers + 4 mathematics teachers in training 0.80 average
4 Capability of visual representation in the arts domain Education 11 High-school students (147 representations) 13 teachers 0.85
5 Interpreting statistical output using peer-evaluation Education 44 Master students 33 Master students 0.80
6 CV-screening Human resources 42 candidates 7 HR professionals 0.88
7 Self-reflections Education 22 Master students 9 teachers 0.75
8 Project proposals 6 projects 5 judges 0.71

Besides the domains of education and human resources, we are also very curious to find out what other applications could exist for Comparative Judgement. For example, would it be useful in A/B testing in the marketing or IT development domain and would it be interesting as an alternative voting mechanism in for example TV shows?

To conclude, there could be a range of applications for the D-PAC tool that we have not yet thought of, so we are looking for ideas on how we could expand the impact of our tool.
Feel free to contact us if you are interested in testing D-PAC in your own context and together we can find out how we can help each other: d-pac@uantwerpen.be

 

The D-PAC team

Paper gepubliceerd

Performance assessments worden vaak gebruikt om competenties te evalueren. Maar hoe scoor je nu het best zulke performance assessments? Via criterialijsten? Holistisch?

Het artikel  “Competenties kwaliteitsvol beoordelen: brengt een comparatieve aanpak soelaas?”, gepubliceerd in  ‘Tijdschrift voor Hoger Onderwijs’, stelt de comparatieve beoordelingsmethode als methode voor om performance assessments te beoordelen in een hoger onderwijscontext.