Wil Stad Antwerpen écht pionier worden in het meten van leerwinst? Zet in op comparatief beoordelen

Het Antwerps Stedelijk Onderwijs zet de komende jaren in op gestandaardiseerde toetsen. Stad Antwerpen zette bewust enkele vooroordelen en risico’s aan de kant, met één duidelijk doel: meten wat men in het onderwijs vaak onmeetbaar acht; leerwinst.

In september 2020 start het Antwerpse experiment rond de centrale toets. 22 scholen zullen 8 jaar lang hun leerlingen opvolgen via gestandaardiseerde toetsen. Zo hopen ze de leerevolutie van 4850 leerlingen op langere termijn in kaart te brengen. Uit voorbeelden van buurlanden (bijvoorbeeld de CITO-toetsen in Nederland), weten we ook dat dit werkt. Het goed monitoren van leerprestaties en leerlingen kan een verschil maken. Het kan scholen en leraren duidelijk maken op welke vlakken verbetering mogelijk is in het onderwijsniveau en de leerlingenprestaties.

Read more

Beoordelen is moeilijk. Waarom? Daarom!

Stel, je hebt je leerlingen een superleuke taak gegeven waarin ze kennis uit je les integreren en bewerken (bijvoorbeeld, een opiniestuk schrijven over orgaandonatie). De deadline nadert, de taken sijpelen binnen en jij gaat aan het beoordelen. Taak 1: inhoudelijk sterk, goed geschreven en niet al te veel taalfouten. Je beslissing? Een 9! Taak 2: vlotte schrijfstijl, net wat taalfouten, maar wat een rake argumentatie! Beslissing? De twijfel slaat toe. Geven die taalfouten de doorslag en geef je een 8? Maar die argumentatie was toch echt sterker dan in taak 1 en die had al een 9… Herkenbaar? Deze blog zet even op een rijtje waarom dat beoordelen toch vaak zo moeilijk is.

Read more

Een stop aan het bandwerk in onderzoek?!

Kan Machine Learning het manuele codeerwerk reduceren?

door: Sven De Maeyer

 

Alle onderzoekers, spits de oren. Wat je te lezen krijgt heeft de potentie om het saaie bandwerk van uren en dagen manueel coderen definitief achter je te laten. Het is allicht herkenbaar. Als we veel data willen dan houden we het vooral zo gestructureerd en gesloten mogelijk. Bij surveys stellen we het liefst (om het haalbaar te houden) geen open vragen aan de respondenten. En interviews beperk je ook tot een haalbaar aantal. Want hoeveel tijd gaat dat straks niet kosten om dat allemaal manueel te verwerken?

Hmm, “manueel” … is dat een woord dat nog hoort in deze tijd van Artificiële Intelligentie, Machine Learning, Deep Learning, Data mining, tekst mining, … en alle andere termen die we vanuit de computerwetenschappen naar het hoofd geslingerd krijgen? We deden de proef op de som en onderzochten de potentie van Machine Learning. De resultaten zijn alvast hoopgevend.

Read more

Interview met winnaars D-PAC Inspiratie Award

Een schaal ontwikkelen met D-PAC en daar vervolgens 2700 teksten mee beoordelen. Onderzoekers Nina Vandermeulen & Brenda van den Broek wonnen op 15 november met hun prachtige poster over dit onderzoek de D-PAC Inspiratie Award. Wat kunnen zij ons – als ervaringsdeskundigen – leren over comparatief beoordelen?

Read more

Using D-PAC for CV-screening

Comparative judgement is nowadays predominantly used in the educational domain. The D-PAC team aims to explore CJ’s strengths beyond this realm, for example in the recruitment and selection domain. Therefore, we conducted a try-out investigating whether or not D-PAC was successful when applied to CV-screening. Consequently we partnered with Hudson (http://be.hudson.com – a human resources consultancy company) using a received job opening from a client. Forty-two CV’s were received and D-PAC was used with 7 assessors to compare the CV’s. Assessors also provided pairwise feedback to justify each choice. The main questions were related to reliability and validity: (1) how reliable is the D-PAC assessment on CV screening with expert assessors (if the assessment would be performed again, how strongly will the ranking resemble the current one)? And (2) do all assessors look at the same and relevant criteria of the CV’s in relation to the job ad (validity)?

Read more

SOS scoring ‘briefing notes’? College of Europe Bruges tried D-PAC!

In the last months, several D-PAC try-outs have run. In these try-outs, assessments are set up in diverse organizations. For the organizations, the aim is to experiment with D-PAC. For us as a team, the try-outs are valuable to gain information on different aspects of D-PAC: the user-friendliness of the tool, how the tool can be embedded in real life situations and on how information out of D-PAC is used.

Read more

D-PAC successfully handles video-material on large scale

A first pairwise comparison experiment with video material in D-PAC is successfully completed. The goal of this experiment was twofolded: (1) test the tool on the scalability using videos; (2) and test the inter-rater reliability.

Read more