Goed nieuws vanuit ‘slechtnieuwscommunicatie’

Masterstudenten meertalige professionele communicatie aan de Universiteit Antwerpen zijn lovend over ons digitale platform D-PAC om competenties comparatief te beoordelen: “We kunnen onze eigen competentie beter inschatten én krijgen door de voorbeelden van anderen inspiratie om onze tekst te herwerken”. Via peer-assessment beoordeelden 80 studenten – in twee groepen – de kwaliteit van elkaars slechtnieuwsbrieven en gaven ze elkaar feedback.  Dat gebeurde in de context van blended learning.

 

Slechtnieuwsbrieven schrijven en vergelijken

Door de teksten van medestudenten onderling te vergelijken, beoordelen studenten elkaars competentie op het vlak van slechtnieuwscommunicatie. Elkaars brieven lezen en de positie van hun eigen tekst op de uiteindelijke rangorde zien, levert hen interessante feedback op. 

Voor een opdracht binnen het vak ‘Specialisatie Bedrijfscommunicatie’ moesten de studenten schriftelijk reageren op een klacht van een klant. Daaraan gekoppeld kregen de studenten de kans om de feedbackmodule van D-PAC, uit te testen. De docenten, Luuk Van Waes en Suzy Stals, van het departement Management, over de taak: “Na zelfstudie over het thema slechtnieuwscommunicatie via onze website www.calliope.be werkten onze studenten de case Learn-It uit. Vervolgens laadden ze hun brief in D-PAC op. Elk van hen maakte 10 vergelijkingen: ze kozen telkens de beste brief uit elk paar en noteerden suggesties voor elkaar hoe het beter kan”.  

screenshot_Calliope

De opdracht: schriftelijk reageren op een klacht en elkaars brieven beoordelen via D-PAC.

 

Via de methode van comparatieve beoordeling lazen en vergeleken alle studenten dus meerdere brieven. Dit experiment met peer-beoordelaars leverde een rangorde van de teksten op, gaande van de slechtst beoordeelde brief tot het beste exemplaar. De studenten kregen een dag voor het feedbackcollege toegang tot de (geanonimiseerde) brieven van hun medestudenten en konden hun eigen brief in de rangorde identificeren. Op basis van deze feedback, samen met een terugkoppeling van de docenten tijdens het college, konden de studenten hun brief in een volgende fase herwerken.

 

Vele voorbeelden verschaffen volop inspiratie

D-PAC biedt studenten de kans om inspiratie op te doen en te leren van elkaar, voornamelijk door verschillende brieven van medestudenten in paren te vergelijken en altijd de beste aan te duiden. Het peer-assessment duurde gemiddeld twee tot twee en een half uur.

Door kennis te maken met de (strategische) aanpak van hun collega’s, doen de studenten ideeën op om hun eigen aanpak aan te scherpen. Ze kregen tijdens het experiment immers veel andere voorbeelden van mogelijke reacties op de klacht te lezen. Het digitale platform wees de paren brieven op basis van toeval aan de studenten toe. Maximaal kon een student op basis van tien vergelijkingen inzichten halen uit maar liefst 20 andere brieven. Bovendien kregen studenten achteraf ook de mogelijkheid om alle andere brieven te bekijken, inclusief de feedback daarbij.

 

Beter of slechter dan de anderen? D-PAC houdt studenten een spiegel voor

Het resultaat van alle vergelijkingen die de studenten maken, levert een rangorde  op: van de slechtst beoordeelde tot de beste slechtnieuwsbrief. De positie in de finale rangorde geeft de studenten een duidelijk beeld of ze bij de betere of de zwakkere schrijvers horen. Zo maakt D-PAC het mogelijk om het eigen competentieniveau beter in te schatten in relatie tot dat van anderen. En dat is iets wat de studenten duidelijk op prijs stelden.

Slechtnieuwsbrieven_rangorde_v2

De rangorde: waar positioneer ik mij ten opzichte van anderen?

 

Maar hoe representatief is deze rangorde eigenlijk? De docenten waarschuwen ervoor om ook rekening te houden met het feit dat de studenten nog niet aan het einde van hun leertraject zitten. De rangorde is zeker niet helemaal perfect: “de student die volgens ons de beste brief had geschreven stond op nummer 17 in de rangschikking van de studenten. En in de brieven van hun top drie kwamen soms nog wel fundamentele problemen voor. Maar we weten dat ook professionele beoordelaars het niet zomaar altijd eens zijn met elkaar.” Professor Van Waes en Suzy Stals vervolgen: “We zijn dan ook erg benieuwd naar een herhaling van het experiment waarbij we hen ná het feedbackcollege teksten laten vergelijken.” Onze voorspelling is in elk geval dat de ranking aan het einde van het traject beter overeen zal stemmen met het oordeel van de docenten.

 

Zelf aan de slag?

Benieuwd of jouw organisatie ook gebruik kan maken van de troeven van D-PAC?  Wil je een peer-assessment opzetten waarbij leerlingen, studenten of werknemers elkaars werk beoordelen en van elkaar leren? En ook liefst op een eenvoudige en efficiënte manier?

Neem dan snel contact op met ons, via d-pac@uantwerpen.be

Hoe Academie feedback op kunstwerken losweekt via live app

‘Onze studenten zelf laten ervaren hoe bezoekers hun creaties ervaren, welke observaties zij maken, hoe zij hun werk gewaarworden; dat is het doel van onze Black Box-tentoonstelling’, zo vertelt Gio De Weerd, directeur van de Stedelijke Academie voor Schone Kunsten in Lier. Met onze online tool om competenties te beoordelen zag hij kansen om deze doelstelling op een innovatieve manier te realiseren. Bezoekers liepen met de app van D-PAC door de tentoonstelling. Ze vergeleken steeds twee kunstwerken met elkaar, kozen hun favoriet en gaven beide studenten feedback.

 

Tentoonstellen om te leren van het publiek

De kunstacademie in Lier geeft haar studenten jaarlijks de gelegenheid om werk te presenteren. Met deze Black Box-tentoonstelling wil men duidelijk meer dan een louter toonmoment organiseren. De school schakelt doelbewust bezoekers in om de studenten te laten ervaren hoe zij naar hun werk kijken. Voorheen enkel via feedback op steekkaarten die bezoekers anoniem in een zwarte doos konden droppen, nu ook – als experiment – via de live app van D-PAC.

 

Kunstwerken live vergelijken en online feedback geven

De school vond 14 bezoekers bereid om mee te werken aan hun experiment om studenten inzicht te geven in de beleving van een publiek. Eind januari gingen zij enthousiast op wandel langs het werk van 10 verschillende exposanten. Kris kras, geleid door hun smartphone of tablet waarop telkens twee willekeurige kunstwerken oplichtten. De opdracht daarbij was duidelijk: welk van beide kunstwerken vind jij het beste? Bezoekers duidden telkens een favoriet aan en gaven beide kunstwerken feedback. De opdrachten volgden elkaar op, waarbij eenzelfde werk ook meer dan eens vergeleken moest worden. Zo legden de bezoekers een heel individueel parcours van oeuvres af en hadden ze na afloop alle  kunstwerken gezien.

 

authentieke ervaring

De live app van D-PAC zorgt voor een authentieke ervaring bij het vergelijken en beoordelen van kunstwerken.

 

‘Kunst ervaren lukt niet aan de hand van foto’s alleen’

Het gebruik van de live applicatie betekende voor de school dat de bezoekers de look & feel van reële, tastbare fotografie, tekeningen en installaties konden beoordelen. De meeste bezoekers gingen de werken daadwerkelijk live monsteren in plaats van de foto’s op hun toestel te beoordelen. ‘Dat gaat immers niet aan de hand van foto’s alleen’, verduidelijkte een bezoeker.

 

Kunststudenten krijgen feedback over vakmanschap en kunstenaarschap

Studenten laten leren uit de feedback van bezoekers, daar streefde de Academie naar. De live app van D-PAC bleek hiervoor een ideaal kanaal. Bezoekers beoordeelden de kunstwerken uitgebreid op twee aspecten. Voor vakmanschap formuleerden bezoekers bij een bepaald schilderij bijvoorbeeld opmerkingen en tips over toonverloop, dieptezicht, kleurschakeringen, illusie van perspectief, enz. Ook in de feedback over kunstenaarschap school veel rijkdom. Sommige bezoekers gaven aan hoe het kunstwerk hen aan het denken zetten of mogelijkheden tot interpretatie bood, terwijl anderen reageerden op de vanzelfsprekendheid van een kunstwerk of de overdaad aan melancholie.

 

D-PAC zorgt voor gevarieerde feedback van meerdere beoordelaars

Wat D-PAC voor de Academie interessant maakt is dat elke bezoeker bij elk werk meer dan één observatie terugkoppelt. Eigen aan de tool is namelijk dat het elk werk meerdere keren, in verschillende vergelijkingen laat opduiken. Alsof de live app de bezoeker dwingt om bij elke nieuwe vergelijking van een bepaald werk toch weer een iets andere bril op te zetten. ‘Je kunt moeilijk elke keer dezelfde feedback geven bij een bepaald schilderij.’, verduidelijkt een bezoeker. Een beoordelaar die een werk meerdere keren te zien krijgt gaat telkens net weer iets anders of iets nieuws opvallen.

Daarnaast maakt de live app van D-PAC het mogelijk dat alle deelnemende kunstenaars feedback krijgen van alle bezoekers. De digitale tool dwingt beoordelaars immers als het ware elk werk te vergelijken met steeds een willekeurige andere en er feedback bij te noteren. ‘Dit was bij vorige edities van de Black Box tentoonstelling wel eens anders’, licht Gio als hoofd van de Academie toe. Sommige kunstenaars kregen wel eens meer feedback dan anderen. En dat is natuurlijk een gemiste kans.

 

àndere kijk (2)

De live app van D-PAC laat de kijker steeds op een andere manier naar het kunstwerk kijken. Hierdoor wordt de feedback voor de kunstenaar uiteindelijk rijker.

 

Lessen uit de Kunsten

Wat we zelf geleerd hebben uit deze eerste try-out met de live applicatie van D-PAC, is dat de bezoekers de opdracht om twee werken te vergelijken, een favoriet te kiezen en feedback te geven een goede techniek vonden. Goed, maar niet eenvoudig.

Wat het vergelijkend beoordelen moeilijk maakte, was dat:

  • de werken onderling nogal sterk verschilden wat betreft aard en uitwerking;
  • de oeuvres fysiek niet steeds dicht bijeen te vinden waren; 
  • de app nog onvoldoende perfect ontwikkeld is voor gebruik op een mobiel toestel.

Feedback die we beslist meepakken bij de volgende live toepassingen van D-PAC.

 

Zelf testen?

Ben jij betrokken bij een academie, conservatorium, museum of expositie en wil je graag zelf eens experimenteren met de live tool van D-PAC? Ben je nieuwsgierig naar de diverse toepassingsmogelijkheden voor jouw organisatie?

Neem dan snel contact op met ons:

 

Peer assessment in D-PAC reduces workload for tutors!

A group of 91 students second bachelor of the University of Hasselt in the track physiotherapy had the following task at the end of this year:

    – They had to formulate a clinical research question based on their experience as a physiotherapist;
    – Then they searched for a relevant scientific paper and formulated an answer to the research question based on the article.
    – At last they had to evaluate the article and point out the strengths and weaknesses of their study.

Normally all these papers are evaluated by one or two tutors. These tutors judge the paper by giving a ‘passed’ or ‘failed’ and provided feedback. You can imagine, this results in a substantial workload, especially when more than one task per student needs to be marked.

The tutor was inspired by a presentation about the D-PAC project. At first, the tutor was a bit skeptic. However, the possibilities of the tool were tempting enough to conduct an experiment in which peers would have to judge and comment the papers using the D-PAC tool. Next to this, the tutors evaluate the papers on their traditional manner. Afterwards the judgments and feedback of the students could be compared with the judgement and the feedback of the tutors.

Based on the pairwise comparison data we calculated the Scale Separation Reliability (SSR) for the student evaluations. The SSR was .80 and can be seen as a very reliable scale. To achieve this, 91 students had made 910 comparisons in total, in other words, every paper was compared 20 times.

The feedback students provided was of high quality. The results of a survey conducted by the students supported this statement. Students perceived the D-PAC peer feedback as relevant, honest and legitimate. Because almost every assessor gave feedback on almost every paper they had to compare, each student received feedback of 15 à 20 peers. Students indicated this as an added value of the D-PAC method.

If we compare outcomes of the students’ assessment and the tutors’ pass/fail decisions, we see a high resemblance. As Figure 1 shows, 12 students were given a fail by the tutor (red dots) and they all are located on the left side of the rank order. We can conclude that students can, by using pairwise comparison, evaluate their peers papers as good as tutors on their traditional manner.

rank Joke

However, as you can see, some blue dots remain on the left hand side, meaning that they were judged by students to be of poor quality, whereas tutors considerd them passed. Therefore, the coming year, the tutor will check the 40% lowest ranked papers to verify whether they failed. As such, using this combination of peer review and feedback together with a final check by the tutor, the workload of the tutor is reduced by at least 60% while ensuring the quality of the decision and the feedback.

Testimonial professor architecture

The next film is a testimony of an architecture professor who used D-AC for a peer assessment of mood boards. Because the movie is in Dutch, you can read a short summary of the main findings.





Summary
60 students were divided in groups of five. Each group had to create two mood boards resulting in 20 mood boards. These mood boards were uploaded in the D-PAC tool and the students made ten comparisons at home in which they judged the mood boards of their peers and provided feedback.

These comparisons resulted in a ranking of the poorest to the best mood board. So each group had two mood boards in the ranking. The students had to continue with the mood board that was ranked highest. Therefor they could use the feedback to improve their design.

The teacher used the rank order and the feedback from the students to discuss the results in group. He indicated a large time saving because all the students already had seen the mood boards and formed their opinions. Where normally the discussion of the mood boards lasted a whole day, now it lasted one hour using the rank order. According to the professor without sacrificing quality of the discussion, on the contrary.

Further, the professor indicate to save time in processing the results of the peer assessment afterwards as there was no processing because the results were automatically generated by the tool.

Also according to the professor, the learning effect by students of watching other peers’ work and formulating reasons why one was better than the other, was not to be underestimated.

D-PAC presentatie en workshop op ORD 2016 Rotterdam

Het D-PAC team is trots volgende presentatie en workshop aan te kondigen:

Opleiden – presentatie & opdracht

Kwaliteitsvol beoordelen en feedback geven: Brengt een comparatieve aanpak soelaas?

door Marije Lesterhuis, Universiteit Antwerpen

Het beoordelen van papers van studenten is geen sinecure. Recent is paarsgewijze vergelijking (ofwel comparative judgement) als alternatieve beoordelingsvorm geïntroduceerd. Bij deze methode vergelijken meerdere beoordelaars meerdere paren van papers en geven telkens aan welke het beste is. Alhoewel de methode haar nut voor summatieve toetsen meermaals bewezen heeft, is er nog weinig gekend over de kwaliteit van de feedback die met deze methode genereerd wordt. Gedurende deze sessie willen wij ingaan op hoe paarsgewijze vergelijking werkt en nodigen we de deelnemers uit om in kleine groepen op de kwaliteit van de feedback te reflecteren.

Voor het volledige programma  klik hier.