Hoe Academie feedback op kunstwerken losweekt via live app

‘Onze studenten zelf laten ervaren hoe bezoekers hun creaties ervaren, welke observaties zij maken, hoe zij hun werk gewaarworden; dat is het doel van onze Black Box-tentoonstelling’, zo vertelt Gio De Weerd, directeur van de Stedelijke Academie voor Schone Kunsten in Lier. Met onze online tool om competenties te beoordelen zag hij kansen om deze doelstelling op een innovatieve manier te realiseren. Bezoekers liepen met de app van D-PAC door de tentoonstelling. Ze vergeleken steeds twee kunstwerken met elkaar, kozen hun favoriet en gaven beide studenten feedback.

 

Tentoonstellen om te leren van het publiek

De kunstacademie in Lier geeft haar studenten jaarlijks de gelegenheid om werk te presenteren. Met deze Black Box-tentoonstelling wil men duidelijk meer dan een louter toonmoment organiseren. De school schakelt doelbewust bezoekers in om de studenten te laten ervaren hoe zij naar hun werk kijken. Voorheen enkel via feedback op steekkaarten die bezoekers anoniem in een zwarte doos konden droppen, nu ook – als experiment – via de live app van D-PAC.

 

Kunstwerken live vergelijken en online feedback geven

De school vond 14 bezoekers bereid om mee te werken aan hun experiment om studenten inzicht te geven in de beleving van een publiek. Eind januari gingen zij enthousiast op wandel langs het werk van 10 verschillende exposanten. Kris kras, geleid door hun smartphone of tablet waarop telkens twee willekeurige kunstwerken oplichtten. De opdracht daarbij was duidelijk: welk van beide kunstwerken vind jij het beste? Bezoekers duidden telkens een favoriet aan en gaven beide kunstwerken feedback. De opdrachten volgden elkaar op, waarbij eenzelfde werk ook meer dan eens vergeleken moest worden. Zo legden de bezoekers een heel individueel parcours van oeuvres af en hadden ze na afloop alle  kunstwerken gezien.

 

authentieke ervaring

De live app van D-PAC zorgt voor een authentieke ervaring bij het vergelijken en beoordelen van kunstwerken.

 

‘Kunst ervaren lukt niet aan de hand van foto’s alleen’

Het gebruik van de live applicatie betekende voor de school dat de bezoekers de look & feel van reële, tastbare fotografie, tekeningen en installaties konden beoordelen. De meeste bezoekers gingen de werken daadwerkelijk live monsteren in plaats van de foto’s op hun toestel te beoordelen. ‘Dat gaat immers niet aan de hand van foto’s alleen’, verduidelijkte een bezoeker.

 

Kunststudenten krijgen feedback over vakmanschap en kunstenaarschap

Studenten laten leren uit de feedback van bezoekers, daar streefde de Academie naar. De live app van D-PAC bleek hiervoor een ideaal kanaal. Bezoekers beoordeelden de kunstwerken uitgebreid op twee aspecten. Voor vakmanschap formuleerden bezoekers bij een bepaald schilderij bijvoorbeeld opmerkingen en tips over toonverloop, dieptezicht, kleurschakeringen, illusie van perspectief, enz. Ook in de feedback over kunstenaarschap school veel rijkdom. Sommige bezoekers gaven aan hoe het kunstwerk hen aan het denken zetten of mogelijkheden tot interpretatie bood, terwijl anderen reageerden op de vanzelfsprekendheid van een kunstwerk of de overdaad aan melancholie.

 

D-PAC zorgt voor gevarieerde feedback van meerdere beoordelaars

Wat D-PAC voor de Academie interessant maakt is dat elke bezoeker bij elk werk meer dan één observatie terugkoppelt. Eigen aan de tool is namelijk dat het elk werk meerdere keren, in verschillende vergelijkingen laat opduiken. Alsof de live app de bezoeker dwingt om bij elke nieuwe vergelijking van een bepaald werk toch weer een iets andere bril op te zetten. ‘Je kunt moeilijk elke keer dezelfde feedback geven bij een bepaald schilderij.’, verduidelijkt een bezoeker. Een beoordelaar die een werk meerdere keren te zien krijgt gaat telkens net weer iets anders of iets nieuws opvallen.

Daarnaast maakt de live app van D-PAC het mogelijk dat alle deelnemende kunstenaars feedback krijgen van alle bezoekers. De digitale tool dwingt beoordelaars immers als het ware elk werk te vergelijken met steeds een willekeurige andere en er feedback bij te noteren. ‘Dit was bij vorige edities van de Black Box tentoonstelling wel eens anders’, licht Gio als hoofd van de Academie toe. Sommige kunstenaars kregen wel eens meer feedback dan anderen. En dat is natuurlijk een gemiste kans.

 

àndere kijk (2)

De live app van D-PAC laat de kijker steeds op een andere manier naar het kunstwerk kijken. Hierdoor wordt de feedback voor de kunstenaar uiteindelijk rijker.

 

Lessen uit de Kunsten

Wat we zelf geleerd hebben uit deze eerste try-out met de live applicatie van D-PAC, is dat de bezoekers de opdracht om twee werken te vergelijken, een favoriet te kiezen en feedback te geven een goede techniek vonden. Goed, maar niet eenvoudig.

Wat het vergelijkend beoordelen moeilijk maakte, was dat:

  • de werken onderling nogal sterk verschilden wat betreft aard en uitwerking;
  • de oeuvres fysiek niet steeds dicht bijeen te vinden waren; 
  • de app nog onvoldoende perfect ontwikkeld is voor gebruik op een mobiel toestel.

Feedback die we beslist meepakken bij de volgende live toepassingen van D-PAC.

 

Zelf testen?

Ben jij betrokken bij een academie, conservatorium, museum of expositie en wil je graag zelf eens experimenteren met de live tool van D-PAC? Ben je nieuwsgierig naar de diverse toepassingsmogelijkheden voor jouw organisatie?

Neem dan snel contact op met ons:

 

Which video is better? D-PAC allows educators to assess videos in an easy and credible way

Different types of media such as video, audio, or images are increasingly used for the assessment of students’ competences. However, as they allow for a large variation in performance between students, the process of grading is rather difficult. The online tool D-PAC aims to support educators in the assessment of video and images.

 

In D-PAC, students can easily upload their work in any media type (text, audio, image, video), after which the work is presented in randomly selected pairs to the assessors. The only task for assessors is to choose which one of the two is best, using their own expertise. Assessors find it easy to make such comparative judgements because they are not forced to score each work on a (long) list of criteria. Each work is presented multiple times to multiple assessors, resulting in a scale in which students’ worked is ranked according to its quality. 

 

‘Working with D-PAC was really easy and fast.’

Ivan Waumans, KDG University College

Recently, D-PAC has been used in a Bachelor Multimedia and Communication Technology for the assessment of students’ animation skills. Students received an audio fragment of the radio play by ‘Het Geluidshuis’ and had to accompany it with animation. A group of 9 assessors evaluated the quality of the animations. The assessors differed in background and expertise: 3 people from Het Geluidshuis, 2 expert animators, 2 alumni students, and 2 teachers.

 

For Ivan Waumans, coordinator of the course, working with D-PAC was really easy and fast. ‘About 2 hours after I sent the login information to the assessors I got an email from one of them saying: Done!’ Assessors valued that they could do the evaluations from their homes or offices. Some assessors did all the comparisons in one session, whereas others spread their comparisons over a few days. None of them had any trouble using or understanding D-PAC. The only difficulty the assessors experienced was when they had to choose between 2 videos that were of equal quality. Ivan had to reassure them that it was OK to just pick one of them, because the tool generates the same ability score for videos of equal quality. Ability scores represent the likelihood that a particular video will win from others. Based upon these scores the tool provides a ranking order in which videos are ordered from poor to high quality. 

 

video
Assessors evaluated the quality of animations using pairwise comparisons in D-PAC

 

‘After explaining comparative judgement, students accepted their grade’

Ivan and his team assigned grades to the animations based upon the order and ability scores. As there were gaps between ability scores, the final grades were not equally distributed over the ranking order. For instance, the top 2 videos got 18/20 and 16/20. Teachers were happy with this more objective grading system. ‘When I look at certain videos and their grade, I notice that I would have given a higher or lower grade depending on my personal taste or the relation with the students’, Ivan explained. He experienced that by including external people in the evaluation, this bias was eliminated. There were only 2 students who were a bit disappointed about the grade they received. But after explaining the procedure of comparative judgement, they accepted their grade. The fact that 9 people contributed in ranking the videos, instead of only one teacher, convinced them the grade was fair.

 

More information

D-PAC allows educators to assess students’ performance in video or images in a more reliable and credible way, without increasing the workload of teachers.

Want to find out more? Send us an e-mail.

 

Media & Learning Newsletter

This blog has been published in the newsletter of Media & Learning:

Screen Shot 2017-03-09 at 11.20.47