Matrix of Feedback for Learning

Vier niveau's van feedback

Hattie en Timpeley onderscheiden vier niveaus waarop feedback gegeven kan worden:

1 - Taakgericht

Taakgerichte feedback is gericht op het uitvoeren van de taak. Deze vorm is zeer effectief, omdat de student gerichte informatie krijgt over het presteren bij het werken aan een taak (Hattie en Timperley, 2007). Feedback op taakniveau is helemaal effectief wanneer deze de leerling ook zicht geeft welke effectieve strategieën hij kan inzetten om zijn leerdoel (nog) beter te realiseren.

Voorbeeld:

Doordat je je inleiding met een pakkend voorbeeld bent begonnen, is het boeiender geworden om te lezen.

2 - Procesgericht

Procesgerichte feedback richt zich op het onderliggende proces die aan de taak ten grondslag ligt. Denk daarbij aan de manier waarop de leerling zijn eigen fouten opspoort of in welke volgorde hij komt tot een oplossing van een vraagstuk. Terugkoppeling op dit procesniveau leert leerlingen hoe zij leren en is ook toe te passen bij andere taken of opdrachten.

Voorbeeld:

Je moet je in het vervolg eerst breder oriënteren op een onderwerp, voordat je een hoofdvraag formuleert.

3 - Op zelf-regulatie gericht

Zelfregulerende feedback gaat over de wijze waarop leerlingen hun handelen monitoren en reguleren. Expliciete aandacht voor metacognitieve vaardigheden helpt studenten om hun werk beter aan te pakken. Een leerling leert door deze feedback om zelfstandiger te leren.

Zelfregulatie is het vermogen om aandacht, gevoelens en gedrag te reguleren zodat je effectief aan externe en interne eisen tegemoet kan komen

Voorbeeld:

Lees de volgende keer je antwoorden op de toets eerst nog een keer door, ook al ben je het zat.

4 - Op de persoon zelf gericht

Persoonsgericht feedback is gericht op de ‘persoon’ van de leerling. Denk bijvoorbeeld aan opmerkingen als ‘Wat ben je toch een slim kind’ of negatief ‘Jij bent echt een sloddervos’. Hoewel dit soort feedback vaak wordt gegeven, leidt het veelal nooit tot verbeterde resultaten. Feedback moet zich focussen op hetgeen waar de leerling controle over heeft, zodat hij zich hierop kan ontwikkelen.  

Voorbeeld:

Wat ben je toch een slim kind!

Feed up, feedback en feed forward

Feedback leggen we uit in drie verschillende stappen van een toets, waarbij we gebruik maken van de begrippen feed up, feedback en feed forward:

1 - Doel          – waar werkt de leerling naar toe?    - (feed up)
2 - Toets         – waar staat de leerling nu?              - (feedback)
3 - Gevolg      – wat heeft de leerling nog te doen? - (feed forward) 

Stap 1	Doel  Waar werkt de leerling naar toe? (feed up)	Je stelt vast wat het doel is van de les.
Stap 2	Toets  Waar staat de leerling nu? (feedback)	In deze stap maak je zichtbaar wat al geleerd is.
Stap 3	Gevolg  Wat heeft de leerling nog te doen? (feed forward)	In stap 3 bepaal je het gevolg: wat is er nog te leren? En om welke aanpassing van de les vraagt dit? Deze stappen blijf je herhalen als docent, maar ook als leerling. Door de les op deze manier te koppelen aan het doel en aan wat nog te leren is, wordt duidelijk waar de leerlingen naartoe werken.

Matrix of Feedback for Learning
De onderdelen feed up, feedback en feed forward, taakgerichtheid, procesgerichtheid en op zelf-regulatie gericht zijn werden verder uitgewerkt in de 'Matrix of Feedback for Learning door Cam Brooks, Annemaree Carroll, Robyn M. Gillies en John Hattie. Zij publiceerden in 2019 het concept in de Australian Journal of Teacher Education. 

Bron: Brooks, C.,Carroll, A., Gilles, R.M., & Hattie, J. (2019). A Matrix of Feedback for Learning. Australian Journal of Teacher Education, 44

De Nederlandse vertaling van de 'Matrix of Feedback for Learning'.

Matrix of Feedback for Learning (Nederlandse vertaling) 

Niveau van leren	Niveau van feedback	Feedup:   Waar ga ik naartoe?	Feedback:   Hoe sta ik ervoor?	Feedforward:   Wat is mijn volgende stap?
Nieuweling                                               In ontwikkeling                                                   Gevorderd	Taak	Feedup klinkt als:   - “Vandaag leren we …” - “Als deze taak lukt, ziet het er zo uit… (voorbeeld)” - “De sleutelcriteria voor succes zijn…” - “We gaan op zoek naar…”   Feedup strategieën:   - Maak het minder complex - Gebruik voorbeelden - Herken misconcepties - Gebruik een diagnostische toets om het leerdoel te bepalen	Feedback klinkt als:   - “Je begrijpt het leerdoel wel/niet met…” - “Je hebt de succescriteria wel/niet behaald met…” - “Je antwoord / opbrengst is wel/niet wat we bedoelen, omdat…”   Feedback strategieën:   - Vermijd overdreven nadruk op de foutenanalyse - Feedback geef je direct op het moment - Laat de feedback aansluiten bij de succescriteria	Feedforward klinkt als:   - “Om het leerdoel volledig te begrijpen zou je…” - “Met de volgende succescriteria … zou je werk sterk verbeteren.” - “Het toevoegen / weglaten van … zou je werk verbeteren.”   Feedforward strategieën:   - Gebruik de taal van de succescriteria - Gebruik scaffolding - Geef de feedforward tijdig - Zorg voor uitdaging - Koppel terug naar het leerdoel
	Proces	Feedup klinkt als:   - “De hoofdideeën / concepten in deze taak zijn…” - “Deze ideeën/concepten staan met elkaar in relatie door…” - “Cruciale vragen die over deze taak zou kunnen stellen, zijn…” - “Vaardigheden die je voor deze taak nodig hebt zijn…” - “Strategieën die je bij deze taak kunt inzetten, zijn…”   Feedup strategieën:   - Gebruik grafische planningsoverzichten o Gebruik minder scaffolding - Verhoog de complexiteit - Gebruik hogere doelen	Feedback klinkt als:   - “Jouw begrip van de ideeën / concepten van deze taak zijn…”  - “Jouw denken over deze taak is…” o “Je vertoonde … vaardigheden op … niveau.” - Je vertoonde … strategieën op … niveau.”   Feedback strategieën:   - De hoeveelheid feedback mag groeien - De complexiteit van de feedback mag toenemen - Gebruik aanwijzingen en hints/signalen	Feedforward klinkt als:   - “Om het leerdoel volledig te begrijpen zou je…” - “Met de volgende succescriteria … zou je werk sterk verbeteren.” - “Het toevoegen / weglaten van … zou je werk verbeteren.”   Feedforward strategieën:   - De hoeveelheid feedforward mag groeien - De complexiteit van de feedforward mag toenemen - Gebruik aanwijzingen en hints/signalen o Zorg voor uitdaging
	Zelfregulatie	Feedup klinkt als:   - “Hoe ga je het leerdoel gebruiken?” - “Hoe ga je de succescriteria gebruiken?” - “Op welke andere manieren kun je de vorderingen in je werk bijhouden?”   Feedup strategieën:   - Verminder het gebruik van voorbeelden - Richt de aandacht op hogere doelen en de prestatie	Feedback klinkt als:   - “Lig je op schema met je werk?” - “Hoe weet je dat?” - “Tot welk niveau voldoe je aan de succescriteria?” - “Lig je op schema met het bereiken van je doel? - “Hoe weet je dat?”   Feedback strategieën:   - Stel feedback uit - De feedback dient wellicht alleen ter verificatie	Feedforward klinkt als:   - “Hoe kun je je begrip vergroten?” - “Hoe kun je je werk verbeteren?” - “Wat is de volgende stap in jouw leerproces?” - “Hoe weet je dat?”   Feedforward strategieën:   - Stel feedback uit - Maak de lerende minder afhankelijk van het vertrouwen van de leraar - Vergroot het zelfregulerend vermogen van de lerende

 Meer informatie op https://files.eric.ed.gov/fulltext/EJ1213749.pdf

Feedback en formatief toetsen

Feedback

We verdelen feedback door docenten als door leerlingen in drie subcategorieën:

 

1 - Feed up (vooraf duidelijk wat je moet doen)

2 - Feedback (waar sta je nu)

3 - Feed forward (welke stappen moet je nog ondernemen om verder te komen)

 

	Feed up	Feedback	Feed forward
	Is het de leerling  duidelijk wat hij/zij moet doen? Waar werkt de leerling naartoe?	Waar is de leerling nu?	Welke stappen moet de leerling nog ondernemen om verder te komen? Hoe komt de leerling naar de gewenste situatie?
Docent	Leerdoel en succescriteria duidelijk maken, delen en begrijpen.	Realiseren van effectieve discussies, taken en activiteiten voor leren.	Feedback geven gericht op verder leren.
Medeleerling		Activeren van leerlingen als belangrijkste informatiebronnen voor elkaar.
Leerling		Activeren van leerlingen door het stimuleren m.b.t. het eigen leren.

Verder zijn er zeven essentiële punten voor het geven van feedback:

1 - Feedback moet verwijzen naar een doel.

2 - Feedback moet tastbaar en transparant zijn.

3 - Feedback moet actiegericht zijn.

4 - Feedback moet gebruiksvriendelijk zijn.

5 - Feedback moet vlot en tijdig worden gegeven.

6 - Feedback moet voortdurend formatief zijn, dus inzicht geven in het leerproces van de leerling.

7 - Feedback moet consistent zijn; de normen zijn duidelijk en gelijk voor iedereen. 

Formatief toetsen

Formatieve toetsen worden tijdens het onderwijsleerproces ingezet om te meten hoe ver leerlingen gevorderd zijn in het behalen van bepaalde doelen. Deze toetsen geven tevens inzicht in de vervolgstappen die ondernomen kunnen worden om alsnog de gestelde doelen te behalen of nieuwe doelen te formuleren.

In tegenstelling tot summatief toetsen, heeft formatief toetsen dus als primair doel leerlingen inzicht te geven in hun eigen leerproces en hun onderwijs op maat te geven. 

Toetsen met een formatieve functie zorgen ervoor dat de docent helder heeft waar de leerling naartoe werkt (feed up), een goed beeld krijgt waar de leerling staat (feedback) en de docent weet hoe hij de leerling naar de gewenste situatie kan leiden (feed forward).

Doordat de docent aan het einde van zijn les vragen stelt over de behandelde stof en over de te behandelen lesstof, krijgt de docent inzicht waar zijn leerlingen staan in hun leerproces:

- Hebben ze de behandelde stof voldoende begrepen?
- Kan hij de volgende les inderdaad aan nieuwe lesstof beginnen?
- Of blijkt dat leerlingen ook die stof beheersen?
- Hebben slechts enkele leerlingen extra instructie nodig?

Op basis van de uitkomst is het voor de docent mogelijk om in te spelen op wat zijn leerlingen nodig hebben en om eventueel zijn lesinstructies en leeractiviteiten de volgende les bij te stellen.

Het formatief toetsen leggen we uit in drie verschillende stappen. Waarbij we gebruik maken van de begrippen feed up, feedback en feed forward:

1 - Doel          – waar werkt de leerling naar toe?    - (feed up)
2 - Toets         – waar staat de leerling nu?              - (feedback)
3 - Gevolg      – wat heeft de leerling nog te doen? - (feed forward) 

Stap 1	Doel  Waar werkt de leerling naar toe? (feed up)	Bij formatief toetsen stel je eerst vast wat het doel is van de les.
Stap 2	Toets  Waar staat de leerling nu? (feedback)	In deze stap maak je zichtbaar wat al geleerd is met een toets.   Een toets kun je hier ruim opvatten, als een quiz, maar ook allerlei andere vraagvormen om de kennis of vaardigheden van leerlingen te toetsen.
Stap 3	Gevolg  Wat heeft de leerling nog te doen? (feed forward)	In stap 3 bepaal je het gevolg: wat is er nog te leren? En om welke aanpassing van de les vraagt dit?   Deze stappen blijf je herhalen als docent, maar ook als leerling.   Door de les op deze manier te koppelen aan het doel en aan wat nog te leren is, wordt duidelijk waar de leerlingen naartoe werken.

Feedback

Het geven van goede feedback, zowel door docenten als door leerlingen.

 

We verdelen feedback door docenten als door leerlingen in drie subcategorieën:

 

1. - Feedup (vooraf duidelijk wat je moet doen)

2. - Feedback (waar sta je nu)

3. - Feedforward (welke stappen moet je nog ondernemen om verder te komen)

 

	Feedup	Feedback	Feedforward
	Is het de leerling  duidelijk wat hij/zij moet doen? Waar werkt de leerling naartoe?	Waar is de leerling nu?	Welke stappen moet de leerling nog ondernemen om verder te komen? Hoe komt de leerling naar de gewenste situatie?
Docent	Leerdoel en succescriteria duidelijk maken, delen en begrijpen.	Realiseren van effectieve discussies, taken en activiteiten voor leren.	Feedback geven gericht op verder leren.
Medeleerling		Activeren van leerlingen als belangrijkste informatiebronnen voor elkaar.
Leerling		Activeren van leerlingen door het stimuleren m.b.t. het eigen leren.

 

Reflectievragen met de taxonomie van Bloom

Inleiding

Als docent ben je altijd opzoek naar nieuwe manieren om leerlingen te helpen om beter te leren. Een instrument waar vaak naar verwezen wordt is de taxonomie van Bloom. 

De taxonomie van Bloom onderscheidt zes niveaus, die oplopen in moeilijkheidsgraad:

	Niveau	Centrale vraag
1	Onthouden	Wat heb ik geleerd?
2	Begrijpen	Wat is belangrijk aan wat we hebben gedaan?
3	Toepassen	Hoe kan ik dit toepassen in een nieuwe situatie?
4	Analyseren	Zijn er patronen die ik herken?
5	Evalueren	Hoe goed heb ik het gedaan? Hoe kan ik verbeteren?
6	Creëren	Hoe kan ik dit in de toekomst in een nieuwe situatie gebruiken?

Het onderstaande schema staat bekend onder taxonomie van Bloom en verdeelt het cognitieve domein in een aantal leerdoelen die oplopen van simpel tot complex.

De taxonomie van Bloom is een handig overzicht waarin volgens enkele auteurs het verschil wordt gemaakt tussen ‘hogere orde denken’ en ‘lagere orde denken’. Simpel gezegd: reproduceren en toepassen is makkelijk, pas vanaf analyse en synthese wordt het interessant. Het hoogste niveau is ‘creëren’.

Lagere orde vragen zijn vragen die een beroep doen op onthouden, begrijpen en (deels) toepassen. Hogere orde vragen zijn de vragen waarbij voor het antwoord de vaardigheden voor analyseren, evalueren of creëren nodig zijn.

PS - Let op er zijn auteurs die vermelden dat er helemaal geen ‘hogere orde’ of ‘lagere orde’ in de piramide is. Dit is later pas bedacht en heeft eigenlijk niets met de taxonomie van Bloom te maken. Dit is goed om te vermelden. Er zit ook geen hiërarchie in de taxonomie. Het gaat om een verzameling aan termen die gedrag beschrijven wat je kunt zien bij een leerling. De auteurs geven aan dat het een aanzet is tot het beschrijven van verschillende onderdelen. Ze zien het als een richtlijn, maar zeker niet als ‘de waarheid’.

Feedback

Een docent kan op drie verschillende reflectie uitlokken bij zijn / haar leerlingen:
A - De docent geeft feedback op het gedrag van de leerlingen.
B - De docent organiseert momenten voor reflectie en stelt reflecterende vragen.
C - De docent stimuleert leerlingen om met elkaar te reflecteren en elkaar feedback te geven.
 
Reflecteren is belangrijk om te leren van opgedane ervaringen. Maar het is geen vaardigheid die bij  leerlingen vanzelf ontstaat. Leerlingen hebben veel behoefte aan begeleiding bij het leren reflecteren.
 
Het is daarom belangrijk dat docenten op het geschikte moment feedback geven op het gedrag van leerlingen en reflecterende vragen te stellen bij leeractiviteiten.
 
Echter docenten vinden reflectie belangrijk maar vinden het ook lastig om de juiste vragen te stellen en feedback te geven. Om dit dilemma op te lossen kan de docent reflectievragen stellen met hulp van de taxonomie van Bloom. De docent kan dus nadenken over de implementatie van de taxonomie van Bloom in zijn lessen.

 

Vragen stellen
Voor elke fase van de taxonomie van Bloom is een passende vraag te stellen aan de leerlingen.
 

SKILLS	VOORBEELDVRAGEN
Onthouden   Het kunnen ophalen van adequate informatie. Dit kan variëren van feiten tot complete theorieën.   Informatie herinneren. Herkennen, beschrijven, benoemen.	Wat heb ik geleerd?   Formulering van vragen /opdrachten: benoem, definieer, beschrijf, toon, identificeer, verzamel, onderzoek, wie, wat, wanneer, etc.   • Wat gebeurde er na...? • Hoeveel...? • Wat is...? • Wie was het die...? • Benoem ...? • Wat is de definitie van…? • Beschrijf de manier waarop…? • Wie ...? • Wat is goed / fout...?
Begrijpen   De vaardigheid om adequate betekenis te geven aan informatie.   Ideeën of concepten uitleggen. Interpreteren, samenvatten, hernoemen, classificeren, uitleggen.	Wat is belangrijk aan wat we hebben gedaan?   Formulering van vragen / opdrachten: vat samen, beschrijf, bespreek, interpreteer, formuleer conclusies, contrasteer, voorspel, leg verbanden, onderscheid, werk uit voor verschillende doelgroepen, werk uit voor een andere context, maak een inschatting.   • Kun je uitleggen waarom…? • Kun je in je eigen woorden beschrijven…? • Hoe verklaar je…? • Kun je een samenvatting geven van...? • Wat denk je dat er vervolgens zal gebeuren...? • Wie zal volgens jou...? • Wat is de hoofdgedachte achter...? • Kun je verduidelijken…? • Kun je… illustreren met een voorbeeld?
Toepassen   De vaardigheid om kennis in nieuwe en concrete situaties toe te passen.   Informatie in een andere context gebruiken. Bewerkstelligen, uitvoeren, gebruiken, toepassen.	Hoe kan ik dit toepassen in een nieuwe situatie?   Formulering van vragen /opdrachten: pas toe, demonstreer, bereken, vul aan, illustreer, toon, los op, onderzoek, pas aan, verander, relateer, classificeer, experimenteer   • Weet je nog een andere situatie waarin…? • Kun je…categoriseren volgens…? • Welke factoren zullen veranderen als…? • Welke vragen zou je stellen aan…? • Kun je aan de hand van de gegeven informatie een instructie geven over…?
Analyseren   De vaardigheid om informatie op te delen in onderdelen zodat de (organisatorische) structuur kan worden begrepen en bestudeerd.   Informatie in stukken opdelen om de verbanden en relaties te onderzoeken. Vergelijken, organiseren, uit elkaar halen, ondervragen, vinden.	Zijn er patronen die ik herken?   Formulering van vragen /opdrachten: analyseer, scheid, orden, leg uit, verbind, classificeer, deconstrueer, construeer, vergelijk, selecteer, leid af.   • Welke gebeurtenis zou niet gebeurd zijn als…? • Als … waar is, wat betekent dat dan voor …? • Op welke manier is … hetzelfde als ...? • Wat zijn andere mogelijke uitkomsten? • Waarom gebeurde…? • Kun je uitleggen wat er gebeurde toen...? • Welke problemen kom je tegen bij...? • Kun je onderscheid maken tussen… en ...? • Wat waren de motieven voor ..? • Wat was het keerpunt?
Evalueren     De vaardigheid om de waarde van iets (literatuur, onderzoeksrapport, presentatie etc.) te kunnen beoordelen in relatie tot een bepaald doel. Het oordeel is gebaseerd op (al dan niet door de student zelf geformuleerde) criteria.   Motiveren of rechtvaardigen van een besluit of gebeurtenis. Controleren, hypothetiseren, bekritiseren, experimenteren, beoordelen.	Hoe goed heb ik het gedaan? Hoe kan ik verbeteren? Wil je wanneer goed?   Formulering van vragen / opdrachten: beoordeel, beslis, orden, geef een cijfer, toets, meet, geef een aanbeveling, overtuig, selecteer, leg uit, maak een onderscheid, ondersteun, concludeer, vergelijk, vat samen.   • Is er een betere oplossing voor...? • Beoordeel de waarde van... Wat vind je er van...? • Verdedig je mening over...? • Vind je … goed of fout? • Hoe zou jij ... hebben aangepakt? • Welke veranderingen voor … raad jij aan? • Geloof jij … Hoe zou jij je voelen als ..? • Hoe effectief zijn. ..? • Wat zijn de consequenties van..? • Welke invloed zal … hebben op ons leven? • Wat zijn de voors en tegens van ....? • Waarom is … waardevol? • Wat zijn mogelijke alternatieven? • Wie zal winnen / verliezen bij …?
Creëren   De vaardigheid om met behulp van het geleerde nieuwe ideeën, oplossingen, producten te ontwikkelen.   Nieuwe ideeën, producten of gezichtspunten genereren. Ontwerpen, maken, plannen, produceren, uitvinden, bouwen.	Hoe kan ik dit in de toekomst in een nieuwe situatie gebruiken?   Formulering van vragen /opdrachten: combineer, plan, ontwerp, maak, ontwikkel, onderzoek, wat als?, stel op, formuleer, herschrijf.   • Kun je een ...ontwerpen, waarmee...? • Zie je een mogelijke oplossing voor...? • Als je toegang had tot alle informatie en middelen, wat zou je dan doen met...? • Ontwerp je eigen manier om...? • Wat zou gebeuren als ...? • Op hoeveel manieren kun je...? • Kun je nieuwe en ongebruikelijke manieren verzinnen om ... te gebruiken? • Kun je een voorstel schrijven waarmee je...?