Data is almaar belangrijker vandaag de dag, ook in ons onderwijs. Hoe kan je met data enlearning analytics studenten digitaal opvolgen en begeleiden? Dat gingen onderzoekers van PXL Smart ICT en PXL Onderwijsinnovatie na in eenonderzoeksproject. Tijd voor de resultaten.
Digitaal leren: afstand verkleinen door kwalitatieve informatie te visualiseren
Niet alleen in het bedrijfsleven, maar ook binnen het onderwijs zal het gebruik van data nog sterk toenemen en aan belang winnen. Bij het in opmars zijnde digitale leren is er meer afstand tussen studenten en docenten, omdat de docent de student in kwestie niet kan zien. De juiste gegevens kunnen die afstand opnieuw verkleinen. Digitale voetafdrukken kunnen verzameld worden in tabellen en samengevat worden in digitale rapporten die altijd de laatste stand van zaken weergeven.
Op basis van deze rapporten kunnen docenten en ondersteunend personeel hun studenten beter opvolgen en begeleiden. Data kan er ook voor zorgen dat kwalitatieve informatie beter zichtbaar wordt. Deze principes worden al op grote schaal toegepast in de privésector, en ook in het onderwijs wordt er steeds meer gebruik van gemaakt. Dashboards zorgen voor inzicht in voortgang, en maken vergelijken gemakkelijker. Op die manier kan de docent zien wie er mee is, en welk lesmateriaal kwalitatief is.
Learning analytics
Telkens wanneer een student gebruikt maakt van een digitaal platform, laat de student een voetafdruk achter. Dit soort informatie die continu verzameld wordt, kan gelinkt worden aan informatie over de voorgeschiedenis van de student en aan toetsresultaten.
Indien deze data gebruikt wordt om het onderwijsproces te sturen, spreekt men van learning analytics. Op basis van de beschikbare data kan nuttige informatie in de vorm van een dashboard gepresenteerd worden aan studenten, docenten en ondersteunend personeel. Het dashboard kan studenten inzicht geven in hun leervorderingen.
Anticiperen
Voor docenten wordt het mogelijk om studenten die extra ondersteuning nodig hebben vroegtijdig te identificeren. Gerichte feedback en gepast advies zorgen er in veel gevallen voor dat de slaagkansen verbeteren. Bovendien heeft een dashboard een positieve invloed op de communicatie tussen docenten en studenten. Docenten geven hierdoor vaker en betere feedback.
Op basis van beschikbare data kunnen in sommige gevallen automatische voorspellingen worden gedaan. Via een stoplichtensysteem kan in het dashboard aangegeven worden welke studenten risico lopen. Een student die hoogstwaarschijnlijk slaagt, krijgt een groen lampje, een student die een zeker risico loopt een oranje lampje, en een student die veel risico loopt een rood lampje. Met behulp van dit stoplichtensysteem kunnen docenten sneller inschatten welke studenten extra ondersteuning nodig hebben.
Onderzoeksproject
Van september 2016 tot september 2018 liep bij PXL het onderwijsonderzoeksproject ‘Learning analytics als tool voor het ondersteunen van gepersonaliseerde leerwegen en blended learning’.
Het project was een voortzetting van een vorig learning analytics-project. De focus van het project was tweeledig:
- het ondersteunen van lectoren in de opbouw van een zinvolle digitale cursus die klaar is om learning analytics te ondersteunen;
- het uitwerken van dashboardontwerp dat een lector maximaal kan faciliteren in het identificeren van studenten die nood hebben aan extra ondersteuning.
In het voorjaar van 2017 werden aan Hogeschool PXL vier focusgroepsgesprekken gehouden met lectoren. De bedoeling van de focusgesprekken was om kwalitatieve feedback te krijgen op enerzijds een aantal open vragen en anderzijds op de geschiktheid van een aantal voorgestelde dashboards. Deze dashboards werden geselecteerd op basis van enkele verschillende visies die in de literatuur gevonden werden.
Eén oogopslag
De resultaten uit de focusgesprekken kwamen overeen met aanbevelingen uit de literatuur. Docenten willen een overzichtelijk dashboard dat de status laat zien van een groep van studenten. Ze willen in één oogopslag kunnen zien hoe ver studenten staan in hun individuele leerproces, hoeveel inspanningen ze gedaan hebben, en wie een risicostudent is.
Docenten willen de informatie die aangeboden wordt via het dashboard kunnen ordenen en kunnen filteren. Daarnaast willen ze via het dashboard acties kunnen ondernemen. Ze willen meer informatie kunnen opvragen over de leervorderingen van een student, en ze willen vlot kunnen communiceren met een groep van studenten die aan dezelfde criteria voldoen.
Geen automatische piloot
Docenten willen via het dashboard meer controle over het leerproces van de student. Ze willen echter geen geautomatiseerd systeem dat hun taak overneemt. Automatische aanbevelingen voor studenten zijn volgens docenten vaak incorrect, omdat er vertrokken wordt van onbetrouwbare data. Het is niet altijd mogelijk de inspanningen en vorderingen van een student accuraat te meten. Een student kan er bijvoorbeeld voor kiezen om gebruik te maken van bronnen die niet digitaal beschikbaar werden gesteld door de docent (een medestudent, eigen notities, een papieren cursus enz.) en daardoor ook niet gemeten worden door het systeem.
Docenten gaven in focusgesprekken ook aan dat, indien een dashboard ontwikkeld is op basis van wetenschappelijk onderzoek, ze ervan uitgaan dat studenten meer bereid zal zijn om met deze feedback rekening te houden.
Dashboard
Bij de ontwikkeling van een prototype van het dashboard werd niet alleen rekening gehouden met de resultaten van de focusgroepen en de aanbevelingen uit de literatuur, maar ook met hoe docenten gewend zijn om te gaan met data. Dit gebeurt bij een puntenboek meestal in een tabel, met de gegevens van de verschillende onderdelen in kolommen, en de namen van de studenten in rijen. Een puntenboek heeft als nadeel dat dit vaak enkel rekening houdt met de summatieve resultaten.
Via een puntenboek proberen docenten een overzicht te bewaren over de leervoortgang van de studenten. Blackboard, de digitale leeromgeving die gebruikt wordt bij PXL, bevat reeds een digitaal puntenboek. De cijfers van digitale toetsen en opdrachten worden automatisch aan dit puntenboek toegevoegd.
Het prototype van het dashboard werd geïntegreerd met Blackboard waardoor het informatie kan toevoegen aan het puntenboek in Blackboard. Hierdoor kan het puntenboek een echt dashboard worden dat naast cijfers van summatief assessment ook informatie bevat over de slaagkansen van de studenten. Dit gebeurt via een stoplichtensysteem. Een student die waarschijnlijk zal slagen krijgt een groen lampje, een student die enig risico loopt krijgt een oranje lampje, en een student met hoog risico krijgt een rood lampje. Met behulp van dit stoplichtensysteem kunnen docenten sneller inschatten welke studenten extra ondersteuning nodig hebben. Uiteindelijk is het de docent die beslist wat er met deze informatie gebeurt. De informatie kan gedeeld worden met de student, of de docent kan via Blackboard digitale berichten sturen.
Feedback
In april 2018 vond opnieuw een reeks focusgesprekken plaats met docenten. Deze keer werd gekeken naar hoe docenten communiceren en feedback geven op basis van de data die ze tot hun beschikking hebben.
Feedback geven op leervorderingen is één van krachtigste leermiddelen die een docent kan inzetten in het onderwijsleerproces. Door feedback te geven kan een docent de gedachtegang van een student bijsturen. Indien een student op een effectieve manier bezig is, kan feedback ervoor zorgen dat dit proces voortgezet en versterkt wordt. Indien dit niet het geval is, kan de docent de student via feedback bijsturen.
Om effectief te zijn, moet de feedback een inhoudelijke terugkoppeling bevatten. Gewoon aangeven of een student goed of niet goed bezig is, is niet voldoende en werkt in veel gevallen contraproductief. Het kan ervoor zorgen dat studenten afhaken omdat ze denken dat de doelstellingen reeds behaald zijn, of omdat ze niet meer weten hoe het verder moet.
Uit de tweede reeds focusgesprekken bleek dat docenten goed nadenken over hoe ze op basis van data met studenten willen communiceren. De meeste docenten hebben een plan van aanpak, dat ze ook met de studenten delen. Op die manier weet de student wanneer deze feedback krijgt en op basis van welke informatie die feedback wordt gegeven.
Compatibel met Blackboard
Tijdens het onderwijsonderzoeksproject werd een prototype van een dashboard met stoplichtensysteem ontwikkeld dat docenten kunnen gebruiken om studenten op te volgen en feedback te geven. De docenten die deelnamen aan de feedbackinterviews zijn enthousiast over het prototype, en willen dit gebruiken om feedback te geven aan studenten. Het getoonde prototype sluit aan op de verwachtingen van docenten, en kan op een eenvoudige manier geïntegreerd worden in Blackboard.
Daarnaast heeft Blackboard reeds veel mogelijkheden met betrekking tot digitaal opvolgen en eenvoudige analytics. Slechts een kleine minderheid van de docenten kent deze mogelijkheden en gaat hiermee aan de slag. Daarom werd heel wat lesmateriaal ontwikkeld dat docenten ondersteunt bij het digitaal opvolgen en begeleiden van studenten. Het lesmateriaal stelt docenten in staat om met bestaande functionaliteit aan de slag te gaan, en blijft ook na afloop van het onderzoeksproject beschikbaar in de Blackboardomgeving van PXL.
Meer info: tobe.baeyens@pxl.be / servaas.tilkin@pxl.be
Lees ook: Computer voorspelt slaagkansen van studenten
