Oplossingen voor online toetsen

Met het langer gesloten blijven van onderwijsinstellingen en de exponentieel toegenomen digitale ondersteuning, neemt de vraag toe naar mogelijkheden voor online toetsen. Zowel voor formatieve toetsen, gericht op de leerontwikkeling, als de summatieve toetsen, gericht op een beoordeling.

Het afnemen van toetsen is er in diverse soorten en maten; van primair onderwijs tot wetenschappelijk onderwijs, klein en groot, eenvoudig en complex. De afgelopen tijd hebben diverse instellingen gezocht naar mogelijkheden en zijn er al diverse ervaringen. Er is inmiddels veel informatie online over te vinden, maar het vereist een verdieping in de materie om de juiste keuze te maken. Met deze blog geef ik een aantal criteria mee die helpen om een goede keuze te maken en belicht ik vervolgens vier oplossingen om online toetsen goed in te richten.

Waar moet een goede oplossing aan voldoen?
De focus ligt in deze blog op ondersteunende technologie. Als eerste is het belangrijk om te onderzoeken welk probleem moet worden opgelost en welke alternatieven hiervoor zijn. Ook een ‘analoge’ oplossing kan een goede kosteneffectieve oplossing zijn. Bij een keuze voor technologie is het belangrijk om te kijken naar:

• Functionaliteit: welk probleem wil ik oplossen? Hoe gebruiksvriendelijk is het voor de docent en leerling/student. Als je eenvoudige toetsen wilt doen, kies dan ook een eenvoudig te gebruiken oplossing.
• Hergebruik: Heeft de instelling al software of een dienst in huis die hiervoor kan worden ingezet? Zijn er raamcontracten zodat het eenvoudig is compliant te zijn aan de inkoopprocessen? Kan de oplossing meerdere scenario’s aan?
• Schaal: Hoeveel studenten of leerlingen maken gebruik van de oplossing?
• Integratie: Om de implementatietijd zo kort mogelijk te maken is het gewenst dat de oplossing wordt geïntegreerd in met het bestaande LMS.
• Privacy en security: online toetsen bevatten gevoelige informatie en persoonsgegevens. Door de hoge tijdsdruk schieten privacy en security er nog wel eens bij in.
• Referenties: zijn er al instellingen in Nederland die de oplossing gebruiken? Zijn zij tevreden en bereid om hun ervaringen te delen?
• Contract: wat is het licentiemodel, eventuele extra kosten en flexibiliteit bij uitbreiding, vermindering of beëindiging?

Online Proctoring
Bij het afnemen van toetsen bij leerlingen thuis, ontstaat een verschuiving van de risico’s. Deze worden niet per se groter, maar zeker anders. Belangrijkste aandachtspunt is de communicatie naar student en leerling en het vooraf bedenken hoe om te gaan met technische problemen. Denk aan een webcam die (vermeend) stuk gaat, waardoor de controle hapert. Een helder overzicht aan aandachtspunten staat in een whitepaper dat enige tijd geleden door Surf is opgezet.

Online Proctoring ondersteunt het sluitstuk van online toetsen, namelijk het surveilleren op afstand. Hierbij wordt online toezicht gehouden op de leerling of student in zijn of haar thuissituatie en wordt bekeken of deze geen oneerlijke middelen gebruikt om de toets te maken, maar wordt ook de leerling of student geïdentificeerd. De SIG Digitaal Toetsen van Surf onderscheidt drie vormen van online toezicht. Samengevat gaat het om:

1) live proctoring waarbij mensen op afstand toezicht houden

2) tijdelijk opslaan van videobeelden waarbij de controle achteraf plaatsvindt door docenten

3) (semi-)geautomatiseerde proctoring waarbij de software signalen geeft bij mogelijk misbruik.

Authentiek digitaal toetsen
Nu steeds meer vakken in het onderwijs gebruik maken van software zoals het veel gebruikte SPSS en MatLab, ontstaat ook de behoefte om tijdens het toetsen deze software te integreren met de toetsomgeving. Deze vorm van toetsen wordt ook wel Application based testing genoemd. SURF licht deze vorm toe met de volgende ideale situatie: “Je logt op een device in als student met je instellings ID, waarna een virtuele machine opstart, met daarin alleen de applicaties en bestanden die jij nodig hebt bij jouw toets. De toets start automatisch op, je werkt met de applicatie(s), levert uiteindelijk de bestanden/resultaten in en bij het afsluiten wordt een backup gemaakt van je materialen.” Lees hier het gehele artikel van Surf.

Vier goede oplossingen

Microsoft Forms in combinatie met Teams
Nu veel instellingen Microsoft Teams gebruiken, zoeken docenten naar nieuwe mogelijkheden zoals het maken van eenvoudige toetsen. Doordat Teams onderdeel is van Office365 met onder meer Forms en OneNote, is dit mogelijk. Er zijn geen aparte licenties voor nodig. In deze video wordt uitgelegd hoe dit werkt: Handig een quiz of formulier maken met Microsoft Forms. Naast tekstuele vragen kun je ook formules gebruiken voor bijvoorbeeld wiskundevragen. Specifieke tips lees je hier.

Ook voor het afnemen van mondelinge toetsen, zoals bij taalonderwijs, biedt Microsoft Teams mogelijkheden. In Teams zit standaard de mogelijkheid om de sessie op te nemen, waarbij deze achteraf via Microsoft Stream beschikbaar is. Deze kan vervolgens ook door de leerling worden teruggekeken.  Mogelijk wil je meerdere vensters tegelijk opnemen. In Windows 10 maak je eenvoudig video-opnames van het scherm. Gebruik de toetscombinatie “Windowstoets” + “G” en de screenrecorder komt beschikbaar. Het bestand wordt lokaal op de PC opgeslagen. Voor veel meer informatie rond het gebruik van Teams in het onderwijs, zie hier.

Dugga
Als uitgebreidere ondersteuning gewenst is, zoals het gebruik van een kennisbank, bieden op maat gemaakte tools voor online toetsen extra mogelijkheden.
Een goede oplossing is Dugga. Dit platform is ooit gestart als een spin-off van een onderzoeks- en ontwikkelingsproject waar ook een Nederlandse HBO aan heeft meegewerkt. Dugga is geschikt voor huiswerkopdrachten, tussentijdse toetsen en examens. Het kan worden geïntegreerd met een bestaand LMS. Het ondersteunt de immersive reader, waarbij leerlingen en studenten met leesproblemen extra worden ondersteund. Dugga focust sterk op gebruikersvriendelijkheid voor leerling en docent en functioneert  op verschillende besturingssystemen. Dugga biedt nu tijdelijk haar software voor Remote Learning gratis aan.

Proctorio
Een derde optie is het inzetten van Proctorio.
Alle drie eerdergenoemde vormen van online toezicht (live, videobeelden, semi-geautomatiseerd) zijn hiermee mogelijk. Een voordeel is dat deze tool een onbeperkt aantal leerlingen of studenten aankan die tegelijkertijd een toets uitvoeren en een veilige oplossing aanbiedt. Dit doordat het gebruik maakt van Microsoft Azure met de bijbehorende videostreaming diensten. Belangrijk vanuit compliance is te kiezen dat de data in Europa wordt verwerkt en bewaard. Proctorio integreert standaard met Canvas, Brightspace, Cirrus, Blackboard, Moodle, Connect en QuestionMark, maar ook maatwerk integraties zijn mogelijk. Proctorio biedt support vanuit Europa aan, wat de snelheid voor probleemoplossing bevordert. Ze bieden ook support voor studenten en leerlingen die praktische problemen ondervinden. Volgens de TU/e in liep slechts een kleine 5% van de studenten tegen technische problemen aan bij het gebruik van Proctorio.

Authentiek toetsen: Azure als basis
De SIG Digitaal toetsen heeft in dit artikel geconcludeerd dat een cloudplatform zoals Azure een belangrijk deel van de oplossing is en heeft een architectuur gepresenteerd. Bij een authentieke toets logt elke student via een browser in op zijn of haar eigen virtuele machine met daarop de benodigde software voor de toets. Gegeven de grote aantallen studenten tijdens een toets, betekent dit dat er ook grote aantallen virtuele machines nodig zijn. Tevens zijn de virtuele machines alleen nodig tijdens de toets. Het soort machine (geheugen, CPU/GPU) is afhankelijk van de software tijdens de toets, waardoor je niet voor alle software dezelfde hardware kunt gebruiken. Een platform als Azure, waarbij voor elke toets de passende virtuele machines met de juiste software in grote aantallen worden opgestart én waarbij je alleen betaalt voor het moment dat je ze gebruikt is dan een goede oplossing.

Enkele Nederlandse instellingen hebben een dergelijke oplossing gerealiseerd en al enkele jaren succesvol in gebruik. De architectuur en zelfs grote delen van de code kunnen eenvoudig worden hergebruikt. Met de toenemende vraag verwacht ik dat er binnenkort een organisatie is die hiervoor een oplossing gaat aanbieden.

Een aanrader om over de volle breedte van online toetsen geïnformeerd te worden, is een sessie van de Open Universiteit.

Mocht je vragen hebben rond online toetsen, dan kun je contact opnemen met onderwijsbalie@microsoft.com.