11 april 2008

ELO hits en studentensucces

Willem van Valkenburg citeert een artikel waarin 2 onderzoekers een verband aantonen tussen de frekwentie waarmee een student zijn ELO bezoekt ("page hits") en zijn prestaties, gemeten aan zijn beoordeling. Dat verband kon niet worden aangetoond voor prestatie en gebruik van het discussion board van die ELO.

Dat laatste vindt Wilfred Rubens logisch, want:

"De ontwerpers van de cursus hebben dan namelijk een klassieke fout gemaakt. Ze hebben een leeractiviteit gecreëerd (online discussies) waarmee je aan andere leerdoelen werkt (zoals kritisch denken), dan de leerdoelen die daadwerkelijk beoordeeld worden.

Zou de gevonden samenhang algemeen geldig zijn? Om een bijdrage te leveren aan het beantwoorden van die vraag wordt het tijd voor een eigen experiment.
De 1e jrs studenten biologie hebben net hun eerste blok van het vak Modelleren afgerond. De toetsresultaten zijn bekend, evenals de overzichten van hun gebruik van Blackboard. We zullen eens kijken of de amerikaanse bevindingen hier ook opgaan...

Allereerst een totaal plaatje van het bezoek aan Blackboard voor deze course, opgedeeld naar categorien

Bb-Hits-1

De studenten komen nadat ze zijn ingelogd in Blackboard en een course hebben gekozen altijd binnen op de mededelingenpagina (announcements) van die course. De bezoekcijfers aan de categorie announcements is dus een goede graadmeter voor de frekwentie waarmee de student Blackboard gebruikt voor dit vak. Voor een eerste indruk heb ik de toetsresultaten uitgezet tegen het aantal page-hits van de rubriek mededelingen.

Stats

In het plaatje is duidelijk te zien dat er 1 student is met een uitzonderlijk hoog bezoek aan Bb (140). De overgrote deel van het aantal bezoeken valt tussen de 10 en 70. In die groep van waarnemingen is nauwelijks sprake van enig verband tussen de twee variabelen announcements en blokcijfer.

Behalve met een aanschouwelijk plaatje is het verband ook inzichtelijk te maken met behulp van een enkel getal, de correlatie-coefficient:

Pearson's product-moment correlation
data: Announcements and blokcijfer
t = 1.9169, df = 57, p-value = 0.06027
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval: -0.01066187 0.47240377
sample estimates: cor 0.2460923

Dat houdt dus niet over. Het getal nul ligt in het 95% vertrouwensgebied, de overschrijdingskans van de gevonden toetsingsgrootheid t is groter dan 5%, dus we kunnen redelijk veilig de conclusie trekken dat er van enige samenhang tussen Blackboard bezoek, gemeten aan de page-hits voor de rubriek mededelingen, en de prestaties van de studenten geen sprake is.

We kunnen natuurlijk ook even kijken naar het totale bezoek, over alle rubrieken (Communication, Announcements, Discussion, StaffInfo, Grades, Tools) over de periode van 30 dagen (1 maart tot 1 april) waarin dit blok gegeven werd.

Pearson's product-moment correlation
data: Totalen and blokcijfer
t = 2.2528, df = 57, p-value = 0.02814
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval: 0.03220612 0.50503312
sample estimates: cor 0.2859302

OK, de gevonden waarde van de toestingsgrootheid t is significant. Maar echt overtuigend groot vind ik de correlatie niet.

Er zijn ook gegevens beschikbaar voor de rubriek Discussion. Alleen is die rubriek in deze course niet gebruikt voor het voeren van discussies over de behandelde stof, maar als een plaats om individuele antwoorden [i.t.t. groepsbijdragen] van open vragen in te leveren.

Voor wie zelf eens met deze gegevens wil spelen is de data-matrix te downloaden [platte tekst file, met de functie read.table zo in te lezen in R]

PS.
Studenten werken ook 's nachts, en op alle dagen van de week:

Bb-Hits-3 Bb-Hits-4

Posted by Rino Zandee at 11 april 2008 11:50     Share/Save/Bookmark

Comments

Wat een leuk experiment. Heb je voor deze cursus ook online bronnen ontsloten? Want daar zou ook nog een verband kunnen liggen met het cijfer.

Posted by: Wilfred Rubens at 11 april 2008 13:35

Geweldig. Zoiets zou ik natuurlijk ook eens kunnen doen... Ik ga er eens ernstig over nadenken.:-)

Posted by: Willem at 12 april 2008 1:49

Post a comment




Remember Me?

(you may use HTML tags for style)