• Wie sieht ein durchschnittlicher MOOC aus?
• Wie ist das Verhältnis zwischen Instruktion und Übung?
• Welche Ebenen, entsprechend der Verben aus den Lernzielen, werden von den Lernenden ausgeübt?
• Wie viel Prozent der Lernziele werden angesprochen? In Lehr- und Lernaktivitäten und in Assessment Tasks?
• Wie viele Übungsmöglichkeiten haben die Studierenden pro Lernziel?
• Welche Ebenen sprechen die Lernziele tatsächlich an?
• Sind die geplanten Kurslernziele auf einer anderen Ebene zu finden als die tatsächliche Tätigkeiten der Lernenden bei den finalen Assessment Tasks?

• What does an average MOOC look like?
• What is the relationship between instruction and practice?
• Which levels, according to the verbs in the Learning Objectives, are performed by the learners?
• What percentage of the Learning Objectives are addressed? In Teaching and Learning Activities and in Assessment Tasks?
• How many practice opportunities do students have per Learning Objective?
• Which levels do the Learning Objectives actually address?
• Are the planned course Learning Objectives found at a different level than the actual activities of the learners during the final Assessment Tasks?

• 80 self-paced Kurse zufällig ausgesucht, vom 27. Juli 2020 bis 4. September 2020 ausgewertet
• Notieren aller Kurs- und Modullernziele, Lehr- und Lernaktivitäten und Assessment Tasks
• Detailreiche Analyse eines Moduls aus jedem Kurs
• Zuordnung aller Lehr- und Lernaktivitäten zu den Lernzielen und was die Lernenden tatsächlich ausübten
• Ebenso Zuordnung der Assessment Tasks zu den Lernzielen und was die Lernenden tatsächlich ausgeübt haben
• Außerdem festgehalten, ob es bei den Assessment Tasks möglichst war zu schummeln. Das bedeutet, wenn in der Lehr- und Lernaktivitäten die exakte Lösung für den Assessment Tasks vorhanden war
• Abschließendes Assessment Task wurde ebenso analysiert, wenn vorhanden. Identische Durchführung zur Analyse eben genannt

• 80 self-paced courses randomly selected, evaluated from July 27, 2020, to September 4, 2020
• Recording of all course and Module Learning Objectives, Teaching and Learning Activities, and Assessment Tasks
• Detailed analysis of one module from each course
• Assignment of all Teaching and Learning Activities to the Learning Objectives and what the learners actually performed
• Similarly, assignment of the Assessment Tasks to the Learning Objectives and what the learners actually performed
• Additionally recorded whether it was possible to cheat on the Assessment Tasks. This refers to cases where the exact solution for the Assessment Task was present within the Teaching and Learning Activities
• Final Assessment Task was also analyzed, if available. Procedure identical to the analysis mentioned above

Wie sieht ein durchschnittlicher MOOC aus? (+ deskriptive Statistik)

• 65% Lehr- und Lernaktivitäten, 20% Assessment Tasks, 14% reine Informationen
• 37.85% Video- und 30.10% Textanteil eines MOOCs
• Auf ein Video oder Text folgt am wahrscheinlichsten wieder ein Video oder Text (Video → Video 16.09% (häufigster Verlauf innerhalb eines MOOCs); Text → Text 14.06%; Video → Text 8.32%; Video oder Text → Video oder Text 45.52%)
• Durchschnittliches Video dauert 7 Minuten (M = 7.03, Mdn = 5.18, SD = 8.19)
• Insgesamt 27 verschiedene LLAs oder ATs konnten gefunden werden. Im Mittel kommen 9 verschiedene pro MOOC vor
• Ein Assessment Task hat im Mittel 3.69 Aufgaben (Mdn = 2, SD = 5.28)
• 18 von 80 MOOCs besitzen eine abschließende Prüfung (finales Assessment Task)
• 55% wahrscheinlich, bei einer Aufgabe schummeln zu können
• 73.75% aller 499 Aufgaben der finalen Assessment Tasks Single-Choice-Aufgaben (Frage schriftlich beantworten 8.02%; Multiple-Choice-Aufgaben 8.02%; in einem leeren Feld Wort oder kurzen Satz einsetzten 5.21%; schriftliche Ausarbeitung 0.80%; Verfassen eines Reviews 0.20%)

Wie ist das Verhältnis zwischen Instruktion und Übung?

Wie viele Übungsmöglichkeiten haben die Studierenden pro Lernziel?

• Mit Videos und Texte: 60.15% aller Lehr- und Lernaktivitäten Videos anschauen oder Texte lesen

Wie viel Prozent der Lernziele werden angesprochen?

• 74.60% aller Modullernziele werden angesprochen
• Geringste Anzahl an angesprochenen Modullernziele eines MOOCs: 18.51%
• 32 von insgesamt 360 Modullernzielen nicht angesprochen (8.88%)

Welche Ebenen sprechen die Lernziele tatsächlich an?

• 212 von 513 (41.33%) richtig zugeordnet (Ebene der tatsächlichen Aktivität (bspw. anwenden) = Ebene des Verbs des Lernziels (bspw. anwenden))
• 221 von 513 (43.04%) Lernziele für eine eigentlich höhere Ebene geschaffen worden (tatsächliche Aktivität (bspw. identifizieren) entspricht nicht der Ebene des Verb des Lernziels (bspw. anwenden))
• 80 von 513 (15.60%) Lernende höhere Ebene ausgeübt als geplant
• 56.92% Aktivitäten in der gleichen oder höheren Ebene, obwohl das Lernziel für eine gleiche oder niedrigere Ebene gedacht war

Sind die geplanten Kurslernziele auf einer anderen Ebene zu finden als die tatsächliche Tätigkeiten der Lernenden bei den finalen Assessment Tasks?

Die Analyse zeigt eine deutliche Diskrepanz zwischen den geplanten Lernzielen und den tatsächlich ausgeübten Tätigkeiten.

What does an average MOOC look like? (+ descriptive statistics)

• 65% Teaching and Learning Activities, 20% Assessment Tasks, 14% pure information
• 37.85% video and 30.10% text content of a MOOC
• A video or text is most likely followed by a video or text again (Video → Video 16.09% (most frequent sequence within a MOOC); Text → Text 14.06%; Video → Text 8.32%; Video or Text → Video or Text 45.52%)
• Average video lasts 7 minutes (M = 7.03, Mdn = 5.18, SD = 8.19)
• A total of 27 different TLAs or ATs could be found. On average, 9 different types occur per MOOC
• An Assessment Task has on average 3.69 tasks (Mdn = 2, SD = 5.28)
• 18 out of 80 MOOCs have a final exam (final Assessment Task)
• 55% probability of being able to cheat on a task
• 73.75% of all 499 tasks in the final Assessment Tasks are single-choice tasks (answering a question in writing 8.02%; multiple-choice tasks 8.02%; inserting a word or short sentence into an empty field 5.21%; written elaboration 0.80%; writing a review 0.20%)

What is the relationship between instruction and practice?

How many practice opportunities do students have per Learning Objective?

• With videos and texts: 60.15% of all Teaching and Learning Activities involve watching videos or reading texts

What percentage of the Learning Objectives are addressed?

• 74.60% of all Module Learning Objectives are addressed
• Lowest number of addressed Module Learning Objectives in a MOOC: 18.51%
• 32 out of a total of 360 Module Learning Objectives not addressed (8.88%)

Which levels do the Learning Objectives actually address?

• 212 out of 513 (41.33%) correctly assigned (level of actual activity (e.g., apply) = level of the verb of the Learning Objective (e.g., apply))
• 221 out of 513 (43.04%) Learning Objectives created for an actually higher level (actual activity (e.g., identify) does not correspond to the level of the verb of the Learning Objective (e.g., apply))
• 80 out of 513 (15.60%) learners performed at a higher level than planned
• 56.92% activities at the same or higher level, even though the Learning Objective was intended for a same or lower level

Are the planned course Learning Objectives found at a different level than the actual activities of the learners during the final Assessment Tasks?

The analysis reveals a clear discrepancy between the planned Learning Objectives and the activities actually performed.

• Constructive Alignment wird bei der Gestaltung von MOOCs bisher nicht beachtet
• Diskrepanz zwischen den Lernzielen und tatsächlicher Aktivitäten
• Verben der Lernziele meistens auf den niedrigeren Ebenen
• Hauptsächlich passive Lernmöglichkeiten und repetitiver Aufbau (Videos schauen und Texte lesen)
• Viele Verben der Lernziele nicht operationalisierbar
• Viel Faktenwissensabfrage durch Single- oder Multiple-Choice-Aufgaben
• Primär Instruktionen als Übungen
• Passive Lehr- und Lernaktivitäten sind am ineffektivsten (Chi, 2009). Effektiver, wenn inaktive Aufgaben anstatt Videos geschaut werden (Koedinger et al., 2015)
• Aktive Lerngestaltung positiven Effekt auf das Lernen und kognitive Leistung der Lernenden (Michel et al., 2009)
• MOOCs stellen den Lernenden hohe Ansprüche, erreichen diese aber selbst nicht
• Aktivitäten der Lernenden auf den untersten Ebenen der SOLO-Taxonomie
• Somit erlangen die Lernenden nicht das entsprechende Wissen für die Lernziele

• Constructive Alignment has not yet been considered in the design of MOOCs
• Discrepancy between the Learning Objectives and actual activities
• Verbs of the Learning Objectives are mostly at the lower levels
• Mainly passive learning opportunities and repetitive structure (watching videos and reading texts)
• Many verbs of the Learning Objectives are not operationalizable
• High volume of fact-based knowledge testing through single- or multiple-choice tasks
• Primarily instructions as practice
• Passive Teaching and Learning Activities are the most ineffective (Chi, 2009). More effective if inactive tasks are performed instead of watching videos (Koedinger et al., 2015)
• Active learning design has a positive effect on learning and the cognitive performance of learners (Michel et al., 2009)
• MOOCs set high demands for learners but do not meet them themselves
• Activities of the learners are at the lowest levels of the SOLO Taxonomy
• Consequently, learners do not acquire the corresponding knowledge for the Learning Objectives

• Lernziele, Lehr- und Lernaktivitäten und Assessment Tasks bereits Bestandteil von MOOCs
• Erstellung eines Leitfadens für MOOCs zur Gestaltung nach dem Constructive Alignment
• Wahl von Lernzielen nach der SOLO-Taxonomie entsprechend der Anforderungen

• Learning Objectives, Teaching and Learning Activities, and Assessment Tasks are already components of MOOCs
• Creation of a guide for MOOCs for design according to Constructive Alignment
• Selection of Learning Objectives according to the SOLO Taxonomy corresponding to the requirements