Finales Forschungskonzept

• Fragebogen
• Forschungsbericht

Forschungskonzept

Was ist der Evaluand bzw. Evaluationsgegenstand?

Erwartung als Evaluand

Design und Usability

Was ist das Evaluationsziel?

• Erwartungen der Nutzer / Lerner an ein E-Portfolio
• (kontinuierliches Informations- oder Wissensmanagement) und Lernerfolg durch Umgang mit und Nutzung eines E- Portfolio
• Motivation der User des kontinuierlichen Führens und Nutzen eines E- Portfolios 

Was ist das Setting (eingesetzte Tools)?

• Fragebogen
  • Pre-Questionnaire (formative Evaluation)
    • Erwartungen
  • Post-Questionnaire(summative Evaluation)
    • Erwartungen
    • Umgang/Nutzung
• Serverprotokolle zur Nutzung
• (Verbesserung durch) Gruppendiskussion der Probanden in 3 Phasen
  • Freie Assoziation (Brainstorming)
  • Pause
  • Ordnende - erweiternde Assoziation (Mind-Mapping)
  • Pause
  • Selektive Assoziation (Einzelabfrage zu vorher gefundenen Assoziationen)
• Tutor (subjektive Bewertung durch Einzelinterviews)

Dimensionen für Lernerfolg und mögliche intervenierende Variablen

Mensch-Maschine

• Zugang - Selbsteinteilung des Lernens
  • Wann, Wo, Wie lange, Was
  • berücksichtigen bei Evaluation: unterschiedliche Ausgangssituationen und *individuelle Lernstrategien und -ziele reflektieren
• Metaebene der individuellen  Lernorganisation (Lernen lernen) evaluieren
  • unbegrenzt viele Inhalte werden von einer Ressource (z.B. Tool) unstrukturiert angeboten
  • Auswahl, Reihenfolge und Bearbeitunsstrategie können von den lernen größtenteils selbst gesteuert werden
• Lernsituation
  • Verteilung Material, Betreuung, physischen, sozialen und verwaltungstechnischen Organisation
  • Effekte zwischen Verteilung Material (delivery technology, z.B. Lade- oder Wartezeiten bei einem im Internet angebotenen Kurs) und den dynamischen Inhalten bzw. didaktischen Möglichkeiten (instruction technology, z.B. asynchrones Lernen via E-Mail und WWW-Server oder synchrones Lernen via Internet Relay Chat oder Videokonferenz)
• Kostenanalyse
  • einmalige Kosten für Hard- und oder Software
  • organisatorische Folgekosten
  • Lernzeit der Studierenden
  • Kosten-Nutzen-Analyse
  • Kosten-Wirksamkeits-Analyse

Mensch-Mensch Interaktion

• soziale Lernaspekte
• Lernerfolg nicht in der kognitiven Leistung der Einzelperson, sond im gesamten Lernsystem aufzufinden
• nur durch Zusammenwirken (Interagieren) der an Interaktion beteiligten MEnschen meßbar!
  • Evaluand ist die Gruppenperformance
    • Gruppenperformance ist situationsabhängig, kontextgebunden, sozial verteilt und konstruiert
• Messen der Gruppenperformance
  • Variabilität der Aufgabe
    • Gruppenperformance muss sich auf eine sozial strukturierte Aufgabe beziehen
  • Fehler als Lernkontext
    • Ursache und Wirkung nicht mehr klar trennbar
    • aktuelle Fehlerkorrektur kann Leistungsmängel signalisieren (kurzfristig) - langfristig einen wichtigen Lernkontext darstellen
  • Individuelle Leistung und Gruppenperformance
    • individueller Lernerfolg kann Gruppenleistung verbessern
  • Verteilung der Fähigkeiten und Wissens
    • Gruppen kann mit anderer Arbeitsteilung zu unterschiedlichen Ergebnissen kommen
    • Fehlerursache im Zwischenmenschlichen Bereich, weniger auf individueller Lernebene

Dimensionen für Informations- oder Wissensmanagement identifizieren

• Verstehen von Zusammenhängen (s. Metaebene der individuellen  Lernorganisation)
• Lerngewohnheiten
• Archivierung/ Strukturierung von Informationen
• Verfügbarkeit von Informationen (Zugriffsmöglichkeit)
• Aufbau/Gestaltung von Wissenssystemen
  

Wertansprüche für die Dimensionen und Variablen festlegen

• Bildschirmgestaltung
• Navigationsfunktion
• Textgestaltung
• Aufgabenangemessenheit
• Selbstbeschreibungsfähigkeit
• Erwartungskonformität
• Fehlerrobistheit
• Individualisierbarkeit
• Erlernbarkeit
• Steuerbarkeit

• 1. Ebene: Notwendigkeiten, Erfordernisse
  • Müssen unbedingt erfüllt sein, damit dem Evaluandem ein Wert zugesprochen werden kann
• 2. Ebene: Vorzüge, weitergehende Ansprüche
  • Funktionen und Ansprüche, die über das absolute Minimum hinausgehen und den Wert des Evaluanden heben
• 3. Ebene: Ideale
  • nicht realisierbar bzw. kaum erreichbar
  • geben an, in welche Richtung der  Evaluand verbessert werden könnte bzw. sollte

eigene Forschungsfragen definieren

• Kann ein positiver Zusammenhang zwischen dem Umgang von Nutzern / Lernenden mit einem E-Portfolio und einem letztendlichen Lernerfolg festgestellt werden?
• Gibt es einen positiven Zusammenhang zwischen Lernmotivation und Wissenserweiterung?
• Besteht ein positiver Zusammenhang zwischen Erwartungen an ein E- Portfolio und Lernmotivation?
  

Hypothesenbildung

• Je besser die Erwartungen der Nutzer / Lerner erfüllt werden, desto größer ist der Lernerfolg.
• (Je stärker ein Nutzer in eine Netzwerk- Community involviert ist, desto mehr nutzt man  E- Portfolios zum Informationsaustausch und Wissensmanagement.)
• Je besser ein E-Portfolio strukturiert ist (Usability/Design), desto schneller erreicht der Nutzer / Lerner sein Ziel (Umgang/Geschwindigkeit).
• Je höher der Nutzungsgrad eines E- Portfolio durch den Nutzer, desto größer ist der Lernerfolg.
• Je häufiger E- Portfolio zum Informations- und Wissensmanagement genutzt wird, desto größer ist die Lernmotivation.

Methoden- und Instrumentenauswahl

• Vollerhebung
  • alle Teilnehmer des Seminars El-Dok
• Unabhängige Variable muss mindestens zwei Stufen aufweisen (Experimental- und Kontrollgruppe) [nach Döring/Bortz]
  • Baumgartner: Quasi-Evaluationen - Experimentelle Untersuchungen
    • methodischer Zirkelschluß --> garbage in - garbage out

Einsatzkonzept zusammenstellen

• Instrumente
• formative Evaluation
  • vor und während des Seminares
  • Instrumente:
    • Testen der Lernumgebung mit einigen Studierenden schon vor Semesterbeginn
    • Beobachtung (Hospitation, Videoaufnahme, Beschreibung und Beurteilung)
    • Selbstreflexion der Studierenden über den Kurs (Lernjournal, Lerntagebuch)
    • Laufende Befragung (Offenes Feedback, Fragebogen, Gruppeninterview etc.)
    • Gespräche im Rahmen von Coaching, Supervision oder Intervision
• summative Evaluation
  • nach Beendigung des Seminares
  • Instrumente:
    • Befragungen (schriftlich und mündlich, Einzel- und Gruppeninterviews, etc.)
    • Dokumenten- und Datenanalyse (Logfiles, Lernerfolgskontrollen etc.)

http://www.elc.uzh.ch/elgrundlagen/kursentwicklung/evaluationsraum/evaluationskonzeption.html

• E-Learning Produkt oder Lernangebot
  • Welches Lernangebot soll evaluiert werden?
  • Zielgruppe: für wen ist das Angebot/Produkt entwickelt worden?
  • In welchem Kontext soll es genutzt werden?
  • Wozu dient das Lernangebot? Ist es als Selbstlernmaterial gedacht? Bereitet es die Präsenzphasen vor?
• Evaluationszweck
  • Wozu dient die Evaluation?
  • Wer sind die Adressaten oder Nutzer der Evaluationsergebnisse?
  • Welche Aspekte und Fragen stehen im Mittelpunkt?
  • Welche Informationen werden genau benötigt?
  • Wer evaluiert das Modul?
  • Wessen Feedback oder Einschätzung wird gebraucht?
• Evaluationsdesign
  • Wie sieht der Evaluationskontext aus?
  • Welche Datenerhebungsmethoden sind angemessen?
  • Welche Stichprobengrössen sind mit Blick auf die Aussagekraft der Ergebnisse angemessen?
  • Welche Hilfsmittel werden zur Datenaufzeichnung und -auswertung gebraucht?
  • Was kann man den Feedbackgebern an Aufwand (z.B. zeitlich) maximal zumuten?
• Zeitplan
  • vor während und nach dem Seminar
  • Wann genau findet die Evaluation statt?
  • Wann werden die Evaluationsergebnisse geliefert?
  • Wie sieht die Vorbereitung zur Evaluation aus? Wer macht was?
  • Wie sieht die Aufwandschätzung für Arbeitspakete aus?
• Ressourcenplan
  • Wer ist an der Evaluation beteiligt? Sind es eigene Mitarbeitende oder Experten?
  • Welches Budget muss eingehalten werden?