Fragestellung

Nun werden hier in Forschungsteams Evaluationskonzepte für folgende zentrale Fragestellungen entwickelt:

Welche Erwartungen haben Nutzer / Lerner an ein E-Portfolio?
Wie kann durch den Umgang mit E-Portfolios ein kontinuierliches Informations- oder Wissensmanagement und letztlich Lernerfolg erzielt werden?

Die Bearbeitung erfolgt für das bereits stattfindende Einsatzszenario von E-Portfolios im Seminar "Elektronische Dokumente" im ersten und zweiten Semester des Studiengangs "Angewandte Medienwissenschaft". Die erstellten Konzepte werden nach Abschluss der Forschungsphase in einem "Research Pitch" präsentiert und von einer Jury bewertet.

Bestandteile des Forschungskonzeptes

(ausführlich siehe vor allem "Wichtige Literatur und Links" weiter unten!!)

Was ist der Evaluand bzw. Evaluationsgegenstand? [siehe v.a. Baumgartner-Quellen]**
- Effizienz der reflektierenden Lernprozesse / Lernerfolg
Was ist das Evaluationsziel?
- Optimierung der Lernprozesse zur Steigerung des Lernerfolgs
Was ist das Setting (eingesetzte Tools)?
Dimensionen für Lernerfolg und mögliche intervenierende Variablen festlegen [siehe Folien zum E-Learning 2.0-Forschungskonzept sowie Evaluationskriterien des E-Learning-Centers]** Akzeptanz
- Zufriedenheit
- adäquate Inhalte
- Motivation
- Nutzungsintensität
- Zugänglichkeit
- Feedback
weitere Dimensionen für Informations- oder Wissensmanagement identifizieren
Wertansprüche für die Dimensionen und Variablen festlegen [siehe v.a. dreistufige Bedürfnisanalyse nach Baumgartner 1999a: 10]
eigene Forschungsfragen definieren Forschungsfragen.pdf
Hypothesenbildung Hypothesen.pdf
Methoden- und Instrumentenauswahl [siehe v.a. Bortz/Döring-Quelle sowie u.a. e-teaching.org und House of E-Learning]
Einsatzkonzept zusammenstellen (Wie und wann wird welches Instrument eingesetzt? formativ/summativ | objektiv/subjektiv) [siehe u.a. e-teaching.org und House of E-Learning]

Forschungsfrage

Welchen Wert hat das Führen eines ePortfolio für den Lernprozess?
Wie hoch ist die Akzeptanz eines ePortfolios bei Studierenden?
Welchen Einfluss hat das kollaborative Lernen in Gruppen auf den Lernprozess?
Welcher Zusammenhang besteht zwischen Motivation und direkter Feedbackkultur?
Inwiefern wirkt sich das Führen eines ePortfolio auf die Zufriedenheit der Studierenden und damit die Akzeptanz des Seminars aus?

Präsentation:

1. was ist der Evaluand: Entwicklung von Fertigkeiten im Seminar Elektronische Dokumente durch Nutzung eines Eportfolios = Lernerfolg

2. Evalutionsziel: Optimierung der Lernumgebung zur Steigerung des Lernerfolgs

3. Vorgehensweise: formative Evaluation

- Herleitung des neuen Forschungskonzeptes (Fehler durch Vermischung der Lernparadigmen: Apfel mit Birnen vergleichen)

- nutzerzentriert: Erwerben von Skills der Nutzer im Vordergrund, Persönlichkeitsentwicklung

- globale Herangehensweise notwendig (wo Blog, Person in einem Gebilde)

nach Baumgartner:

1. Formulierung von Wertkriterien: In der ersten Phase werden jene Kriterien ausgewählt und definiert, die der Evaluand erfüllen muss, um als gut gelten zu können.

Eportfolioaspekte:(geht alles vom Nutzer aus)

Dokumentation des Lernprozesses

Archivierung (Häufigkeit der Archivierung,
Strukturierung
Verständlichkeit
Prägnanz
Sprache
Historie (Dokumentationsverlauf (am Anfang viel- dann wenig...)
multimedialer Einsatz

Diskussion + Reflexion

soziale + inhaltliche Vernetzung der Beiträge
Tiefe der Beiträge
Interaktionsfrequenz
Nutzen der Beiträge für andere (Bsp. verwertbare Infos, Wissenstransfer) -> Aus der Sicht von Experte (Dozent) oder Nutzer
Nutzen der Kommentare für den Blogger

Präsentation

Demonstration von Medienkompetenz (inwieweit bin ich in der Lage Inhalte multimedial zu präsentieren)
Selektion von präsentierten Inhalten (skills und sonstiges)
Ästhetische Aufbereitug

2. Formulierung von Leistungsstandards: Für jedes einzelne Kriterium wird eine Norm definiert, die der Evaluand erreichen muss, damit das Kriterium als erfüllt angesehen werden kann.

Dokumentation des Lernprozesses

Selektion von präsentierten Inhalten (Skills und sonstiges) (sinnvoll/nicht sinnvoll) - Ordinalskala
Archivierung: Häufigkeit der Archivierung: min. 1 mal alle 2 Wochen - Ratioskala
allgemeine Strukturierung: Nach Themen sortiert, Detalierte Dokumente, Versionierung
Verständlichkeit (Hamburger Verständlichkeitprinzip):
- Prio 1: Einfachheit (einfacher/komplizierter Satzbau, anspruchsvoller/einfacher Wortschatz, anschaulich/nicht anschaulich) - Ordinalskala
- Prio 1: Gliederung/Ordnung (klare/unklare Gliederung, zielgerichtet/verstreut, logisch/unlogisch) - Ordinalskala
- Prio 2: Kürze/Prägnanz (kurze/lange Beiträge, Genauigkeit/Ungenauigkeit, Klarheit/Umständlichkeit, Präzision/Weitschweifigkeit) - Ordinalskala
- Prio 3: Zusätzliche Stimulanz (keine/zusätzliche Informationen, keine/weiterführende Verlinkungen) - Ordinalskala
Sprache: lesefreundlich/leseunfreundlich - Ordinalskala, Grammatik(weniger als X Fehler auf 100 Wörter/mehr als X Fehler pro 100 Wörter) - Ratioskala, variantenreicher/armer Ausdruck - Ordinalskala

Diskussion + Reflexion

Tiefe der Beiträge (oberflächliche/detailierte Informationen) - Ordinalskala
Soziale und Inhaltliche Vernetzung:
- Interaktionsfrequenz 1 (keine Kommentare/X Kommentare pro Monat) - Ratioskala
- Interaktionsfrequenz 2 (keine Track(Ping)backs/X Track(Ping)backs pro Blog) - Ratioskala
- Interaktionsfrequenz 3 (keine Track(Ping)backs auf den Blog/X Track(Ping)backs auf den Blog) - Ratioskala
Nutzen der Beiträge für andere (Bsp. verwertbare Infos, Wissenstransfer) -> Aus der Sicht von Experte (Dozent) oder Nutzer (unnützlich/nützlich) - Ordinalskala
Nutzen der Kommentare für den Blogger (weniger nützlich/nützlich) - Ordinalskala
Nutzen der Betreuung durch den Tutor
- Betreuungsfrequenz - Ratioskala
- Qualität der Betreuung (hilfreich/nicht hilfreich) - Ordinalskala

Präsentation

Demonstration von Medienkompetenz (inwieweit bin ich in der Lage Inhalte multimedial zu präsentieren)
- Verwendung mutlimedialer Inhalte: Häufigkeit (selten/oft) - Ratioskala
- Einsatz (unterstützend/zusammenhanglos) - Ordinalskala
Gestalterische Aufbereitug (Mißachtung/Beachtung gestalterischer Prinzipien) - Ordinalskala
Technik
- Usability (gut/schlecht) - Ordinalskala
- Akzeptanz (niedrig/hoch) - Ordinalskala

3. Messung und Vergleich (Analyse): jedes Kriterium wird beim Evaluand untersucht, gemessen und mit den jeweils vorgegebenen Leistungsstandards verglichen.

Alles was mit Null bewertet wurde ist schon gefiltert, deshalb nicht aufgeführt

http://www.websquare.info/node/25

4. Werturteil (Synthese): die verschiedenen Ergebnisse müssen zu einem einheitlichen Werturteil integriert werden.

5. Ausblick:

Hypothesen:

- Je besser die Dokumentation des Lernprozesses, desto besser der Lernerfolg.

- Je intensiver die Disukussion und Refelxion des Lernprozesses, desto stärker kommt es zur Aneignung von Skills.

- Je durchdachter die Präsentation desto größer die Wertschätzung der anderen Lerner/Kommilitonen.

- Je höher die Qualität und Frequenz der Betreuung, desto höher die Motivation der Lernenden und Qualität der Beiträge.

AUFGABEN:

Ein- un Herleitung (Lukas)
Skalen überprüfen
Methoden der Auswertung
Ausblick und mögliche Hypothesen

5minus eins

Bestandteile des Forschungskonzeptes

Forschungsfrage

Präsentation:

Stichwörter

Untergeordnete Seiten (2)