Forschungsbericht
1. Einleitung
Zur Evaluation des Einsatzes von E-Portfolios im Seminar Elektronische Dokumente an der TU Ilmenau wurde im Rahmen des Forschungsseminars Kompetenz 2.0 ein Forschungskonzept ausgewählt, das sowohl einen Online-Fragebogen, den Einsatz eines Online-Barometers als auch eine quantitative Inhaltsanalyse sowie ein qualitatives Gruppen-Leitfadeninterview umfasst. Im Folgenden wird beschrieben, wie die Emotionen der Teilnehmer kontinuierlich durch das Online-Barometer eSAMB erfasst werden und wie die intervenierenden Variablen „Tutorielle Begleitung", Aufwand" und „Wahrnehmung zur Bildung von Learn Communities" durch einen Online-Fragebogen erhoben werden können.
2. Erläuterung Instrument und Sinnhaftigkeit
eSAMB steht für „emotional Self Assessment Multimedia Blog" und wurde von Johannes Metscher im Rahmen einer Bachelor-Arbeit an der Universität Augsburg entwickelt. Es dient der (kontinuierlichen) Erfassung und Dokumentation der Emotionen von Probanden. Nach Bernhardt und Kirchner (2007, S. 143) kann das Tool ebenfalls zur Verbesserung der Qualität von Lehrveranstaltungen und E-Learning-Szenarien verwendet werden.
Durch das begleitende Führen des eSAMB durch die Seminarteilnehmer können mögliche Korrelationen zwischen den jeweiligen Emotionen und anderen Variablen festgestellt werden. Hierbei können zum einen Rückschlüsse gezogen werden, welchen Einfluss E-Portfolios auf Emotionen haben. Aber auch umgekehrt kann festgestellt werden, wie verschiedene Emotionen die Einstellung zu bzw. die Qualität und Quantität von E-Portfolios der einzelnen Teilnehmer beeinflussen.
Das Tool durchläuft pro Eintrag insgesamt fünf Stationen. Nach Bernhardt und Kirchner (2007, S. 143) dienen diese Stationen der Erfassung des „Emotionswertes, dem dazugehörigen Emotionsbegriff und der vermeintlichen Ursachen".
Im ersten Schritt schätzt der Proband seine aktuelle Emotion mit Hilfe eines Koordinatensystems - einer Vierfeldermatrix - ein und bestimmt so den Emotionswert. Zur visuellen Unterstützung werden verschiedene Wetterbilder (dunkle Wolken, heller Himmel, Blitz ...) angezeigt, die sich je nach Mausposition in der Matrix verändern. Auf der x-Achse wird dabei die Richtung der Emotion abgetragen - von negativ bis positiv. Die y-Achse beschreibt den Grad der Intensität.
Je nach ausgewählter Intensität und Richtung der Emotion werden im zweiten Schritt konkrete Emotionen angeboten, aus denen der Versuchsteilnehmer eine auswählen muss.
Anschließend wird in der Zuschreibungsauswahl erörtert, worauf diese Emotion zurückzuführen ist. Zur Auswahl stehen hier „externe Gründe", eine „Person", das „Lernportal" oder „Inhalt". Die getroffene Auswahl kann darauf hin weiter verfeinert werden. Bernhardt und Kirchner (2008, S. 144) führen für „Lernportal" - diese Zuschreibungsauswahl ist für das Forschungsergebnis von besonderer Bedeutung - folgende verfeinerte Zuschreibungen an:
a) Firefox
b) den Add-Ons
c) Protopage
d) dem Weblog
e) dem Podcast
f) dem Wiki
g) sonstiger Social Software
Abschließend wird der Proband aufgefordert, in einem kurzen Text die Zusammenhänge und Umstände der Emotion zu beschreiben.
Die so gesammelten Angaben können zum Schluss als Datensatz in eine Datenbank gespeichert werden. Alle so gespeicherten Einträge werden nun chronologisch geordnet und je nach Richtung der Emotion in ihrer Höhe variierend dargestellt. Durch einen Klick auf einen Eintrag können jederzeit alle dazugehörigen Angaben angezeigt werden.
Als zweites Instrument, das an dieser Stelle erläutert wird, dient ein Online-Fragebogen, mit dessen Hilfe unter anderem die intervenierenden Variablen „Tutorielle Begleitung", „Aufwand" und „Wahrnehmung zur Bildung von Learning Communities" erkannt werden sollen.
Hierzu werden die folgenden Items abgefragt:
Tutorielle Begleitung
Skala 1 (stimme gar nicht zu) - 5 (stimme vollkommen zu)
• Das Tutorium zu ElDok umfasst in ausreichendem Maße das Thema E-Portfolios.
• Eine ausführlichere persönliche Betreuung würde mich dazu motivieren, ein E-Portfolio öfter zu nutzen.
• Im Tutorium wurden viele Funktionen von E-Portfolios erklärt, die ich sonst nicht gefunden oder verstanden hätte.
• Das Tutorium hat mir geholfen, den Sinn von E-Portfolios zu verstehen.
• Durch ein Tutorium wurde ich schon oft dazu motiviert, ein bis dahin ungenutztes E-Portfolio-Tool auszuprobieren.
Aufwand
Wie lange nutzt du dein E-Portfolio für dein Studium?
• kürzer als 1 h / Woche
• 2-4 h / Woche
• 5-6 h / Woche
• länger als 6 h / Woche
Wie häufig nutzt du dein E-Portfolio für dein Studium?
• nie
• 1-2 mal / Woche
• 3-4 mal / Woche
• häufiger als 4 mal / Woche
Wie lange nutzt du dein E-Portfolio für private Zwecke?
• kürzer als 1 h / Woche
• 2-4 h / Woche
• 5-6 h / Woche
• länger als 6 h / Woche
Wie häufig nutzt du dein E-Portfolio für private Zwecke?
• nie
• 1-2 mal / Woche
• 3-4 mal / Woche
• häufiger als 4 mal / Woche
Skala 1 (stimme gar nicht zu) - 5 (stimme vollkommen zu)
• Den Aufwand zum Führen eines E-Portfolios habe ich zu Beginn des Seminars geringer eingeschätzt.
• Der Nutzen von E-Portfolios steht in einem guten Verhältnis zum Aufwand.
• Der Aufwand in diesem Seminar ist durch die Nutzung von E-Portfolios höher als der für andere Seminare.
• Durch mein Studium fehlt mir häufig die Zeit, mein E-Portfolio so häufig zu nutzen, wie ich es gerne tun würde.
• Die Dozenten und Betreuer unterschätzen den tatsächlichen Aufwand, ein E-Portfolio zu führen.
Wahrnehmung zur Bildung von Learning Communities
Hast du schon vor dem Seminar ElDok von E-Portfolios gehört?
• Ja
• Nein
Kennst du Leute außerhalb des Seminars ElDok, die ein E-Portfolio führen?
• Ja
• Nein
3. Wie wird erhoben
Das Online-Barometer eSAMB sollte über den gesamten Zeitraum des Seminars Elektronische Dokumente und in regelmäßigen Abständen erfolgen (vgl. 5. Besonders zu beachten). In Abhängigkeit der Stichprobenziehung bei der Erhebung anderer Variablen muss auch hier entschieden werden, ob eine Vollerhebung notwendig ist oder eine Zufallsstichprobe ausreichend ist. Allerdings sollten alle Probanden, deren Angaben zu den anderen Dimensionen ausgewertet werden auch das Online-Barometer über den für die Überprüfung einer Korrelation nötigen Zeitraum geführt haben.
Die Erhebung der intervenierenden Variablen sollte einige Wochen nach Beginn des Seminars Elektronische Dokumente erfolgen, so dass die Befragten genügend Erfahrungen im Umgang mit E-Portfolios gemacht haben. Ebenso müssen bereits einige Tutorien zu E-Portfolios stattgefunden haben. Eine Durchführung erst zum Semesterende ist hingegen nicht ratsam, da sich einige Fragen auf die Zeit vor dem Seminar und die Startphase beziehen. Erinnerungen hieran wären wohl verblasst und auch von den zwischenzeitlichen Erfolgen bzw. Misserfolgen beeinflusst und würden so zu verfälschten Ergebnissen führen.
Insbesondere bei der intervenierenden Variable „Aufwand" wurde eine große Bandbreite an Fragen vorgeschlagen. Je nachdem, welche Hypothesen letztlich abgeprüft werden sollen, können bestimmte Fragen weggelassen werden, um die Motivation der Teilnehmer nicht durch einen zu langen Fragebogen zu mindern.
4. Mögliche Schwierigkeiten
Insbesondere das Online-Barometer ist kritisch zu betrachten. Es muss sicher gestellt werden, dass die erzielten Ergebnisse der Versuchsteilnehmer untereinander vergleichbar sind. Das bedeutet, dass dieselbe Emotion bei unterschiedlichen Probanden von diesen auch gleich dokumentiert wird. Den Probanden muss daher die Unterteilung in Richtung der Emotion und Grad der Intensität verdeutlicht werden. Dies kann zum Beispiel anhand verschiedener Beispieleintragungen für erwartete Emotionen im Rahmen einer Einführungsveranstaltung geschehen.
Für die spätere Forschung ist zu überlegen, ob eine solche Unterteilung in Richtung und Intensität tatsächlich praktikabel ist. Die Verwendung von Emoticons anstelle der Vierfeldermatrix wäre bei der Bestimmung des Emotionswertes wohl für alle Teilnehmer sofort verständlich und würde somit zu vergleichbareren Ergebnissen führen. Die anschließende Bestimmung des Emotionsbegriffs und der Ursachen könnte dann wie gehabt erfolgen.
5. Besonders zu beachten
Wie bereits oben erwähnt, ist bei der Ermittlung der Emotionen der Teilnehmer darauf zu achten, dass vergleichbare Ergebnisse erzielt werden. Zudem ist aber auch kontinuierlich zu überprüfen, ob und in welchen zeitlichen Abständen die Probanden das Online-Barometer benutzen. Im Sinne des Forschungsziels sollten feste Zeiten vereinbart werden, zu denen das Tool von den Versuchsteilnehmern benutzt wird (z.B. täglich nach der Uni, vor dem Schlafengehen, nach oder/und vor ElDok-Aktivitäten ...). Dies führt ebenfalls zu vergleichbareren Ergebnissen und verhindert eine einseitige Anwendung ausschließlich bei extremen Emotionen.
6. Fazit
Vor allem das Online-Barometer kann, wie oben erläutert, Schwierigkeiten bei der Erhebung bereiten. Letztlich sollte jedoch für diese Erhebung an der Methode des Online-Barometers eSAMB festgehalten werden, da hierfür bereits einige Erfahrungswerte existieren. Unter den unter Punkt vier und fünf beschriebenen Voraussetzungen ist eine erfolgreiche Durchführung letztlich auch möglich. Eine Modifikation des Tools müsste zunächst in einer kleineren Studie hinsichtlich Funktionstüchtigkeit und Validität sowie Reliabilität überprüft werden.