Forschungsbericht der Gruppe "Eva und die Luanden"

1. Einleitung

"Was lange währt, wird endlich gut..." so oder so ähnlich könnte man auch die derzeitige Situation im Bereich digital gestützten Lernens beschreiben. Lange Zeit wurden die Potentiale des so genannten E-Learnings geradezu heraufbeschworen, doch der letztliche Durchbruch, oder sollte man besser sagen Aufbruch, ließ lange auf sich warten. Nun scheint es dennoch zu einem, wenn auch verhältnissmäßig späten, Boom zu reichen. Die technischen Vorraussetzungen für elektronisches Lernen existieren seit mehr als 20 Jahren, aber erst in jüngster Zeit werden eben diese Möglichkeiten auch effektiv von einer breiten Nutzerschaft in Anspruch genommen. Als positive Entwicklung der letzten Jahre und begünstigenden Faktor lässt sich vor allem die zuhnehmende Verbreitung des Internet herausstellen, wodurch es dem E-Learning überhaupt erst möglich wurde sich als Lernmedium stärker zu etablieren (vgl. Kirchgessner, 2008). Natürlich hielt der Einzug elektronischer Lernhilfen auch nicht vor der universitärer Lehre zurück und ist heute fester Bestandteil im eigenständen Lernprozess der Studierenden. Die gegebenen technischen Möglichkeiten sind groß, unzählige Tools und Plattformen sind zum Zwecke des E-Learnings entwickelt worden. In diesem Zusammenhang steht dabei inzwischen oft der Begriff „E-Portfolio" im Raum. Aber was verbirgt sich genau hinter diesem Begriff? Generell ist ein E-Portfolio die digitale Form eines klassischen Portfolios. Diese stellen häufig Werkmappen oder Projektdokumentationen dar, die als digitale (Kompetenz-)Profile gestaltet sind (vgl. Wikipedia, 2008). Eine weitere Definition beschreibt den Begriff des E-Portfolio folgendermaßen: "[...] E-Portfolios sind netzbasierte Sammelmappen, die verschiedene digitale Medien und Services integrieren und auch im E-Learning eingesetzt werden. Studierende kreieren und pflegen ein E-Portfolio als digitalen Speicher der Artefakte, die sie im Verlauf einer Veranstaltung oder auch während des gesamten Studiums erstellen. Das elektronische Portfolio können Studierende benutzen, um Kompetenz auszuweisen und ihren Lernprozess zu reflektieren"  (vgl. E-Teaching.org, 2008);  Dahinter verbirgt sich ein zentraler Sammelpunkt für eigene Lernaktivitäten, die in einem E-Portfolio strukturiert für weitere Aufgaben bereitstehen.
Im Rahmen des Forschungsseminar "Kompetenz 2.0: Einsatz von E-Portfolios" sollte der Einsatz eines solchen E-Portfolios im Seminar "Elektronische Dokumente" des Studienganges Angewandte Medienwissenschaften evaluiert werden. Die Evaluanten hatten die Aufgabe, ein eigenes E-Portfolio zu erstellen und regelmäßig zu pflegen. Im Fokus der Forschung steht dabei das konnektive und eigenständige Lernen mit dem Ziel eines kontinuierlichen Informations- und Wissens-Management seitens der Studierenden. Als Grundlage dienen hierzu die Ergebnisse und Herangehensweisen Peter Baumgartners bezüglich konnektiv-medialen Lernens sowie die Auseinandersetzung mit Social Software von Marcel Kirchner und Thomas Bernhardt im Rahmen ihrer Diplomarbeit. Darauf aufbauend beschäftigt sich der vorliegende Forschungsbericht mit der Erarbeitung und Weiterentwicklung eines Online-Fragebogens um die vier Haupt-Dimensionen Lernaktivität, Wissenserwerb/-stand (Selbsteinschätzung) sowie der Informationsstrukturierung und Wissensgenerierung.

2. Forschungsinstrument und dessen Sinnhaftigkeit

Der Online-Fragebogen als computervermittelte Befragung bildet das grundlegende Instrument dieser Arbeit. Sinnvoll wird der Einsatz einer Online-Befragung dort, wo räumlich verstreute Personen erreicht werden sollen (vgl. Bortz/Döring: 2002). Eine der Hauptaufgaben in der Nutzung eines E-Portfolios ist das konnektiv-selbstgesteuerte Lernen der Seminarteilnehmer. Zeitpunkt und Ort können dabei von den Teilnehmern selbstständig gewählt werden. Weiterführend sollte dem Teilnehmer die Möglichkeit gegeben werden, sich selbständig einen Zeitpunkt der Evaluation mittels Online-Befragung suchen zu können.

Daneben qualifiziert sich eine Online-Befragung gegenüber klassischen Befragungsmethoden (schriftliche oder computergestützte Befragung) auch anderweitig. So sind geringere Kosten, schnellere Rücklaufquoten und die Ersparnisse einer zeitaufwendigen und kostspieligen Kategorisierungs- und Kodierarbeit ökonomische Vorteile gegenüber anderen Befragungsmethoden (vgl. Bortz/Döring: 2002). Aufgrund der Online-Tätigkeit der Teilnehmer in einem elektronisch mediengestützten Lernprozess ist der Fragebogen für alle verfügbar und niemand wird von der Nutzung ausgeschlossen, da der erforderliche Netz-Anschluss an das Internet bzw. die Möglichkeit der Internetnutzung zur Nutzung des E-Portfolios bereits verfügbar sein muss.

Mit Hilfe des Online-Fragebogens wird die Nutzung von E-Portfolios, die Intensität der Nutzung und die Bewertung des Probanden im Umgang und in der Sinnhaftigkeit eines E-Portfolios erhoben. Rückschlüsse auf die eigene Lernaktivität der Probanden und ihr Umgang mit Interessens- und Wissensmanagement sind möglich und können durch weitere Instrumente gefestigt und evaluiert werden.
Der Proband hat bei der Nutzung des Online-Fragebogens die Möglichkeit seine eigenen Erfahrungen und Einschätzungen zu reflektieren.

3. Erhebung der Dimensionen I-/W-Management & Lernerfolg

Primär liegt der Fokus dieser Arbeit auf der Entwicklung eines Online-Fragebogens zur Erhebung der Dimensionen „Interessens- und Wissensmanagement" (folg. I-/W-Management) sowie dem sich einstellenden „Lernerfolg". Diese reihen sich in ein gesamtes Forschungskonzept zur Evaluation des E-Portfolios mit der weiteren Dimension der „Erwartungen" sowie den intervenierenden Variablen „Akzeptanz der neuen Technologien", „Motivation/Interesse", und „technische Kompetenz" ein.

Für die Erhebung der Dimensionen I-/W-Management und Lernerfolg entwickelten sich eine Reihe von intervallskalierten Fragen, die eine größtmögliche Abbildung der zu erhebenden Dimensionen als Ziel haben. Die Versuchspersonen konnten jeweils zwischen „stimme gar nicht zu" (1) bis „stimme völlig zu" (5), mithilfe einer 5-stufigen Skala, wählen. Weiterhin wurden nominalskalierte Fragen entwickelt, die jeweils mit Ja/Nein/keine Angabe beantwortet werden konnten und die Selbsteinschätzung über das E-Portfolio und deren Nutzung erheben.

Die Entwicklung des Fragebogens wurde aufbauend auf den von Dipl. Medienwiss. Marcel Kirchner und Dipl. Medienwiss. Thomas Bernhardt entwickelten Fragebogen vorgenommen. Im Rahmen ihrer Diplomarbeit wurde ebenfalls die Dimension des Lernerfolgs gemessen. Teilweise konnten die Fragen in abgeänderter oder erweiterter Form übernommen werden, um diese Dimension im Zusammenhang mit der Nutzung eines E-Portfolios messen zu können.

Zu den Dimensionen des Lernerfolgs kommen im Rahmen dieses Forschungtskonzepts die zwei Hauptdimensionen Informationsstrukturierung und Wissensgenerierung hinzu. Sie sollen das angesprochene I-/W-Management abbilden. Hierfür wurden völlig neue Fragen und Items entwickelt. Die Fragen 16 - 18 dienen der Erhebung der Informationsstrukturierung, welche im Forschungskonzept als "Zusammenstellung aus vorhandenen Beiträgen, Links, Kommentaren, Bookmarks etc." (siehe: http://amwiki.de/display/EPortfolioFS/Finales+Forschungskonzept ) definiert wurde. So sollen mittels der Frage 16 die zu strukturierenden Inhalte respektive das Informationsmanagement der Probanden gemessen werden. Der Proband kann wählen für welche Inhalte (bspw. Beiträge, Bilder oder Bookmarks) er es als sinnvoll erachtet diese mit einem E-Portfolio zu strukturieren. In der folgenden Frage (17) „Bitte geben Sie an, inwieweit Sie den folgenden Aussagen in Bezug auf Ihr persönliches Informations- und Wissensmanagement mittels eines E-Portfolios zustimmen." sollen die Erfahrungen im Umgang mit einem E-Portfolio erhoben werden. Hierfür sind die ersten fünf Items eher allgemein bzw. vergleichend angelegt. Die danach folgenden Items bilden den Zusammenhang der Informationsstrukturierung und des deklarativen, prozeduralen und operativen Wissens der Nutzer ab. Die Frage 18 erhebt die Einschätzung des eigenen Wissensmanagements mithilfe eines E-Portfolios. Eine Reihe von Items reflektieren Selbsteinschätzungen über die Strukturierung von Informationen, das bei Probanden vorhandene Wissen und die vorhandenen Fähigkeiten, den Umgang mit neuem Wissen und die Beziehungen zwischen neuem und vorhandenem Wissen. Daran anknüpfend soll eine Einschätzung zum Einsatz eines E-Portfolios in einem bestimmten Wissensfeld abgegeben werden. Ermittelt wird, ob ein E-Portfolio nur als anfängliche Gedankenstütze oder zur langfristigen Auseinandersetzung mit einem bestimmten Thema im I-/W-Management geignet ist. Die gewonnen Erkenntnisse der Fragen 16, 17 und 18 lassen Rückschlüsse auf das Nutzungsverhalten, Erfahrungen, Einstellungen und Einschätzung der Probanden über ein E-Portfolio hinsichtlich ihrer persönlichen Informationsstruktuierung als Teilmenge des I-/W-Management schließen.

Mit der der Wissensgenerierung, also der Anwendung, Analyse & Reflexion und der eigenen Bewertung innerhalb der Beiträge (vgl.: http://amwiki.de/display/EPortfolioFS/Finales+Forschungskonzept), wird die zweite Dimension des I-/W-Management bestimmt. Diese soll durch die Fragen 19 - 22 erhoben werden. Grundlegend wird hierfür zwischen privater (Frage 19 und 20 ) sowie beruflicher (Frage 21 und 22) Nutzung unterschieden. Jeweils eine Ausschlussfrage (Frage 19 und 21) wird gestellt und soll die prinzipielle Nutzung entsprechend der beiden Kategorien erfragen. Durch dies soll der sogenannte "Flow" der Probanden bei der Beantwortung der Fragen gefördert werden. Dies soll dazu beitragen die Abbruchquote kurz vor dem Ende des Fragebogens zu verringern. In den Antwortbatterien der Hauptfragen (Frage 20 und 22) wird weiter differenziert und die genaue Nutzung zu privaten und beruflichen Zwecken abgefragt. Ähnlich wie bei der vorrangegangenen Dimension wird dies durch eine Einschätzung der Erfahrungen der Seminarteilnehmer mittels intervallskalierter Antwortvorgaben erbeten.

4. Was ist besonders zu beachten bei der Umsetzung / beim Einsatz des Instruments?

Der Vorteil der Online-Befragung, räumlich und zeitlich versetzt an der Befragung teilnehmen zu können ist auch gleichzeitig ihr Nachteil. Zum Zeitpunkt der Befragung wird kein Versuchsleiter anwesend sein, so dass der Proband bei Unklarheiten sich weitestgehend auf die Angaben im Fragebogen verlassen muss. Um Probleme bei der Anwendung des Online-Fragebogens zu vermeiden (siehe Kapitel 5: Problemanalyse), müssen daher erwartete Probleme von Beginn an ausgeschlossen werden können. Hierzu empfiehlt es sich einen Pre-Test durchzuführen. So können mögliche Fehlerquellen erkannt werden und es besteht die Möglichkeit diese anschließend zu beheben. Außerdem können möglichst genaue Instruktionen dem Probanden helfen die Fragen eindeutig zu interpretieren und zugehörige Antworten zu wählen.

5. Problemanalyse

Welche Probleme können vor allem bei der Nutzung des Online-Fragebogens durch den Probanden und bei der Analyse der Ergebnisse auftreten?

Auf der Nutzerseite sollte unbedingt darauf geachtet werden, dass die Fragen eindeutig interpretierbar sind. Unnötig komplizierte Fragen können das Verständnis der Frage stören und gegebenenfalls zu verzerrten Ergebnisse bei der Analyse führen. Dies sollte bei der Erstbetrachtung der Ergebnisse berücksichtigt und vor Beginn der Durchführung in einem Pre-Test untersucht werden. Hier können die Ergebnisse der ersten Befragung als Grundlage betrachtet werden.

Unvollständige Datensätze sind ein weiteres grundlegendes Problem der Online-Befragung. Zu oft werden Fragebögen abgebrochen und somit nicht vollständig ausgefüllt. Dem Probanden muss zu Beginn die Wichtigkeit der Beendigung des Fragebogens verdeutlicht werden. Zwischen den einzelnen Seiten des Fragebogens sollten einleitende Texte den Fortschritt der Befragung verdeutlichen. Zusätzlich kann ein "Fortschritts-Balken" installiert werden, der den prozentualen Fortschritt des Fragebogens mit jeder Seite dokumentiert. Diese Maßnahmen können entscheidenden Einfluss auf die Rücklaufquote des Fragebogens erwirken.

Technische Probleme bei der Ausführung des Fragebogens müssen ebenfalls berücksichtigt werden. Unter Umständen kann es passieren das Browser Fenster während der Bearbeitung geschlossen werden. Das Ausfüllen des Fragebogens müsste in diesem Fall noch einmal begonnen werden. Daher sollten eventuelle doppelte Einträge, die anhand der Online-ID erkannt werden können, bei der Datenbereinigung vom Datensatz getrennt werden.

Wie in Kapitel 4 erwähnt, ist bei dem Instrument Online-Befragung mit wenigen Problemen zu rechnen. Die erhobenen Daten sollten den zu erhebenden Daten entsprechen (Validität) und frei von Zufallsfehlern sein (Reliabilität).

6. Fazit

Die Online-Befragung gibt Aufschluss über Einstellungen zu einem E-Portfolio und deren Nutzungsaktivität, aber auch über die eigene Lernaktivität und das Informations- und Wissensmanagement der Teilnehmer. Mithilfe dieser Dimensionen und weiterer intervenierenden Variablen (tutorielle Begleitung, Akzeptanz der neuen Technologien, Motivation/Interesse, Aufwand, Wahrnehmung zur Bildung von Learning Communities und technische Kompetenz) lassen sich Rückschlüsse auf konnektiv-selbstgesteuertes Lernen und daraus entwickelte Forschungsfragen und Hypothesen ableiten. Als Maß wurde ein Wert-Kriterien Katalog für jede Dimension und intervenierende Variable geschaffen (vgl. Wertkriterien Kirchner/Bernhardt, 2008), in dem zu erfüllende Mindestanforderungen, optimale Anforderungen und ideale Anforderungen an die jeweilige zu untersuchende Dimension bzw. intervenierende Variable definiert sind.

Bei der Fragebogenkonstruktion wurde darauf geachtet die Fragen eindeutig interpretierbar zu formulieren, unnötige Formulierungen durch Begriffe wie „immer", „alle", „keiner" etc. zu vermeiden und quantifizierende Umschreibungen mit Begriffen wie „fast", „kaum" zu unterlassen. Diese und weitere wichtige Konstruktionspunkte sind einer Checkliste zur Fragebogenkonstruktion entnommen (vgl. Bortz/Döring, 2002).

Der entstande Fragebogen misst die Dimensionen Lernaktivität, aufbauend auf den Ergebnissen der Fragebogenkonstruktion von Dipl. Medienwiss. Marcel Kirchner und Dipl. Medienwiss. Thomas Bernhardt, und das Informations- und Wissensmanagement der Versuchspersonen. Zusammenführend mit weiteren Konzeptionsgruppen ergibt sich eine Reihe von Forschungsinstrumenten, die konnektiv-selbstgesteuertes Lernen anhand ausgewählter Forschungsfragen und Hypothesen durch ein E-Portfolio nachweisen sollen.

Quellen

Bortz, Jürgen; Döring, Nicola (2002): Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler - Springer-Verlag, Berlin, S. 244-261

Kirchgessner, Kilian (2008): Vorlesung in MP3. In: Zeit Internet Spezial Teil 1 (2008): Beilage der Zeit Ausgabe Nr. 19, S.22

Wikipedia: E-Portfolio, Allgemeine Definition (August 2008). Online verfügbar unter: http://de.wikipedia.org/wiki/E-Portfolio, abgerufen am 28.08.2008

E-Teaching.org: E-Portfolio (2008), Online verfügbar unter:http://www.e-teaching.org/didaktik/kommunikation/portfolio/).&nbsp, aberufen am 28.08.2008

Bernhard, Thomas; Kirchner, Marcel; (2008): Wertkriterien/Wertansprüche für die Dimensionen und intervenierenden Variablen. Online verfügbar unter http://www.amwiki.de/attachments/6161667/Wertkriterien.pdf?version=1, abgerufen am 23.08.2008

Bernhard, Thomas; Kirchner, Marcel (2008): Diplomarbeitsauszug S. 142f. Online verfügbar unter http://www.amwiki.de/download/attachments/6161667/Bernhardt-Kirchner_E-Learning+2.0+im+Einsatz_Auszug.pdf?version=1, abgerufen am 14.08.2008

Bernhard, Thomas; Kirchner, Marcel (2008): Beispielfragebogen der Diplomarbeit. Online verfügbar unter http://www.vwh-verlag.de/vwh/wp-content/uploads/2007/12/fragebogen-bernhardt-kirchner.pdf , abgerufen am 14.08.2008

Bernhard, Thomas; Kirchner, Marcel (2008): Beispielfragebogen der Diplomarbeit. Online verfügbar unter  http://amwiki.de/display/EPortfolioFS/Finales+Forschungskonzept , abgerufen am 01.09.2008