Einleitung (Ute M)

Der folgende Forschungsbericht entstand im Rahmen des Seminars „Kompetenz 2.0: E-Portfolios im Einsatz", in dem gemeinsam ein Forschungskonzept entwickelt wurde. Das Konzept beinhaltet die Evaluation der seminarbegleitenden Nutzung eines eigenen E-Portfolios durch die Studierenden im Seminar „Elektronische Dokumente". Hierauf aufbauend werden mehrere Forschungsinstrumente entwickelt.

Dieser Forschungsbericht beschäftigt sich mit dem Online-Fragebogen als eines dieser Instrumente. Der Fragebogen soll ermitteln, wie das selbstgesteuert-konnektive Lernen mit einem E-Portfolio dazu beitragen kann, dass die Lernenden den erwünschten und für sie erforderlichen Lernerfolg erzielen können und gleichzeitig zu einem kontinuierlichen Informations- und Wissensmanagement (im Folgenden: „I.-/W.-Management") angeregt werden. Der Forschungsbericht beginnt mit Erläuterungen zum entwickelten Forschungsinstrument und dessen Sinnhaftigkeit. Danach wird beschrieben, wie die im Konzept enthaltenen Dimensionen und Variablen mit dem Fragebogen erhoben werden. Es folgen Hinweise zur Umsetzung und zum Einsatz des Fragebogens sowie eine Problemanalyse. Abgeschlossen wird der Forschungsbericht mit einem kurzen Fazit.

Der Online-Fragebogen und dessen Sinnhaftigkeit (Sebastian Bauer)

Wie in der Einleitung bereits beschrieben, handelt es sich bei dem Forschungsinstrunment um einen Online-Fragebogen zur Evaluierung des Seminars „Elektronische Dokumente" für den Studiengang AMW. Die darin befindlichen möglichen Fragen sind hier nachzulesen.

Zur Erstellung eines Online Fragebogens sind heute mittlerweile nicht mehr viel Know-How oder technische Gegebenheiten, wie einen eigener Webserver oder eine eigene Datenbank, bei einem beliebigen Internet Provider nötig. Ebenso die aufwendige Programmierung entfällt, wenn man auf diverse Online-Fragebogen-Anbieter zurückgreift. Sehr beliebt bei den Studierenden der TU Ilmenau ist der Anbieter Uni Park (http://www.unipark.info), welche auch für unseren Online-Fragebogen eingesetzt werden könnte.

Andere Anbieter die fast alle nach dem ähnlichen Prinzip verfahren, finden sich unter http://www.2ask.de, http://www.inworks.de, http://equestionnaire.de/ usw.

Hierbei handelt es sich stets um eine benutzerfreundliche Software, die dazu genutzt werden kann Online-Fragebögen unkompliziert und schnell zu erstellen und darüber hinaus folgende Eigenschaften bieten:

Meist ist diese Software webbasiert, sodass keine Installation auf dem Rechner notwendig ist und eine Administration über den Webbrowser vorgenommen werden kann. Umfrageergebnisse können bereits während der Umfrage ausgewertet werden und dementsprechende Tendenzen analysiert werden. Stets wird auch ein direkter Datenaustausch mit Excel und SPSS gewährleistet. Dadurch wird ermöglicht, dass die Daten weiterverwendet werden und z.B. in übersichtlichen Grafiken ausgegeben werden können.

Von großem Vorteil ist der WYSIWYG ("What You See Is What You Get") Fragebogeneditor, der eine Eingabe der Fragen und der Layoutgestaltung ohne zusätzliche HTML-Kenntnisse ermöglicht.

Ebenso bietet die Software die Möglichkeit alle Fragetypen und beliebige Skalen zu verwenden. Für den Fragebogen des Seminars nutzen wir eine Intervallskala von 1 ("sehr schlecht", "stimme gar nicht zu") bis 5 ("sehr gut", "stimme voll zu"), die für alle Fragen angewendet wird.

Die Sinnhaftigkeit eines Onlinefragebogens lässt sich am einfachsten anhand seiner immensen Vorteile gegenüber dem herkömmlichen Fragebogen erklären:

Die Onlinevariante  bietet gegenüber traditionellen Verfahren eine Reihe von Besonderheiten und Vorteilen:

1.) Asynchronität & AllokalitätIm Gegensatz zum Interview, spielt es bei der Online-Befragung keine Rolle, zu welchem Zeitpunkt der zu Befragende an der Befragung teilnimmt (asynchron). Ebenso ist der zu Befragende ortsunabhängig (allokal). Das einzige was zur Teilnahme an der Online-Befragung benötigt wird ist ein PC und ein Internetzugang.

2.) Automatisierbarkeit der Durchführung und AuswertungDie Automatisierung erleichtert die Befragung. Der Link zum Online-Fragebogen wird am Ende des Seminars (summativ) mitgeteilt oder per Rundmail verschickt. Der Teilnehmer selbst bestimmt den Zeitpunkt des Ausfüllens. Dank der Befragungssoftware müssen die einzelnen Ergebnisse nicht händisch ausgearbeitet werden. Oft genügen nur wenige Klicks und die Ergebnisse und Grafiken werden übersichtlich und aussagekräftig ausgegeben. Ebenso wird hierbei eine wesentlich höher Geschwindigkeit bei der Auswertung erzielt.

3.) Dokumentierbarkeit der DurchführungDie Erstellung des Fragebogens geschieht ausschließlich elektronisch. Somit sind die Abläufe jederzeit nach zu verfolgen und reproduzierbar. Wurde der Online-Fragebogen einmal erstellt, so kann er jedes Semester/Jahr wieder verwendet werden. Anpassungen und Veränderungen sind jederzeit möglich.

4.) Ökonomischer AspektGegenüber dem herkömmlichen Verfahren entsteht ein immenser Kostenvorteil, da keine Druckkosten entstehen und die arbeits- bzw. kostenintensive Zeit bei der manuellen Auswertung eingespart wird. Darüber hinaus sind beim Online-Verfahren beim auszählen ausgeschlossen. Sicherlich entstehen Kosten für die Nutzung der Befragungssoftware, die aber bei weitem unter dem herkömmlichen finanziellen Aufwand liegen.

Die Erhebung der Dimensionen bzw. Variablen (Ute Mühr)

Der zu erstellende Online-Fragebogen soll neben Fragen zu den Dimensionen I-/W-Management und Lernerfolg sowie deren intervenierenden Variablen auch allgemeine Fragen zu den Erwartungen der Studierenden vor dem Seminar beinhalten.
Fragen zur Dimension Lernerfolg sollen sich in Items zur Lernaktivität (Wie oft und wie lange wurde gelernt?), zur Emotion (Wie wurde gelernt?) und zum Wissenserwerb bzw. -stand (Was wurde gelernt?) wiederfinden.
Zur Dimension I.-/W.-Management sollen den Studierenden Fragen zur Lernaktivität, Informationsstrukturierung und Wissensgenerierung gestellt werden.
Die Fragen zu den Erwartungen sollen als allgemeine Eingangsfragen dienen, die die erste Einstellung der Studierenden zum Thema erfragen sollen.

Es werden jeweils mehrere Items entwickelt, die in ihrer Gesamtheit über die Ausprägung der einzelnen Dimensionen bzw. Variablen bei den Studierenden Auskunft geben sollen. Die einzelnen Items sollen vorrangig als Aussagen formuliert werden, die auf einer 5-stufigen Intervall-Skala bewertet werden können. Dies kann zum Beispiel im Intervall zwischen „Trifft vollkommen zu" und „Trifft überhaupt nicht zu" erfolgen. Außerdem kommen noch freiwillige soziodemographische Angaben hinzu, die die Möglichkeiten der Auswertung erweitern können.

Nachdem der Online-Fragebogen von möglichst allen Studierenden der Stichprobe ausgefüllt worden ist, folgt die Auswertung mittels SPSS. Die Ausprägungen der einzelnen Items werden zu Ergebnissen für die jeweiligen Dimensionen bzw. Variablen zusammengefasst und können nun untereinander in Beziehung gesetzt werden. So können die im Vorhinein getroffenen Hypothesen verifiziert bzw. falsifiziert werden, um die Forschungsfragen zu klären.

Hinweise zu Umsetzung und Einsatz (Patricia Sieder)

Der Einsatz von Online-Fragebögen hat diverse Vorteile gegenüber kommerziellen Befragungen. Neben der schnelleren Realisierung erscheinen Online-Umfragen bei einem großen Befragungskreis doch deutlich kostengünstiger als face-to-face- oder Telefonumfragen. Auch sind die erhobenen Daten auf dem Server sofort verfügbar und müssen nicht erst maschinell oder manuell brauchbar gemacht werden. Online-Befragungen haben oft gegen die Kritik zu kämpfen, nicht repräsentativ genug zu sein. Da die Stichproben eher willkürlich erscheinen. Jedoch ist das in unserem Fall der webbasierten Umfrage eher unproblematisch, da sich unsere Umfrage speziell auf die Nutzung von E-Portfolios im Seminar "Elektronische Dokumente" bezieht und der Befragungskreis damit noch überschaubar ist, da die Seminarteilnehmer die Befragten darstellen.

Bei der Umsetzung müssen jedoch auch hier einige Grundregeln beachtet werden. Die Erstellung des Fragebogens weicht dabei nicht übermäßig von der eines herkömmlichen Fragebogens ab. Die Sprache muss dem Adressatenkreis entsprechend gewählt werden. Fragen sollen also einfach aufgebaut und formuliert sein. Somit sollten sie einfache Worte enthalten, kurz formuliert, konkret und nicht suggestiv sein. Die Anzahl der Fragen sollte die Befragten nicht überfordern. Doppelte Negationen sollten vermieden werden.
Bei der Wahl der Antwortalternativen sollten einige Punkte beachtet werden. Etwa, dass bei mehr als zwei Skalenstufen eine symmetrische Form gewählt wird oder, dass bei der Vorgabe von Auswahlalternativen eine offene Antwortmöglichkeit gewährt wird. Demographische Variablen stehen für gewöhnlich zu Beginn oder am Ende des Fragebogens.

Speziell bei der webbasierten Umfrage sollten zusätzliche Grundsätze berücksichtigt werden. So sollten die einzelnen Beteiligten über ihre vorgesehene Teilnahme ausreichend informiert werden. Der Zweck der Befragung, die Datenauswertung oder etwa die Anonymität der Befragung können als Einführung auf der Startseite der Online-Befragung genannt werden. Die Umfrage sollte eine Dauer von 15 Minuten nicht überschreiten. Dazu sollte eine Fortschrittsanzeige über den Verlauf der Befragung der Überschaubarkeit dienen.

Grundsätzlich aber sollte der Zugriff zu einem Computer gewährleistet sein. Der Fragebogen sollte keine Langeweile aufkommen lassen, da dies die Gefahr des vorzeitigen Abbruchs birgt. Er sollte wie ein Gespräch aufgebaut werden, der mehrere Gesprächsabschnitte enthält. So erscheint es auch ratsam die demographischen Daten am Ende zu erfassen, da der Befragte nichts Neues über sich erfährt, sondern nur Fragen über sich beantwortet, die er bereits kennt. Er wird schnell gelangweilt.

Die Erhebung sollte während des Seminars erfolgen, da die Befragten es hier nicht als Zeitverlust empfinden - im Gegenteil - eher noch als eine gelungene Abwechslung. In der Freizeit jedoch wird es als Belastung wahrgenommen und auf Später verschoben oder gar ganz vergessen.

Problemanalyse (Micheal Kählig)

Auch das am besten durchdachte Instrument ist nicht vor Fehlern gefeit. Es gibt eine Reihe von Faktoren, auf die Ersteller des Instruments keinen Einfluss haben. Den augenscheinlichsten Faktor bildet hierbei sicher derjenige, welcher den Fragebogen ausfüllt. In unserem Fall sind das die Teilnehmer am Seminar "Elektronische Dokumente".

Als Generalproblem bei Fragebögen können "Abbrecher" gesehen werden, sprich das unvollständige Ausfüllen des Bogens. Verschiedene Ursachen können dazu führen: Zum einen durch die schiere Menge an Fragen, durch die der Teilnehmer schnell die Geduld und Lust am Ausfüllen verliert. Auf der anderen Seite besteht auch immer die Gefahr, dass der Befragte die Frage schlicht nicht versteht und deshalb gar kein oder ein willkürlich platziertes Kreuz setzt. Es bedarf bei beiden Fällen einem gewissen rhetorischen Geschick, die Fragen einerseits "auf den Punkt" und verständlich zu formulieren. Letzteres kann zum Beispiel durch Vermeidung von fachspezifischen Termini oder doppelter Verneinungen erreicht werden.

Das Abbrechen des Ausfüllens hat im schlimmsten zur Folge, dass Verbesserungen am Konzept falsch abgeleitet werden. Dann wären alle Anstrengungen umsonst gewesen und brächten nicht den gewünschten Erfolg.

Weiterhin zu beachten sind Validität und Reliabilität. Wer einmal mit empirischer Forschung in Kontakt gekommen ist, stieß unweigerlich auf diese beiden Begriffe. Misst die entsprechende Frage auch wirklich das, was sie messen soll (Validität)? Und wie zuverlässig ist das Ergebnis (Reliablität)? Diese Gütekriterien müssen für erfolgreiche empirische Untersuchung erfüllt sein, damit korrekte Schlüsse daraus gezogen werden können und das Seminar "Elektronische Dokumente" zu verbessern und Probleme der Studierenden aufzuzeigen. Durch sorgfältige Vorüberlegungen (Pitch) sollten die Kriterien erfüllt sein. Dennoch ist unser Instrument nicht vor den hier beschriebenen Problemen 100%-ig gefeit.

Fazit (Patricia Sieder)

Ziel der Online-Befragung ist es also Herauszufinden, ob es beim Einsatz von E-Portfolios zu einer Informations- und Wissensgenerierung kommt und wenn, in welcher Form sich diese darstellt. Da dazu auch eine summativ subjektive Einschätzung notwendig ist, erscheint die Online-Befragung, wie gezeigt, als besonders geeignet.
Natürlich wird bei den genannten Vorteilen einer Online-Befragung ersichtlich, dass diese um so stärker ins Gewicht fallen, je größer der Befragungskreis gewählt wird. Jedoch ist er auch bei geringer Teilnehmerzahl eine webbasierte Umfrage ratsam.