Inhalt

Forschungbericht

Unser Forschungsbericht ist auch unter "Anhänge" zu finden.

To Do List

Bis zum 3. Juni 2008:

• Lesen der Wiki-Texte
• Folien vom Kirchner ansehen
• Gedanken machen über Teamnamen
• Gedanken machen über Forschungsfrage bzw. Forschungsgegenstand (Was soll erforscht werden?)
• Hypothesen-Vorschläge (3)

Bis zum 6. Juni 2008, Abend:

•  Jeder liest einen der fünf Texte durch und fasst sie zusammen:
  • Baumgartner, erster Text: Andre
  • die anderen Baumgartner: Dominic
  • Bernhadt und Kirchner: Michael
  • ELC-UNIZH: Anneliese
• Dominic fragt bei Hrn. Kirchner bzgl. der Forschungsfrage nach
• Brainstorming zu Lernerfolg und ins Wiki rein tun.

Forschungskonzept

Evaluand / Evaluationsgegenstand

AMW Studierende im Seminars elDok (Beginn WS 08/09) 

Evaluationsziel

Bewertung der Lehrveranstaltung in Bezug auf den Lernerfolg und die Organisation des Wissensmanagements. 

Setting und eingesetzte Tools

Setting: Seminar elDok

eingesetzte Tools: Blog mit edublogs.org mit einer evtl. Verbindung zu Xing. 

Dimensionen für Lernerfolg

Betrachtungen zum Lernerfolg

Evaluationskriterien (nach E-Learning-Center Universität Zürich)

Lernerfolg: Bewertung (Note); Erfahrungszuwachs; Kompetenzzuwachs (man kann irgendwas mehr als vorher); Entwicklung einer Fertigkeit

Lernen: Wissenszuwachs

Erfolg: Erreichen eines Ziels;

Intervenierende Variablen

Eigenmotivation 

weitere Dimensionen für Informations- oder Wissensmanagement

Wertansprüche für die Dimensionen und Variablen

Eigene Forschungsfragen

alte Forschungsfragen

• Unterstützen e-Portfolios im Seminar elektronische Dokumente die effiziente Wissensaneignung der Seminarteilnehmer?

Hypothesen

alte Hypothesen

Neue Hypothesen:

1. Je höher die Frequenz der eigenen e-Portfolionutzung ist, desto geringer ist die Wahrscheinlichkeit, dass sich Fehler bei der Bearbeitung der Seminarinhalte einschleichen.
2. Je höher die Frequenz der e-Portfolionutzung durch andere Seminarteilnehmer und Lehrende ist, desto eher werden Fehler bei der Bearbeitung der Seminarinhalte entdeckt.
3. Je höher die Frequenz der Nutzung der e-Portfolios anderer Seminarteilnehmer ist, desto höher ist die Wahrscheinlichkeit eigene Fehler bei der Bearbeitung der Seminarinhalte zu entdecken.

Methoden und Instrumente

Ein schriftlicher Fragebogen wird zu Beginn des Semesters von den Seminarteilnehmern ausgefüllt. Dieser Fragebogen erhebt die Erwartungen und Ansprüche der Seminarteilnehmer an das Seminar elektronische Dokumente. (Frage: Wird ein oder zwei Semester gebloggt?) Der erste Fragebogen besteht hauptsächlich aus Freitextfragen und Antworten (z.B. Welches sind Ihre Erwartungen an das Seminar Elektronische Dokumente? Was möchten Sie am Ende des Seminares erreicht haben?)

Ein schriftlicher Fragebogen wird am Ende des Semesters von den Seminarteilnehmern ausgefüllt. Dieser Fragebogen wurde aus den gesammelten Daten des ersten Fragebogens erstellt. Die Erwartungen und Ansprüche, die sich im ersten Fragebogen herauskristallisiert haben, werde hier abgefragt. Es wird überprüft, ob und inwieweit die Erwartungen und Ansprüche erfüllt wurden (oder nicht erfüllt wurden.)

Zusätzlich zu den beiden schriftlichen Befragungen werden stichprobenartig gezogene Blogs am Ende des Seminars elektronische Dokumente folgendermassen ausgewertet:

- Die Anzahl der Besuche von anderen e-Portfolios, die sich mit dem gleichen Seminar auseinandersetzen.
- Qualitative Auswertung der e-Portfolios und der besuchten e-Portfolios, um festzustellen, ob bei den "Besuchen" etwas neues gelernt oder übernommen worden ist.
- Qualitative Auswertung der im e-Portfolio hinterlassenen Kommentare (die sich auf das Seminar beziehen)
- Qualitative Auswertung der auf anderen e-Portfolios hinterlassenen Kommentage (die sich auf das Seminar beziehen)

Einsatzkonzept

(Wie und wann wird welches Instrument eingesetzt? formativ/summativ | objektiv/subjektiv)

unsere PPT

Unsere Folien

Zusammenfassung der Texte

Bernhard / Kirchner Fallbeispiel

Dimensionen von Lernerfolg:

• Wissenserwerb/-stand
• Lernaktivität
• Emotion

Intervenierende Variablen:

• Tutorielle Begleitung
• Akzeptanz
• Bildung von Learning Communities
• Einstellung zu Lerntools
• Aufwand

Instrumente

• Online-Fragebogen
• Online-Barometer (eSAMB)
• Bewertung
• Diskussion / Gruppengespräch
• Häufigkeitszählung

Ablauflogik

• Entwicklung von Wertkriterien / -ansprüchen
• Bedürfnisanalyse
  • was wird für notwendig gehalten?
  • was wäre wünschenswert?
  • was wäre ideal?

Forschungsfragen

• positiver Zusammenhang zwischen den 3 Dimensionen
• positiver Zusammenhang zwischen intervenierenden Variablen und den Dimensionen von Lernerfolg
• Positiver Zusammenhang zwischen den intervenierenden Variablen untereinander

Baumgartner, P. (1999): Evaluation mediengestützten Lernens

Evaluationsbegriff - verschiedene Sichten

1. relativistische Position
2. quantitive Position
3. Methodenlehre
4. Verbesserung praktischer Maßnahmen
5. angewandte Sozialforschung
6. Bewertung
   = Auffassung von Baumgartner
   • Evaluation hat sowohl Prozeß- als auch Produktcharakter:
     • als Prozess:
       • Form von angewandter Forschung
       • handlungsanleitung
       • starker Praxisbezug
       • -> Grundlagenforschung und Theorienbildung
       • selbstbezügliche Metaebene
     • als Produkt:
       • Ergebnis der forschenden Aktivitäten

Ablauflogik von Evaluation

1. Formulierung von Wertkriterien: In der ersten Phase werden jene Kriterien ausgewählt und definiert, die der Evaluand erfüllen muß, um als gut, wertvoll etc. gelten zu können.
2. Formulierung von Leistungsstandards: Für jedes einzelne Kriterium wird eine Norm definiert, die der Evaluand erreichen muß, damit das Kriterium als erfüllt angesehen werden kann (Operationalisierung).
3. Messung und Vergleich (Analyse): Nun wird jedes Kriterium beim Evaluanden untersucht, gemessen und mit den jeweils vorgegebenen Leistungsstandards verglichen.
4. Werturteil (Synthese): In dieser letzten und wohl schwierigsten Phase von Evaluationen müssen die verschiedenen Ergebnisse zu einem einheitlichen Werturteil integriert werden.

Bedürfnisanalyse

1. Ebene: Notwendigkeiten, Erfordernisse - bzw. Bedürfnisse
   • müssen unbedingt erfüllt sein, damit Evaluanden ein Wert zugesprochen werden kann
   • (in gewisser Weise) Ausscheidungskriterium (k.o.-Kriterium)
2. Ebene: Vorzüge, weitergehende Ansprüche - bzw. Wünsche
   • Funktionen und Eigenschaften, die über ein absolutes Minimum hinaus gehen
   • heben Wert des Evaluanden
3. Ebene: Ideale
   • nicht realisierbar bzw. kaum erfüllbar, aber wichtige Zielvorstellung
   • geben Richtung für Verbesserung des Evaluanden vor

Beurteilungsverfahren (Methoden)

1. Einstufung (grading)
   • Beurteilung anhand vorher definiertem Bewertungsmaßstab
2. Reihung (ranking)
   • relative Beurteilung der Evaluanden zueinander
3. Punktevergabe (scoring)
   • es ist darauf zu achten, das Abstände zwischen den Punkten bedeutungsvoll und gleich sind - sonst Reihung
4. Aufteilung, Zuteilung (apportioning)
   • Aufteilung vorhandener Ressourcen entsprechend der Wertigkeit der Evaluanden

Taxonomie von Evaluationsansätzen

Pseudo-Evaluation

• meist polit. gesteuert
• Festigg. (Bestätigung) einer vorgefaßten Meinung
• es wird keine vollständige, umfassende und ausgewogene Analyse und Bewertung vorgenommen

Quasi-Evaluation

• zwar method. korrekt durchgeführt, aber eingeschränkte Ausgangsfragestellung
• Begründung, Diskussion und eventuelle Kritik der aufgestellten Wertansprüche werden vernachlässigt/kritiklos hingenommen

Echte-Evaluation

• Definition, Begründung und Beurteilung von wertansprüchen (Zieldefinition) stehen im Mittelpunkt der Analyse
• Eigenschaften:
  • Methodenvielfalt
  • Möglichkeit einer zielfreien Evaluation
  • gerechte Vorgangsweise und Darstellung
• Interessenorientierung
  • Management-orientiert
  • Konsumenten-orientiert
  • Experten-orientiert
  • Öffentlichkeits-orientiert
  • Teilnehmer-orientiert

Evaluation computerunterstützen Lernens

1. Interaktivität:
   • Effektivität ("Werden die richtigen Dinge getan?") des Lernens sollte betrachtet werden
   • bei der Evaluation interaktiver Medien müssen vor allem die durch die Interaktivität angestoßenene Lernprozesse evaluiert werden - lassen sich aber meist nicht sprachlich fassen

1. Zugang:
   • individueller Zugang (keine einhetl. Zeiten, keine gemeinsamen und öffentl. zugängl. Örtlickeiten für Lernprozesse mehr
   • privates Studium "in den eigenen vier Wänden" - unabhängig von Lehrkräften oder anderen Lernenden
   • Das Netzwerk selbst kann für die Evaluation sowohl als Informationskanel und/oder auch als individueller Rückkanal verwendet werden

1. Heterogene Ausgangssituationj und Bedürfnissstruktur:
   • individueller Zugang -> Möglichkeit, seine Lernprozesse individuell zu gestalten
   • Lernender hat Kontrolle über eigenen Lernprozeß
   • an unterschiedlichen Bedürfnissstrukturen ausgerichtet
   • offen in den Zielvorstellungen und den damit zusammenhängenden Motivationsstrukturen

Bedeutung für Evaluation:

• • Für Evaluationen heißt dies, daß sie komplexer werden und sowohl die unterschiedlichen Ausgangssituationen als auch die individuellen Lernstrategien reflektieren müssen.

1. Wahlfreiheit (individueller Lernprozess):
   • statische Qualität des Materials = 2.rangig
   • Lernprozesse durch Interaktionen zu initiieren und/oder zu unterstützen = vorrangig
     • wichtig, das Augenmerk nicht nur auf den Lerneffekt einer einzelnen Kurseinheit zu legen
     • individuelle Lernorganisation ("Lernen lernen") muss mit in die Evaluation einbezogen werden
     • verlangen infolge der großen individuellen Steuerungsmöglichkeiten häufig qualitative Forschungsmethoden

1. Lernsituation (soziale Lernorganisation)
   Evaluierung von:
   • Verteilung des MAterials
   • der Betreuung
   • der physikalischen, sozialen und administrativen Organisation
   • rein kognitionswissenschaftl. Konzepte greifen zu kurz --> müssen mit (organisations)soziologischen Ansätzen ergänzt werden
     Folgerung:
   • Trennung von delivery technology & instruction technology

Gefahr:

• • Verwechslung bzw. Gleichsetzung von Interaktionen zur Steuerung der Software und Interaktionen, die aus pädagogischen Motiven verursacht werden
  • "einfache Bedienung vs. Lernerfolg"

Anhang

zeitlichen Folge der Datenerhebung für die Evaluation