Bewertung der Qualität von Lehrmaterialien

Im Rahmen der Arbeitstagung des Netzwerks Offene Hochschule zum Thema „Von der Evaluation bis zum Qualitätsmanagement in berufsbegleitenden Studiengängen“ haben Heiko Müller und ich einen Workshop angeboten, der sich mit der Bewertung der Qualität von Lehrmaterialien beschäftigte. Bevor ich meine Eindrücke vom Workshop festhalte, zitiere ich hier noch mal das Abstract, damit man sich einen ungefähren Eindruck vom Inhalt machen kann.

Abstract

Im Rahmen des Projekts „WM³ Weiterbildung Mittelhessen“ sind in der ersten Förderphase einige Lehrmaterialien unterschiedlicher Art entstanden. Dazu gehören Studienbriefe, Vortragsaufzeichnungen, Lernvideos, (Selbst-)Tests usw. In der zweiten Förderphase ist es die Aufgabe eines Arbeitspakets, die Materialien zu systematisieren und validieren. Dazu wurden zunächst Qualitätskriterien aufgestellt, mit denen die Materialien über Bewertungsbögen evaluiert werden sollen. Ziel ist es, sowohl den eigenen Angeboten ein Feedback über die Lehrmaterialien zurückzuspiegeln, als auch ein Instrumentarium öffentlich bereit zu stellen, mit dem es möglich ist, eine inhaltliche, formale und (medien-)didaktische Evaluierung vorzunehmen. Anwendung könnte diese Methode nicht nur in den Angeboten des Gesamtprojekts Offene Hochschulen finden, sondern auch in der Qualitätssicherung für Open Educational Resources. In einem Workshop könnte das Konzept vorgestellt und diskutiert werden.

Der Workshop

Zum Workshop hatten sich 18 Teilnehmende angemeldet, die auch alle gekommen sind. Wir haben zunächst einen Vortrag über unsere bisherige Arbeit gehalten. Die Folien zu diesem Vortrag können unten eingesehen werden.

Natürlich kamen schon beim Vortrag einige Fragen auf, von denen ich ein paar hier zusammenfassen möchte.

Zunächst wurde nach der Aufnahme von Diversitätsaspekten im Bewertungsbogen gefragt. Diese sind natürlich implizit an den Stellen vorhanden, an denen die Berücksichtigung von Zielgruppenspezifika thematisiert wird. Explizit beschäftigt sich aber auch ein Item mit gendergerechter Sprache.

Die Frage, wer denn diese Bewertung nach dem Bogen vornimmt, ist natürlich auch zentral. Dazu lässt sich sagen, dass wir uns bewusst sind, dass die Bewertung objektiver wird, je mehr Personen sie vornehmen. Allerdings wird dies aus Kostengründen und auch unter zeitlichen Aspekten problematisch werden. Wir wollen allerdings die sogenannten Relevanzprofile durch ein Umfrage erheben, um so eine möglichst repräsentative Einschätzung zur Relevanz einzelner Items zu gewährleisten. Diese Relevanzprofile sollen Vorschläge sein, wie die Relevanzen der Items für einen Lehrmaterialtyp aussehen könnten. Natürlich können sie in der Bewertung dann noch verändert werden.

Auch in der Frage nach der Rückspiegelung des Ergebnisses der Bewertung an die Angebote sind wir noch nicht beim Letztgültigen angekommen. Wir wünschen uns eine möglichst aussagekräftige und schnell zu erfassende Rückmeldung, die möglicherweise in einem Diagramm münden könnte. Wir haben uns schon ein paar Gedanken dazu gemacht, werden diese aber zu gegebener Zeit noch mal veröffentlichen.

Sollten Sie nun am Workshop teilgenommen haben und Ihre Frage hier nicht sehen, lade ich Sie ein, sie noch einmal in einem Kommentar unten zu formulieren.

Die Arbeitsphase

Nach den Fragen hatten wir unsererseits ein paar Leitfragen vorbereitet und die Teilnehmenden gebeten, in Gruppen diese Fragestellungen zu bearbeiten. Die Fragen lauteten:

1. Kann man Lehrmaterialien unabhängig von ihrem Kontext qualitativ bewerten?
2. Sind Kriterienkataloge ein angemessenes Instrumentarium zur Qualitätsbewertung von Lehrmaterialien?
3. Wie müssen Zielgruppen und Fachkulturen bei der Entwicklung eines Bewertungssystems berücksichtigt werden?
4. Ist die Gewichtung einzelner Qualitätskriterien notwendig?

Zu den Fragen 1, 2 und 4 hatten wir die Teilnehmenden aufgefordert, Pro und Kontra Argumente unabhängig zu ihren eigenen Überzeugungen zu sammeln. Bei 3 sollten eher Thesen aufgestellt werden.

Frage 1: Kontext

Gruppe 1: Kontext

Die erste Gruppe hatte unsere Frage an unserem Bewertungsbogen getestet und dabei kontextrelevante und kontextirrelevante Items identifiziert. Eigentlich hatten wir mit dem Kontext von Lehrmaterialien deren konkreten Einsatz in einem didaktischen Szenario gemeint. Es stimmt aber natürlich, dass Einflussfaktoren von Außen die Qualität von Lehrmaterialien bestimmen. Vor allem in Hinblick auf die Zielgruppe eines Angebots gibt es in unserem Bewertungsbogen einige Items, die Einwirkungen von Außen thematisieren. Andere wiederum lassen sich unabhängig von einem Kontext bewerten. Wichtig erschien mit hier noch der Hinweis eines Teilnehmers, dass die Perspektive der Zielgruppe nicht immer durch Experten eingenommen werden kann. Zum Beispiel kann ein Experte die Bearbeitungszeit für ein Material angemessen finden, Studierende dies aber kann anders sehen.

Frage 2: Kriterienkataloge als angemessenes Instrumentarium

Gruppe 2: Kriterienkataloge als Angemessenes Instrumentarium

Die Pro Argument der zweiten Gruppe waren

• die Angemessenheit eines Kriterienkataloges als Mindestmaßstab,
• das Transparenzargument bei der Entstehung des Materials,
• die Möglichkeit, die Materialien zu validieren,
• die Bedeutung, die ein solches Instrumentarium für die wissenschaftliche Weiterbildung haben kann, sowie
• die Chance, standardisierte Maßstäbe im Sinne einer Nachhaltigkeit zu entwickeln.

Die Kontra Argumente lauteten:

• Unverhältnismäßigkeit und zu hohe Kosten bei der Durchführung der Bewertung
• fehlende Verankerung
• fehlende Akteure, die die Bewertung vornehmen
• Widerstand bei den Autorinnen und Autoren der Lehrmaterialien, die Verbesserungen vornehmen sollen

Frage 3: Einfluss von Zielgruppen und Fachkulturen

Gruppe 3: Zielgruppen & Fachkulturen

Die dritte Gruppe diskutierte Thesen zum Einfluss von Zielgruppen der wissenschaftlichen Weiterbildung und der Fachkulturen aus denen die Angebote kommen. Tenor war, das die Art und Weise, wie Materialien entstehen und wie sie eingesetzt werden, nicht fachkulturell spezifisch ist. Was wir auch in unserer Sekundäranalyse schon als These aufgestellt haben, nämlich dass es keine Tendenz gibt, wie Fachkulturen sich in einzelnen Lehrmaterialien oder der Präferierung von Lehrmaterialtypen wiederspiegeln, wurde auch durch die Teilnehmenden bestätigt. Ob dies allerdings auch für Zielgruppen gilt, muss noch verifiziert werden. Die These könnte lauten, dass es auch auf Studierendenebene eine eher individuelle Präferenz für bestimmte Lehrmaterialien gibt.

Frage 4: Gewichtung von Kriterien

Gruppe 4: Gewichtung von Kriterien

Das Foto zeigt es bereits. Die Gewichtung von Kriterien fand in der Gruppe 4 allgemeine Zustimmung. Allerdings wurde darüber diskutiert, wie diese Gewichtung aussehen muss. Konsens bestand darüber, dass bestimmte Kriterien oder vielleicht auch Kriteriencluster wichtiger sind als andere. Dies würde dann zum Tragen kommen, wenn die Bewertung ein Gesamtergebnis aus allen Clustern zum Ziel hätte. Momentan tendieren wir aber eher dazu, Einzelergebnisse zurückzuspiegeln und es den Autorinnen und Autoren zu überlassen, welche Cluster für sie wichtig sind und welche nicht. Natürlich stimmen wir zu, dass ein Kriterium wie das bezüglich des Corporate Designs sehr viel weniger Gewicht hat wie die meisten didaktischen Kriterien. Dennoch ist es in manchen Kontexten und für manche Zielgruppen wichtig, ein einheitliches Design und damit eine sichtbare Qualität bereitzustellen. Daher würden wir den Bewertenden die Einscheidung überlassen, welches Kriterium wie gewichtet wird.

Insgesamt war der Workshop für uns sehr gewinnbringend, da wir einige wichtige Aspekte mitgenommen haben, über die wir uns noch einmal Gedanken machen werden. Wir danken den Teilnehmenden für Ihre Arbeit im Workshop und hoffen, dass auch sie einige Anregungen bekommen haben. Falls Sie an dem Bewertungsbogen und dem dazugehörigen Manual interessiert sind, schreiben Sie einfach einen kurzen Kommentar und wir senden Ihnen die Dateien zu.

[UPDATE: 4.10.2016]

Mittlerweile steht der Qualitätskriterienkatalog als PDF auf der Seite des WM³-Projekts zur Verfügung. Das Bewertungstool (auf den Seiten meines Kollegen Heiko Müller) ist auch online. Über Feedback würden wir uns freuen.