Kirkpatrick-Modell: Lernerfolg auf vier Ebenen messen

Kirkpatrick-Modell – kaum ein Begriff fällt in der Personalentwicklung häufiger, wenn es um die Bewertung von Weiterbildung geht. Das Kirkpatrick-Modell entstand in den 1950er-Jahren bei Donald Kirkpatrick, ursprünglich im Rahmen seiner Dissertation über die Bewertung von Programmen für Meister und Vorgesetzte in der Industrie, und ist bis heute der verbreitetste Ordnungsrahmen dieser Art – zugleich einer der am häufigsten missverstandenen.

Die vier Ebenen im Kirkpatrick-Modell sind so eingängig, dass sie in fast jeder Weiterbildungsabteilung an der Wand hängen. Weniger bekannt ist, dass die darin angelegte Wirkungskette empirisch schlecht abgesichert ist – und dass Kirkpatrick selbst diese Einschränkung benannt hat. Dieser Beitrag zeigt beides: wofür das Modell taugt und wo man ihm nicht folgen sollte.

Was ist das Kirkpatrick-Modell?

Das Kirkpatrick-Modell unterscheidet vier Ebenen, auf denen sich der Erfolg einer Weiterbildungsmaßnahme betrachten lässt. Sie sind aufsteigend nach Aussagekraft und nach Erhebungsaufwand geordnet.

Der praktische Wert des Kirkpatrick-Modells liegt weniger in der Messung als in der Sortierung. Wer eine Maßnahme plant, hat mit den vier Ebenen sofort vier verschiedene Fragen – und merkt, dass die Antwort auf Ebene 4 in der Regel nicht existiert, weil vorher niemand festgelegt hat, was sich eigentlich ändern soll.

Der Aufwand steigt zwischen den Ebenen erheblich. Ebene 1 kostet fünf Minuten pro Person, Ebene 4 ein Projekt. Das erklärt, warum in der Praxis fast ausschließlich Ebene 1 erhoben wird – und warum das ein Problem ist.

Wie erheben Sie die vier Ebenen konkret?

Die vier Ebenen im Kirkpatrick-Modell verlangen jeweils eigene Instrumente.

Ebene 1 – Reaktion. Feedbackbogen unmittelbar nach der Maßnahme. Nützlich für die Frage, ob organisatorisch etwas schiefgelaufen ist, ob die Sprache verständlich war, ob die Beispiele passten. Nicht nützlich als Erfolgsmaßstab. Ein Zusatz, der mehr bringt als jede Zufriedenheitsskala, ist eine einzige offene Frage: Was werden Sie in den nächsten zwei Wochen konkret anders machen?

Ebene 2 – Lernen. Wissens- oder Anwendungsaufgaben, idealerweise vor und nach der Maßnahme, damit der Zuwachs erkennbar wird. Am aussagekräftigsten ist die Auswertung je Frage statt als Gesamtscore: Eine Frage, die fast alle falsch beantworten, zeigt in der Regel einen unklaren Inhalt und keine Wissenslücke der Belegschaft.

Ebene 3 – Verhalten. Nur erhebbar, wenn vorher festgelegt wurde, welches Verhalten beobachtet werden soll – und zwar in beobachtbaren Formulierungen statt in Adjektiven. Praktikabel ist eine kurze Einschätzung durch die Person selbst und durch die Führungskraft nach sechs bis acht Wochen. Wie sich dieser Schritt gestalten lässt, beschreibt der Beitrag zum Lerntransfer.

Ebene 4 – Ergebnisse. Kennzahlen aus dem Fachbereich: Fehlerquote, Reklamationen, Unfallzahlen, Bearbeitungsdauer, Fluktuation. Der Haken ist die Zurechnung – diese Zahlen werden von vielem beeinflusst, nicht nur von einer Schulung. Belastbar wird die Ebene nur, wenn der Zielwert vor der Maßnahme benannt wurde.

Was ist an der Wirkungskette dran?

Hier liegt der Punkt, an dem die meisten Darstellungen zum Kirkpatrick-Modell aufhören. Das Modell legt nahe, dass die Ebenen aufeinander aufbauen: Wer zufrieden ist, lernt mehr; wer mehr lernt, verhält sich anders; wer sich anders verhält, erzeugt Ergebnisse. Genau diese Annahme ist empirisch schwach.

Eine Metaanalyse von Alliger und Kollegen aus dem Jahr 1997 wertete 34 Studien mit insgesamt 115 Korrelationen aus. Der Zusammenhang zwischen Zufriedenheit und Lernerfolg lag bei r = .07, der zwischen Lernerfolg und Transfererfolg bei r = .09 – Werte, die praktisch keine Vorhersage erlauben. Eine ausführliche Aufarbeitung dieser Befunde findet sich unter dem passenden Titel Der Mythos Wirkungskette in der Weiterbildung.

Drei Konsequenzen ergeben sich daraus für die Praxis:

Zufriedenheit ist kein Frühindikator. Ein Kurs mit begeisterten Rückmeldungen kann wirkungslos sein, ein als anstrengend empfundener Kurs kann viel bewirken. Wer Ebene 1 als Ersatz für die übrigen Ebenen erhebt – und das ist der Normalfall – misst die Stimmung im Raum.

Ebenen lassen sich nicht hochrechnen. Aus guten Testergebnissen folgt nicht, dass sich das Verhalten ändert. Jede Ebene braucht ihre eigene Erhebung.

Das Modell erklärt nichts. Wie eine Rezension der Deutschen Gesellschaft für Evaluation anmerkt, betrachten die vier Ebenen ausschließlich Wirkungen – für die pädagogischen Prozesse und die Rahmenbedingungen, unter denen gelernt wird, ist das Modell blind. Es sagt, dass etwas nicht gewirkt hat, aber nicht, warum.

Fairerweise gehört dazu: Kirkpatrick selbst hat die Kausalkette nie als Gesetz verstanden, sondern als praktische Heuristik. Der Absolutheitsanspruch ist in der Anwendung entstanden, nicht im Modell.

Was ändert das New World Kirkpatrick Model?

Jim und Wendy Kirkpatrick haben das Modell überarbeitet und dabei zwei Dinge verschoben, die praktisch bedeutsam sind.

Die Planungsrichtung dreht sich um. Statt bei Ebene 1 zu beginnen und sich nach oben zu arbeiten, wird bei Ebene 4 gestartet: Was soll sich im Betrieb ändern? Daraus ergibt sich, welches Verhalten dafür nötig ist, daraus, was gelernt werden muss, und erst daraus die Gestaltung der Maßnahme. Evaluiert wird anschließend in der gewohnten Reihenfolge. Diese Umkehrung ist der nützlichste Teil der Überarbeitung, weil sie die häufigste Ursache wirkungsloser Maßnahmen adressiert – dass nie jemand gesagt hat, was anders werden soll.

Ebene 4 bekommt eine Ergänzung. Neben harten Ergebnissen tritt die Return on Expectations: die Frage, ob die Erwartungen der Auftraggebenden erfüllt wurden. Das ist weicher als eine Kennzahl und in vielen Fällen ehrlicher, weil sich betriebliche Ergebnisse selten sauber einer Schulung zurechnen lassen.

Ergänzt wurden außerdem Faktoren zwischen den Ebenen – etwa die Frage, ob überhaupt Gelegenheit zur Anwendung bestand. Damit rückt das Modell näher an das heran, was die Transferforschung seit Langem beschreibt.

Welche Alternativen zum Kirkpatrick-Modell gibt es?

Das ROI-Modell nach Phillips ergänzt eine fünfte Ebene: den finanziellen Ertrag im Verhältnis zu den Kosten. Der Anspruch ist hoch, der Aufwand ebenso, und die Zurechnung bleibt das Kernproblem – wer den Nutzen einer Schulung in Euro angibt, hat vorher eine Reihe von Annahmen getroffen, die selten offengelegt werden.

Die Success Case Method nach Brinkerhoff dreht die Logik um: Statt Durchschnitte zu bilden, werden gezielt die erfolgreichsten und die erfolglosesten Fälle untersucht. Die Frage lautet nicht, wie gut die Maßnahme im Mittel war, sondern unter welchen Bedingungen sie gewirkt hat. Für kleine Teilnehmendenzahlen ist das aussagekräftiger als jede Statistik – und für mittelständische Unternehmen deshalb oft der praktikablere Weg.

Das Modell von Kaufman erweitert die oberste Ebene über das Unternehmen hinaus auf gesellschaftliche Wirkung. Für betriebliche Weiterbildung ist das meist zu groß gedacht, für Bildungsträger und öffentliche Einrichtungen kann es passen.

In der Praxis lohnt keine Grundsatzentscheidung. Sinnvoll ist, das Kirkpatrick-Modell als Ordnungsrahmen zu behalten und sich für die eigentliche Untersuchung bei Brinkerhoff zu bedienen: zwei gelungene und zwei misslungene Fälle liefern mehr Erkenntnis als ein Mittelwert über dreißig Personen.

Wie evaluieren Sie im Mittelstand realistisch?

Ein vollständiges Evaluationskonzept über alle vier Ebenen ist in den meisten Häusern nicht durchführbar – und es wird auch nicht gebraucht. Realistisch ist folgender Zuschnitt:

Vor der Maßnahme: einen Satz darüber, was sich ändern soll, abgestimmt mit dem Fachbereich. Dieser Satz ist Ebene 4 in ihrer machbaren Form.

Ebene 1 auf eine Frage reduzieren. Statt eines Bogens mit zwölf Skalen die eine offene Frage nach dem konkreten Vorhaben. Sie ist aussagekräftiger und wird eher beantwortet.

Ebene 2 je Frage auswerten. Die Daten liegen ohnehin vor. Der Aufwand besteht darin, sie einmal anzusehen statt nur die Bestehensquote zu notieren.

Ebene 3 auf zwei Einschätzungen beschränken. Nach sechs bis acht Wochen je eine kurze Rückmeldung von der Person selbst und von der Führungskraft, anhand von zwei bis drei vorher festgelegten Verhaltensankern.

Ebene 4 nur bei großen Maßnahmen. Und dann mit dem vorab benannten Zielwert, nicht mit einer nachträglich gesuchten Kennzahl.

Dieser Zuschnitt kostet pro Maßnahme etwa eine Stunde Auswertung. Der übliche Alternativzustand – ein Feedbackbogen, den niemand auswertet – kostet weniger und bringt nichts.

Welche Daten liefert eine Lernplattform dazu?

Zwei der vier Ebenen fallen im System ohnehin an. Für Ebene 2 liefert das reteach LMS die Ergebnisse der Wissensabfragen bis hinunter auf die einzelne Frage – genau die Auflösung, die für eine sinnvolle Auswertung nötig ist. Für Ebene 1 lässt sich die offene Frage nach dem Umsetzungsvorhaben als Abgabe am Kursende anlegen, sodass die Antworten an einem Ort liegen. Die Nacherhebung für Ebene 3 wird als zeitgesteuerte Einheit sechs bis acht Wochen nach Abschluss veröffentlicht und muss damit nicht erinnert werden.

Was das System nicht liefert, ist Ebene 4. Fehlerquoten, Reklamationen und Bearbeitungszeiten stehen in den Fachanwendungen, und die Verknüpfung bleibt eine inhaltliche Entscheidung, keine technische.

Abzugrenzen ist das vom laufenden Berichtswesen: Abschlussquoten, Fristen und Nachweise über Pflichtthemen sind eine Steuerungsaufgabe und keine Evaluation. Welche Kennzahlen dort tragen, beschreibt der Beitrag zu Lernkennzahlen und Reporting.

Fazit: Ein guter Rahmen, keine Messmethode

Das Kirkpatrick-Modell hat sich sechzig Jahre gehalten, weil es die richtigen vier Fragen stellt. Es liefert aber weder Instrumente noch eine belastbare Aussage darüber, wie die Ebenen zusammenhängen – und wer es als Wirkungskette verwendet, zieht Schlüsse, die die Daten nicht hergeben.

Zwei Dinge sind daraus mitzunehmen. Erstens: Planen Sie rückwärts. Ohne eine vorher formulierte Aussage darüber, was sich ändern soll, ist jede spätere Messung eine Suche nach Bestätigung. Zweitens: Erheben Sie weniger, aber das Richtige. Eine Auswertung je Testfrage und zwei kurze Einschätzungen nach sechs Wochen sagen mehr über eine Maßnahme aus als jeder Zufriedenheitsbogen – und sind an einem Vormittag erledigt.

Häufig gestellte Fragen