Eines der wenigen Modelle in der Literatur, die explizit eine systematische Integration qualitativer und quantitativer Methoden fordern, wurde von Campbell et al. (2000) vorgeschlagen. Die dort formulierten Forderungen stehen in Einklang mit dem stufenweisen Vorgehen der Integration der Methoden, wie sie im voran gegangenen Abschnitt  beschrieben wurde. Das Modell beschreibt den Prozess von der Entwicklung einer Intervention bis zur Überprüfung ihrer Wirksamkeit (Evaluation) und zur optimalen Implementation der entwickelten Intervention in die Praxis. Obwohl es für den Bereich der Gesundheitswissenschaften und für experimentelle Studien entwickelt wurde, kann es auch für die pädagogische und die Lehr-Lern-Forschung ohne wesentliche Veränderung empfohlen werden. Typische interventive Fragestellungen könnten hier beispielsweise sein:

  • Wie muss ein Ganztagsschulenkonzept gestaltet sein, das den Lernerfolg der Schüler verbessert und zum Ausgleich unterschiedlicher sozialer Hintergründe führt?
  • Wie können neue Medien optimal in den Unterricht integriert werden?
  • Wie können Schüler mit einer Lernstörung (z.B. Lese-Rechtschreibschwäche) optimal im Schulalltag unterstützt werden?
  • Wie kann ein Krisenmanagement an Schulen entwickelt und etabliert werden, das im Falle von Krisensituationen (z.B. Brand, Amokläufer) einen optimalen Umgang mit der Krisensituation ermöglicht?

Bei all diesen exemplarischen Fragestellungen aus dem Bereich der Evaluation geht es darum, zunächst ein Konzept/Programm zu entwickeln, das optimal an die Rahmenbedingungen angepasst ist. Hierbei kommen vor allem qualitative Methoden zum Einsatz. Anschließend muss geprüft werden, ob das entwickelte Programm wirksam im Sinne der Fragestellung ist und in die Praxis optimal implementiert wird. Abbildung 2 zeigt das von Campbell et al. (2000) vorgeschlagen Modell, das den Forschungsprozess in fünf sukzessive Phasen aufgliedert.csm_Q_Q2_bfcdbd5911.jpg

Abbildung 2: Mehrphasiges Modell eines Forschungsprozesses bei Interventionsstudien nach Campbell et al. (2000; Abbildung adaptiert übernommen aus Wirtz et al., 2007)

Diese fünf Phasen können hinsichtlich ihrer Methoden und Zielsetzung wie folgt charakterisiert werden (vgl. Wirtz et al, 2007).

  1. Vorklinische Phase: Zu Beginn des Studienverlaufs wird die Basis für eine Theorie vor allem mittels Literaturrecherche und qualitativer Methoden geschaf¬fen. Hier sollen wichtige Modell- und Einflussvariablen, Rahmenbedingungen und potentielle Wirkzusammenhänge identifiziert werden. Es soll vor allem Evidenz gesammelt werden, wie eine optimale Interventionsmaßnahme gestaltet sein muss. Hierfür werden – neben Experten für das Forschungsgebiet – Betroffene im Feld (z.B. Schüler, Eltern, Lehrkräfte) mittels qualitativer Methoden (z.B. Delphi-Befragung, Fokusgruppen, Metaplan-Technik, Fallstudien; Wottawa, H. & Thierau H., 2003) befragt, um deren Sichtweise unvoreingenommen in Erfahrung zu bringen und als Basis für ein Theoriemodell verwenden zu können. Eigen¬schaften der geplanten Intervention sowie des zu verwendenden Studiendesigns werden theoriegestützt und evtl. auf Basis vorliegender Studien analysiert und optimiert. Die Arbeit in dieser Phase orientiert sich vorwiegend am zirkulären Modell des qualitativen Forschungsprozesses (vgl. Abbildung 1).
  2. Phase I Definition der Interventionskomponenten (Modellierung): Nachdem ein Grundmodell des komplexen Wirkgefüges in der Praxis geschaffen wurde, wird nun die Interventionsmaßnahme konkret geplant. Es werden in der Praxis Evidenzen dafür gesammelt, dass die elemen¬taren Hypothesen begründet sind und die Annahme ihrer Gültigkeit durch empirische Beobachtungen gestützt werden kann. Neben dieser inhaltlichen Arbeit werden auch die Bedingungen für eine optimale Praxisimplementation der geplanten Intervention untersucht: Kann die geplante Intervention zufrieden stellend umgesetzt werden? Besteht Akzeptanz bei potentiellen Teilnehmern der geplanten Studie? Welche organisatorischen Hindernisse müssen bei Umset¬zung von Inter¬ventionsprogrammen in die Praxis erwartet werden (z.B. Mangel an Ressourcen zur adäquaten Umsetzung)? Qualitative Methoden (z.B. Delphi-Befragung, Fokusgruppen, Metaplan-Technik, Fallstudien, Szenariotechnik; Wottawa, H. & Thierau H., 2003; Flick, 2006) erweisen sich hier als besonders geeignet, um relevante Prozesse und Interventionskomponenten sowie die Interaktion verschiedener Komponenten identifi¬zieren und analysieren zu können. Die Arbeit in dieser Phase orientiert sich ebenfalls vorwiegend am zirkulären Modell des qualitativen Forschungsprozesses (vgl. Abbildung 1).
  3. Phase II Definition des Versuchsplans und des Interventionsdesign (Exploratorische Studien): Hier werden die Erkenntnisse aus den ersten beiden Phasen genutzt, um ein optimales Interventions- und Studiendesign zu definieren. Dies betrifft insbesondere eine bestmögliche Definition der Intervention (Einzelkomponenten, Dauer und Intensität der Applikation), wie diese vor dem Hintergrund von Kontext- und organisatorischen Rahmenbedingungen in die Praxis implementiert (Machbarkeitsstudien) und die Akzeptanz durch die an der Studie teilnehmenden Betroffenen maximiert werden kann. Es werden hier konkrete Maßnahmen zur Sicherstellung der Übertragungsqualität der Intervention in der praktischen Umsetzung erprobt. Oft ist es notwendig, dass z.B. für die teilnehmenden Lehrkräfte eine spezielle Schulung hinsichtlich der Interventionsinhalte konzipiert wird. In dieser Phase muss ebenfalls untersucht werden, wie eine Kontrollbehandlung gestaltet sein sollte, die z.B. die aktuelle Praxis bestmöglich abbildet und in Phase IV zur Abschätzung des inkrementellen Nutzens der neuen Intervention verwendet werden könnte. Ein weiterer Schwerpunkt sollte auf die Pilottestung der Outcome-Maße gelegt werden, die in Phase III zur Wirksamkeitsüberprüfung verwendet werden.
  4. Im Rahmen der Machbarkeitsstudien und Studien zur Vortestung der Designelemente der Studie in Phase IV kommen hier bereits quantitative Methoden zu Anwendung. Da aber hier die Optimierung dieser Designkomponenten im Vordergrund steht, orientiert sich die methodische Vorgehensweise wieder am zirkulären Modell der qualitativen Forschung und es kommen vorwiegend die bereits in Phase I und II genannten qualitativen Methoden zur Anwendung.
  5. Phase III  Methodologische Aspekte der Hauptstudie (Kontrollierte (randomisierte) Studie): In dieser Phase wird die Interventionsmaßnahme implementiert und ihre Effektivität und ihr inkrementeller Nutzen im Vergleich zu einer Kontroll¬gruppe summativ evaluiert. Hierbei kommen quantitative Methoden zur Anwendung. Idealerweise sollte eine Wirksamkeitsstudie als experimentelle Studie durchgeführt werden, in der die Vergleichbarkeit der Behandlungs- und Kontrollgruppe durch Randomisierung gewährleistet wird. Falls aufgrund der inhaltlichen Thematik und der organisatorischen Rahmenbedingungen eine experimentelle Studie nicht möglich ist, können alternativ quasi-experimentelle Designs verwendet werden. Bei diesen muss aber dann ein besonderes Augenmerk auf etwaige Heterogenitäten der Vergleichsgruppen gelegt werden, die durch im Design realisierte oder statistische Adjustierungstechniken bestmöglich ausgeglichen werden (Bortz & Döring, 2006). Das verwendete Design sollte die Standards für quantitative wissenschaftliche Studien erfüllen: Insbesondere ist eine transparente Doku¬men¬tation, die eine Replikation ermöglicht, die Verwendung standar¬disierter und validierter Assessmentverfahren und die adäquate statistische Datenanalyse erforderlich. Darüber hinaus sollte a priori eine Kalkulation der notwendigen Stich¬proben¬umfänge erfolgen, um sicherzustellen, dass klinisch bedeut¬same Effekte mit hinreichender Teststärke und Präzision nachgewiesen werden können (Bortz & Döring, 2006).
  6. Phase IV Langzeit-Implementation: Nachdem in Phase III die Wirksamkeit der Intervention unter kontrollierten Bedingungen erfolgt ist, sollte nun unter langfristiger Perspektive geprüft werden, ob sich diese Effekte in natürlichen Settings bestätigen und ggf. optimieren lassen können. Dabei wird zur Sicherstellung der externen Validität empirisch geprüft, welche Bedingungen z.B. in der Praxis des Schulalltags für einen optimalen Erfolg kritisch sind (z.B. Kontextbedingungen, Qualitäts¬unterschiede bei der Programmdurchführung in den Schulen, Eignung für unterschiedliche Schul- und Unterrichtsformen). Lang¬fristigen Zielgrößen (z.B. langfristig positive Entwicklung der Kompetenzen der Schüler, Verbesserung der Berufsaussichten) sind in dieser Phase eine besondere Bedeutung beizumessen. Die Akzeptanz des Programms (u.U. unterstützt durch Anreizsysteme) und die Einstellungen und Motivation der  Durchführenden und von den Interventionswirkungen Betroffenen (z.B. Lehrkräfte, Schüler) sollten besonders fokussiert werden. Wie in den ersten drei Phasen werden hier vorwiegend qualitative Methoden und Einzelfall¬betrachtungen eingesetzt und das Vorgehen orientiert sich am zirkulären Modell des qualitativen Forschungsprozesses.

Dieses Phasenmodell realisiert also exemplarisch die im vorangegangenen Abschnitt geforderte integrative Anwendung quantitativer und qualitativer Forschungs­methoden. Da in den jeweiligen Phasen des Evaluationsmodells unterschiedliche Aufgaben und Zielstellungen vorliegen können, müssen die Methoden maßgeschneidert ausgewählt werden, damit die jeweils verfolgten Zielstellungen optimal erreicht werden können. Hierbei wird sowohl die bestmögliche Adaptation der Intervention und des Forschungsprozesses an die Praxis berücksichtigt, als auch der Nachweis der Wirksamkeit erbracht und die Frage der Generalisier­barkeit berücksichtigt. Hierbei wird besonders deutlich, dass die beiden Forschungsparadigmen bei komplexen Studien nicht als konkurrierend angesehen werden sollten, sondern dass sie sich in aufeinander folgenden Zyklen sinnvoll ergänzen.

Literatur:

  • Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation. Berlin: Springer-Verlag.
  • Campbell, M., Fitzpatrick, R., Haines, A., et al. (2000). Framework for the design and evaluation of complex interventions to improve health. British Medical Journal, 321, 694-696.
  • Flick, U. (2006). Qualitative Evaluationsforschung zwischen Methodik und Pragmatik – Einleitung und Überblick. In: U. Flick (Hrsg.), Qualitative Evaluationsforschung – Konzepte, Methoden, Anwendungen (S. 9-29). Reinbek: Rowohlt.
  • Wirtz, M., Morfeld, M., Igl, W., Kutschmann, M., Leonhart, R., Muche, R. & Schön, G. (2007). Organisation methodischer Beratung und projektübergreifender Forschungs­aktivitäten in multi­­zentrischen Forschungsprogrammen. Die Rehabilitation, 46(3).
  • Wottawa, H. & Thierau, H. (2003). Lehrbuch Evaluation. Bern: Huber.

Artikel verfasst von Markus Wirtz und Marco Petrucci (2007)