Hypothesenüberprüfung
Allgemeine Empfehlungen
Nur wenige Hypothesen testen
Die Überprüfung der aufgestellten Hypothesen ist ein zentraler Bestandteil der Datenauswertung (Bortz & Döring, 2006). In aller Regel sollten in einer einzelnen empirischen Untersuchung nur wenige Forschungsfragen mit Hilfe eines überschaubaren Forschungsdesigns statistisch getestet werden. Eine Überprüfung zu vieler Hypothesen führt zu einem zeitlichen Mehraufwand, der unter anderem durch eine größere Anzahl an benötigten Versuchsteilnehmern und/oder durch eine längere Untersuchungszeit der einzelnen Versuchspersonen verursacht wird. Durch das multiple Testen entsteht das Phänomen der Alphafehlerkumulierung. Zudem verliert die spätere Ergebnisdarstellung häufig an Übersichtlichkeit. Außerdem ist Überprüfung zahlreicher Hypothesen mitunter ein Indiz, dass die Untersucher vorher nicht hinreichend über den Versuch und dessen spätere Auswertung nachgedacht haben.
Einfache statistische Verfahren nutzen
Bei der inferenzstatistischen Hypothesenüberprüfung sollte meiner Meinung nach auf einfache und gängige statistische Verfahren zurückgegriffen werden, mit denen die Forschungsfragen so eindeutig wie möglich zu beantworten sind. Nach wie vor kommen in aktuellen entwicklungspsychologischen Studien Varianzanalysen mit den dazugehörigen F-Tests zum Einsatz, mit deren Hilfe die aufgestellten Hypothesen getestet werden. Der Einsatz komplexerer und vielfach noch unbekannter statistischer Verfahren kann die spätere Veröffentlichung der empirischen Arbeit erschweren, da diese Verfahren den Gutachtern unbekannt sind und als nicht hinreichend bewährt betrachtet werden. Andererseits können mit diesen Verfahren (wie z.B. Neuronalen Netzen) interessante und komplexe Zusammenhänge im Datensatz ermittelt werden, die durch traditionelle Analysemethoden nicht aufdeckbar sind. Um beiden Gesichtspunkten gerecht zu werden, kann es sich anbieten, auf einfache statistische Verfahren bei der Überprüfung von Hypothesen zurückzugreifen, sofern diese die Forschungsfrage beantworten können, während der Einsatz neuerer statistischer Verfahren vornehmlich auf die Darstellung weiterer Befunde beschränkt bleiben sollte. Diese weiteren Befunde können zum Beispiel den Einbezug von zusätzlichen Drittvariablen beinhalten. Sowohl bei der Überprüfung der Hypothesen als auch bei der Beschreibung weiterer Befunde sollten in jedem Fall Angaben zur Effektgröße bereitgestellt werden.
Relevante abhängige Variablen einbeziehen
Die Testung der Hypothesen sollte sämtliche abhängige Variablen enthalten, die in den Hypothesen aufgeführt worden sind. Dabei sollten diese zunächst einer gemeinsamen Analyse unterzogen werden. Werden beispielsweise Effekte auf die sprachlichen und mathematischen Fähigkeiten als abhängige Variablen postuliert, so sollten diese beiden Variablen zunächst gemeinsam in die Datenauswertung einfließen. Dies könnte beispielsweise mit Hilfe einer sogenannten multivariaten Varianzanalyse (MANOVA) bzw. mit Hilfe einer kanonischen Korrelation (Bortz, 2005) erfolgen. Die gemeinsame Betrachtung aller abhängigen Variablen verhindert im Vergleich zu mehreren univariaten Analysen (z.B. mehreren univariaten Varianzanalysen) eine Kumulierung des Alphafehlers. Jedoch ist die Interpretation von zwei oder mehreren abhängigen Variablen oftmals schwierig. Beispielsweise ist bei einem signifikanten Ergebnis im Hinblick auf die sprachlichen und mathematischen Fähigkeiten unklar, ob sich der Effekt auf beide oder nur eine abhängige Variable ausgewirkt hat. In der (entwicklungspsychologischen) Forschung werden daher häufig – sofern die multivariate Gesamtanalyse signifikant war – nachträglich entsprechende univariate Analysen durchgeführt, um eine bessere Interpretation der Ergebnisse zu gewährleisten.
multivariate Varianzanalyse
kanonische Korrelation
univariate Varianzanalysen
Inferenzstatistische Voraussetzungen überprüfen
inferenzstatistische Voraussetzungen
Bevor eine aufgestellte Hypothese inferenzstatistisch getestet werden kann, sollten zunächst die inferenzstatistischen Annahmevoraussetzungen des gewünschten statistischen Verfahrens überprüft werden.