Weitere relevante Kenngrößen
Orientierungshilfen für die eigene Untersuchung
Hypothesenauswahl vorrangig nach inhaltlichen Gesichtspunkten vornehmen
Nachfolgend sollen einige Orientierungshilfen zur Planung und Auswahl der eigenen Untersuchung und ihrer Hypothesen vorgestellt werden. Die dort aufgeführten Maßnahmen beziehen sich lediglich auf die Optimierung der Teststärke der Untersuchung. Zu beachten ist, dass die Auswahl der Hypothesen und des Versuchsplans in erster Linie nach inhaltlichen Erwägungen erfolgt und erst nachrangig bzw. begleitend dazu eine Maximierung der Teststärke angestrebt werden sollte!
...und nachrangig nach Teststärken- gesichtspunkten
Zur Optimierung der Teststärke können folgende Orientierungsrichtlinien von Nutzen sein:
- Versuchsplan einfach halten: Nach Möglichkeit sollte auf zu komplexe Versuchspläne mit mannigfaltigen, hypothesenrelevanten unabhängigen Variablen, die jeweils eine große Zahl an Faktorstufen besitzen, verzichtet werden, da derartige Designs eine sehr große Anzahl an Versuchspersonen erfordern.
- Beschränkung auf wenige Hypothesen: Aufgrund der durchzuführenden Adjustierung des Alphaniveaus und dem damit einhergehenden Teststärkenverlust sollten nur so wenige Hypothesen wie unbedingt erforderlich untersucht werden.
- Zweifachgestufte unabhängige Variablen hinzufügen: Die Hinzunahme von zweifachgestuften unabhängigen Variablen führt im univariaten Fall zumeist nur zu einem unbedeutenden Teststärkeverlust und kann daher empfohlen werden, sofern eine zweifachgestufte unabhängige Variable nach inhaltlichen Gesichtspunkten sinnvoll ist.
- Höhergestufte unabhängige Variablen nach Möglichkeit vermeiden: Bereits dreifachgestufte unabhängige Variablen belasten die Teststärke deutlich stärker als eine zweifachgestufte unabhängige Variable. Daher sollten eher zwei oder mehrere zweifachgestufte unabhängige Variablen in den Versuchsplan aufgenommen werden als eine drei- oder vierfachgestufte unabhängige Variable.
- Kovariaten verwenden: Kovariaten belasten die Teststärke in aller Regel nur unerheblich und können daher problemlos in den Versuchsplan integriert werden, sofern deren Messung nicht allzu viel Zeit in der Untersuchung veranschlagt (z.B. ist ein aufwendiger IQ-Test von drei Stunden im Vorfeld für eine fünfminütige Untersuchung zumeist nicht zu empfehlen).
- Messwiederholungen durchführen: Der Einsatz von messwiederholten Versuchsplänen kann zu einer deutlichen Verbesserung der Teststärke führen und bietet sich insbesondere dann an, wenn von einem sehr schwachen Effekt auszugehen ist. Zu beachten ist, dass nicht bei allen Fragestellungen eine Messwiederholung sinnvoll angewendet werden kann. Beispielsweise erübrigt sich in manchen Lernexperimenten eine Messwiederholung, da die Personen bei wiederholter Darbietung der Lernmaterialien bereits auf ihr unmittelbar zuvor erworbenes Wissen zurückgreifen können. Zudem weiß der Proband nach der ersten Darbietung, welche Lernfragen im Anschluss präsentiert werden und kann sein Lernverhalten entsprechend anpassen.
Abschließend ist darauf hinzuweisen, dass diese Empfehlungen nicht beachtet werden müssen, wenn von einem sehr starken Effekt oder von einer sehr großen Anzahl an Versuchspersonen ausgegangen werden kann. In diesen Fällen kann man versuchsplanerisch – bezogen auf die Teststärke – nicht allzu viel falsch machen. Bei Annahme eines sehr kleinen Effekts kann hingegen selbst bei einem einfachen Versuchsdesign (z.B. 2 x 2) der benötigte Stichprobenumfang sehr groß ausfallen.