Effektgröße

Author: Hans Lohninger

Führt man einen statistischen Test durch, so hängt das Ergebnis des Tests vom Signifikanzniveau, von der Teststärke und von der Größe der Stichprobe ab. Im allgemeinen wird man die Wahrscheinlichkeit der irrtümlichen Ablehnung der Nullhypothese (also das Signifikanzniveau) möglichst klein halten, so dass man im Falle einer Ablehnung der Nullhypothess zu einer "sicheren" Aussage kommt (z.B. "der Unterschied ist signifikant", falls die Nullhypothese, dass es keinen Unterschied zwischen zwei Populationen gibt, abgelehnt wird).

Erhöht man nun die Zahl der Beobachtungen, so wird der minimale Unterschied, der zu einer Ablehnung von H₀ führt, immer kleiner - bei entsprechend vielen Beobachtungen werden also selbst kleinste Unterschiede statistisch signifikant. Allerdings mag dieser kleine, signifikante Unterschied eventuell in der Praxis völlig bedeutungslos sein.

Statistische Signifikanz ist also eine
notwendige, aber keine hinreichende Bedingung für
die praktische Bedeutsamkeit eines Effekts.

Ein Beispiel soll das klären: Angenommen wir untersuchen den Nitratgehalt von Brunnenwasser in verschiedenen Landesteilen. Weiters angenommen, wir stellen einen durchschnittlichen Unterschied von 2 mg/l zwischen den Brunnen im Osten und im Westen einer Stadt fest (bei einem Nitratgehalt von rund 30 mg/l). Dieser kleine, in der Praxis vollkommen unbedeutende Unterschied, wird bei wenigen Stichproben nicht signifikant sein. Erhöhen wir nun die Zahl der analysierten Brunnen, so wird - bei gleich bleibendem Unterschied - dieser Unterschied statistisch signifikant werden. Man kann also statistische Signifikanz durch entsprechend umfangreiche Stichproben immer erreichen (manche sprechen vom "Fluch der großen Stichprobe"). Statistische Signifikanz bedeutet aber nicht, dass der signifikante Unterschied auch in der Praxis von Bedeutung ist.

Es ist also keineswegs sinnvoll statistische Untersuchungen an Mammutstichproben durchzuführen. Liegen Unterschiede von praktischer Bedeutung vor, so müssen sich diese Unterschiede auch in kleinen Stichproben nachweisen lassen.

Um nun dieses Problem in den Griff zu bekommen, definiert man die Effektgröße. Darunter versteht man den minimal erforderlichen Unterschied, der in der Praxis noch relevant ist. Bei der Anwendung von statistischen Tests wird man also nicht nur aufgrund der statistischen Signifikanz eines Ergebnisses entscheiden, sondern auch aufgrund der vordefinierten Effektgröße.