Das Grundprinzip aller Testverfahren ist immer gleich und basiert wie die »Schätzverfahren« auf der Stichprobentheorie. Zunächst überlegt man sich, wie das Stichprobenergebnis aussehen müßte, wenn die zu testende Annahme über die Grundgesamtheit, die sogenannte »Nullhypothese«, richtig wäre. Dann fragt man sich, welche Stichprobenergebnisse dieser Annahme widersprechen würden. Sie würden eine alternative Annahme über die Grundgesamtheit unterstützen, die die Nullhypothese ausschließt. Man bezeichnet diese Annahme auch als »Alternativhypothese«. Eine genauere Analyse zeigt, daß es keine Stichprobenergebnisse gibt, die eindeutig nur die eine oder die andere Annahme unterstützen. Es gibt lediglich Ergebnisse, die mehr oder weniger wahrscheinlich sind, wenn die Nullhypothese zutrifft. Folglich läßt sich das Entscheidungsproblem, ob die zu testende Nullhypothese richtig oder falsch ist, nicht eindeutig, sondern nur mit einer bestimmten Unsicherheit lösen.
Hinzu kommt, daß man die tatsächlichen Verhältnisse in der Grundgesamtheit nicht kennt, so daß zwei Arten von Fehlentscheidungen möglich sind: Man verwirft fälschlicherweise die Nullhypothese, obwohl sie eigentlich für die Grundgesamtheit richtig ist, oder man nimmt fälschlicherweise die Nullhypothese an, obwohl nicht sie, sondern die Alternativhypothese auf die Grundgesamtheit zutrifft. Diese zwei Arten von Fehlentscheidungen nennt man Fehler erster bzw. zweiter Art.
Die Wahrscheinlichkeit des Fehlers erster Art bezeichnet man mit , die Wahrscheinlichkeit des Fehlers zweiter Art mit
. Man spricht daher auch vom
- bzw.
-Fehler. Beide Fehler lassen sich nicht gleichzeitig minimieren, denn kleinere
-Fehler sind mit größeren
-Fehlern verbunden und umgekehrt (
läßt sich jedoch nicht aus
berechnen). In einem Hypothesentest ist üblicherweise der
-Fehler der Ausgangspunkt der Testprozedur. Er wird auch als »Signifikanzniveau« oder Irrtumswahrscheinlichkeit des Testes bezeichnet. Nach den vorherigen Überlegungen entspricht er der Wahrscheinlichkeit, mit der im Rahmen des Tests die Nullhypothese fälschlicherweise verworfen werden kann, obwohl sie eigentlich richtig ist.
Das Standardschema jedes Hypothesentests besteht immer aus den folgenden fünf Schritten:
Notation: ist die Wahrscheinlichkeit des Fehlers erster Art,
die Wahrscheinlichkeit des Fehlers zweiter Art.