zurück

Vertrauensbereich oder Konfidenzintervall

Bei der Bestimmung der Reliabilität oder Messpräzision wurde festgestellt, dass jede psychometrische Messung fehlerhaft ist. Ein grundlegendes Axiom der klassischen Testtheorie besagt, dass sich jeder beobachtete Messwert aus dem wahren Wert und einem Fehlerwert zusammensetzt. Je besser die Reliabilität eines psychometrischen Test ist, umso geringer ist der Fehler einer mit diesem Test vorgenommenen Messung.
Aus diesem Grund kann das Ergebnis einer testpsychologischen Untersuchung nie mit einem festen Standardwert ausgedrückt werden, sondern immer nur durch die Angabe eines Bereiches, in dem der wahre Testwert mit einer bestimmten Wahrscheinlichkeit liegt. Diesen Bereich, der die Reliabilität eines Verfahrens berücksichtigt, nennt man den Vertrauensbereich oder Konfidenzintervall. Je höher die Reliabiltät eines psychologischen Tests ist, umso kleiner ist der Vertrauensbereich.

Das Vertrauensintervall lässt sich mit Hilfe des Standardmessfehlers bestimmen. Bei der Berechnung des Standardmessfehlers geht man von der Messpräzision oder Reliabiltät und dem ersten Axiom der klassischen Testtheorie aus.

  1. (1) Der Reliabiltätskoeffizient (rtt) ist definiert als der Quotient aus der wahren Varianz (st2) und der beobachteten Varianz (sx2).

    Gleichung 1: rtt = st2 : sx2


  2. Das erste Axiom der klassischen Testtheorie besagt, dass die beobachteten Varianz (sx2) aus der Summe von wahrer Varianz (st2) und Fehlervarianz (se2) besteht. Die positive Wurzel aus der Fehlervarianz ist der Standardmessfehler.

    Gleichung 2: sx2 = st2 + se2


  3. (3) Da man in Gleichung 1 zur Definition der Reliabilität die wahre Varianz nie bestimmen kann, ersetzt man diese durch die Differenz aus beobachteter Varianz (sx2) und Fehlervarianz (se2), die sich aus Gleichung 2 ergibt.

    Aus Gleichung 2: sx2 = st2 + se2 ergibt sich für die wahre Varianz
    st2 : st2 = sx2 - se2

    Durch Einsetzen dieses Terms in Gleichung 1 ergibt sich folgende Gleichung für den Reliabilitätskoeffizienten:

    rtt = (sx2 - se2) : sx2


    Löst man diese Gleichung nach der Fehlervarianz (se2) auf, erhält man folgende Gleichung:

    se2 = sx2 x (1 - rtt)


    Da der Standardmessfehler die positive Wurzel aus der Fehlervarianz ist ergibt sich für ihre Bestimmung folgende Formel:

    Standardmessfehler: se = sx x Wurzel(1 - rtt)


    Mit Hilfe des Standardmessfehlers kann nun der Vertrauensbereich (VB) für einen bestimmten Messwert X wie folgt angegeben werden:

    VB = X +/- se


    Bezieht man nun noch die Tatsache in die Überlegungen mit ein, dass das zu messende Merkmal in der großen Eichstichprobe normalverteilt ist, so kann man sogar noch zusätzlich angeben mit welcher Wahrscheinlichkeit der wahre Wert im oder außerhalb des Vertrauensbereiches liegt. Die Wahrscheinlichkeit, mit welcher der wahre Wert eines Probanden außerhalb des Vertrauensbereiches liegt, wird Irrtumswahrscheinlichkeit oder Signifikanzniveau genannt. Die Wahrscheinlichkeit, mit welcher der wahre Wert innerhalb des Vertrauensbereiches liegt, nennt man Sicherheitswahrscheinlichkeit. Das Signifikanzniveau und die Sicherheitswahrscheinlichkeit werden in Prozent angegeben. Übliche Sicherheitswahrscheinlichkeiten sind 68, 95 und 99 Prozent. Bei einer Sicherheitswahrscheinlichkeit von 68 Prozent ergibt sich logischerweise eine Irrtumswahrscheinlichkeit von 32 Prozent, bei einer Sicherheitswahrscheinlichkeit von 95 Prozent eine Irrtumswahrscheinlichkeit von 5 Prozent und bei einer Sicherheitswahrscheinlichkeit von 99 Prozent eine Irrtumswahrscheinlichkeit von 1 Prozent.
    Erinnern wir uns nun an die Eigenschaft der Normalverteilung, dass man ihr eine einfache z-Skala unterlegen kann, so entsprechen den oben üblichen Sicherheits- oder Irrtumswahrscheinlichkeiten auf dieser Skala folgende Werte (zcrit):



    Legt man nun den Grad fest, mit dem man sich bei der Bestimmung des Vertrauensbereich irren will, das heißt das Signifikanzniveau, ergibt sich unter Einbeziehung des entsprechenden Wertes auf der z-Skala (zcrit) folgende endgültige Formel für das Errechnen des Vertrauensbereiches:



    Beispiel:
    Ein Schüler erreicht in einem Intelligenztest einen IQ von 88. Die Reliabiltät dieses Tests wird im Testhandbuch mit rtt = 0.91 angegeben. Zu bestimmen ist der Vertrauensbereich für den IQ = 88 und zwar auf einem Signifikanzniveau von 5 Prozent.



    Der wahre IQ dieses Schülers liegt aufgrund der Messungenauigkeit des verwendeten psychologischen Tests mit einer Wahrscheinlichkeit von 95 Prozent in dem Bereich von 79 bis 97 IQ-Punkten.

    Manchmal ergibt sich in der Praxis die Frage, ob sich zwei Standardwerte tatsächlich signifikant voneinander unterscheiden, oder ob die vorliegende Differenz dieser zwei Werte lediglich auf die Messungenauigkeit der Verfahren zurückzuführen ist. Diese Frage lässt sich klären, indem man die kritische Differenz berechnet.
    Die Ermittlung der kritischen Differenz gelingt mit Hilfe des Standardmessfehlers unter Einbeziehung der Reliabilitäten der psychologischen Tests, mit denen die beiden zu vergleichenden Standardwerte erzielt wurden. Es ergibt sich dann folgende Formel zur Berechnung der kritischen Differenz:



    Beispiel:
    Ein Schüler erreicht in einem Intelligenztest einen SW von 115 und einige Zeit später in einem anderen vergleichbaren Verfahren einen SW von 102. Es wird die Frage gestellt, ob sich in der Differenz der beiden SW-Werte ein tatsächlicher Leistungsunterschied abbildet oder ob sie nur Ausdruck der Messungenauigkeit beider Tests ist. Die gewünschte Entscheidung soll mit 95-prozentiger Sicherheit richtig sein.
    Der Reliabilitätskoeffizient wird für den ersten Test mit rtt = 0.86 und für den zweiten mit rtt = 0.96 im Handbuch des jeweiligen Tests angegeben. Die Standardabweichung für die SW-Skala beträgt 10. Der kritische z-Wert für das Signifikanzniveau von 5 Prozent ist 1.96.



    Die kritische Differenz beträgt 8 Standardwerte (SW). Die rechnerische Differenz zwischen den beiden Standardwerten (115 - 102) beträgt 13 Standardwerte. Da die rechnerische Differenz größer ist als die kritische, ist der vorliegende Unterschied zwischen den beiden Standardwerten auf dem 5 Prozentniveau signifikant. Dies bedeutet, dass der Schüler im ersten Test tatsächlich ein besseres Ergebnis erzielt hat als im zweiten.


  4. weiter