Üben, Testen und sich selbst einschätzen
Nachfolgendes Aufgabenangebot soll neben Üben und Testen eine möglichst genaue Einschätzung der eigenen Leistungsfähigkeit unterstützen. Der Lerner muss daher nicht nur die Aufgaben beantworten, sondern danach auch seine subjektive Lösungsgewissheit einschätzen. Neben ausführlichem, sachorientieren Feedback erhält er dann für jede Aufgabe die Rückmeldung zu seiner subjektiven Lösungssicherheit und kann diese mit dem objektiven Ergebnis konfrontieren. Ich stufe diese zusätzliche Rückmeldung vornehmlich als motivationales Feedback ein, das im wesentlichen Selfmonitoringprozesse anregen und schulen könnte.Testkonstruktion und neue AufgabenViele Experimente der Calibrationforschung bestätigen in den meisten Fällen ungerechtfertigte Überschätzungen der Testkandidaten. D.h. Die subjektive Lösungswahrscheinlichkeit liegt über der objektiven. Die Lerner erleben sich kompetenter als sie es in Wirklichkeit sind und unterliegen somit einer Kompetenzillusion. Ob dies der Fall ist, hängt aber von mehreren Bedingungen, unter anderem sehr stark von der Aufgabenschwierigkeit, der individuellen Leistungsfähigkeit bzw. der erzielten Leistung und der Selbstwertrelevanz der Aufgaben ab. Ich habe z.B. gewaltige Unterschätzungen von objektiv leistungsfähigen Studenten unmittelbar vor einer Klausur festgestellt und somit die andere Seite der Fehleinschätzung gefunden.(siehe dazu: Leistungsabhängige Selbsteinschätzungen unmittelbar vor einer Klausur). Dort allerdings wurde als subjektive Schätzung die Erwartung des Klausurergebnisses erfasst und nicht die jeweilige Einschätzung jeder Aufgabe.
Wenngleich im praktischen Leben der Glaube an sich selbst die objektive Realität auch zu transzendieren imstande sein muss, so liegt man langfristig günstiger, wenn man sich selbst zutreffend einschätzt, es sei denn, man habe bereits eine Stellung oder einen Status erreicht, bei dem man seine Kompetenzillusionen konsequenzenlos ausleben kann."Too much confidence or too little confidence are problematic, but for different reasons. Perhaps the best strategy for maximizing both performance and pleasure is to strive for accurate self-assessments."(McGraw, Mellers, Ritow (2003). In etlichen Untersuchungen wurde herausgefunden, dass die Rückmeldungen zur Korrektheit der Aufgabenlösungen, etwa der Prozentsatz der korrekt gelösten Aufgaben häufig nicht ausreicht, um den Lernenden zu einer Revision seiner Leistungseinschätzung zu bewegen. Hier nun wird der Lernende ständig dazu angehalten, seine Leistungsprognose mit dem objektiven Ergebnis zu vergleichen, was natürlich auch tierisch auf den Geist gehen kann und deshalb nur dosiert bzw. bei bestimmten Lernenden eingesetzt werden sollte. Man erhofft sich durch dieses Training dem Kandidaten eine realistische oder zumindest leistungsfördernde Einschätzung seiner Leistungsfähigkeit vermitteln zu können.
Renner und Renner (2001) gelang es durch ein derartiges Training, die objektiven Leistungen zu steigern und eine anfängliche Überschätzung in eine Unterschätzung zu verwandeln. Die Autoren erachten Unterschätzungen für pädagogisch günstiger als Überschätzungen und zitieren in diesem Zusammenhang einen Studenten: "I like being underconfident, it makes me study more".
Nietfeld, J.,L. & Cao, L.(2004) ließen Studenten der Experimentalgruppe nach jeder Seminarsitzung unter anderem 3 Aufgaben bearbeiten und dabei zugleich die Lösungswahrscheinlichkeit für jede Aufgabe einschätzen. In 4 folgenden Seminartests waren ebenfalls Lösungswahrscheinlichkeiten einzuschätzen und die Testrückmeldung umfasste auch eine Bewertung der Genauigkeitsmaße. Ein wesentliches Ergebnis lautete, dass die EG durch die wöchentlichen Einschätzungen in den Seminartests deutlich genauere Einschätzungen vornahmen als eine Kontrollgruppe. Somit besteht eine gewisse Hoffnung, durch das Einüben von Selbsteinschätzungen diese näher an die objektiven Leistungen anzugleichen.
Die Aufgaben werden hier analog den sonstigen Geflogenheiten unter "Übungsaufgaben stellen mit JavaScript" konstruiert und orientieren sich im wesentlichen an der Seite: Aufgaben konstruieren zum Testen und Lernen., die bereits nur dem erfahrenen Aufgabenkonstrukteur empfohlen wurde. Vorliegende Seite wird unter anderem Namen abgespeichert, die Beispiele als Schablonen genutzt und neue Aufgaben nach dem bewährten Schema "Kopieren, Einfügen und Modifzieren" erstellt.TestauswertungEs kommt lediglich das verdeckte Formular schaetz hinzu. Dort definiert der Aufgabenkonstrukteur diejenige Lösungswahrscheinlichkeit, welcher der Kandidat bei seiner subjektiven Einschätzung nicht unterschreiten darf.
Beispiel
<input type=hidden name=schaetz value =".25">.25 bedeutet: Der Kandidat muss bei seiner Schätzung eine Lösungswahrscheinlichkeit zwischen .25 bis 1 angeben, die allerdings für den Lernenden als Prozentsatz formuliert ist. Bei einfachen Multiple-Choice-Aufgaben mit 4 Alternativen löst man durch zufälliges Ankreuzen ein Viertel aller Aufgaben. Eine Eingrenzung im Formular schätz soll verhindern, dass der Lerner eine niedrigere Schätzung als der Zufall angibt. In der Calibrationforschung werden derartige Restriktionen häufig eingesetzt und die Handhabung ist für den simplen MC-Aufgabentyp auch recht einfach.
Allerdings braucht man sich dann nicht zu wundern, dass ein sehr schwacher Lerner sich praktisch nur noch überschätzen kann. Auch Leute, die sich als ausgesprochene Pechvögel verstehen, kommen nicht auf ihre Kosten. Für den Aufgabentyp MC- mit mehreren zutreffenden Antworten ist es schwer, eine vernünftige Untergrenze anzugeben, da diese Aufgabe nach einem komplizierten Bewertungsschluessel ausgewertet wird. Beim Short-Answer-Aufgabentyp kann man gelegentlich die korrekte Lösung auch erraten und die zufällige Ratewahrscheinlichkeit liegt nur im Extremfall theoretisch nahe Null. Grundsätzlich erfordert die Festlegung der Untergrenzen hohe Sorgfalt und gezielte Überlegung. Insofern könnte eine Möglichkeit auch darin bestehen, die Grenzen bei allen Aufgaben auf 0 zu setzen und den Lerner vorher auf das Zufallsproblem aufmerksam zu machen. Wie sehr man von der angebotenen Restriktion Gebrauch macht, bleibt dem Aufgabenkonstrukteur überlassen und kann je nach Zielsetzung unterschiedlich sein.
Die notwendige Aufgabenanzahl zur Ermittlung des Gesamtergebnisses wurde hier auf 1 gesetzt. Im praktischen Einsatz muss im Skript der Seite der Wert der Variablen mindestaufgabenanzahl entsprechend erhöht werden, wenn man erreichen will, dass der Lerner eine bestimmte Mindestaufgabenanzahl bearbeitet.
Nach der Beantwortung einer definierbaren Aufgabenanzahl kann der Lerner sein Gesamtergebnis anfordern. Neben dem Prozentsatz der korrekten Lösungen erhält er zwei Angaben zur Genauigkeit seiner Schätzung, die für den Anfänger gar nicht so einfach zu durchschauen sind und möglicherweise einiger zusätzlicher Erklärungen bedürfen. Aus diesem Grunde wird ein zusätzliches Feedback in einem Alert-Fenster ausgegeben, welches in allgemein verständlicher Form eine Bewertung rückmeldet, wenngleich empirische Normen dafür ausstehen, die mitgeteilten Interpretationen nicht immer angemessen sind und gegebenenfalls geändert werden müssen. Beide Genauigkeitsmaße (Bias und Genauigkeit) sind der Literatur entlehnt, wurden für eigene Zwecke aber etwas modifiziert festgelegt. Sie berücksichtigen die Gewichtung der einzelnen Aufgaben. D.h. höher gewichtete Aufgaben gehen stärker in die Genauigkeitsermittlung ein als gering gewichtete Aufgaben, weil sie höhere Punktzahlen nach sich ziehen.Short Answer für TexteFormelmäßig lassen sich die Maße - bei Gleichgewichtung aller Aufgaben - wie folgt darstellen::
- Bias bezieht sich auf die Differenz zwischen dem Durchschnitt der Lösungsschätzungen.und dem Durchschnitt der korrekten Lösungen. Dieses Maß erfasst die durchschnittliche Tendenz, sich selbst zu überschätzen (= positiver Bias) oder zu unterschätzen (=negativer Bias) und variiert zwischen -100% und 100% .
- Genauigkeit bezieht sich auf den Durchschnitt aus der Absolutdifferenz zwischen subjektiver Schätzung und objektivem Ergebnis über alle Aufgaben. Um sprachliche Fehldeutungen zu vermeiden, wurde das Maß so umgepolt, dass hohe Werte hoher Genauigkeit entsprechen: Je höher der Genauigkeitswert ist, umso zutreffender schätzt der Kandidat ein, was er weiß und was er nicht weiß. Genauigkeit kann zwischen 0% und 100% variieren.
i = 1 bis n : Aufgabe 1 bis n
% Schätzung= subjektive Einschätzung der Korrektheit in Prozent (0= sicher falsch; 100= sicher richtig)
% korrektes Ergebnis: (erreichte Punktzahl/mögliche Punktzahl)*100 %
Da die Aufgaben hier unterschiedlich gewichtet werden können, ist die angewandte Formel noch etwas komplizierter.Bias und Genauigkeit können extrem voneinander abweichen, was man z.B. dann sehr deutlich sieht, wenn man die erste Short Answer Aufgabe korrekt beantwortet, aber die Lösungsgewissheit auf 0 % setzt und die zweite Short Answer Aufgabe falsch beantwortet, aber die korrekte Lösung mit 100 prozentiger Wahrscheinlichkeit antizipiert. Als Gesamtergebnis (für diese beiden Aufgaben) erzielt man dann einen Bias von 0 und eine Genauigkeit von 0 %. Die Rückmeldung im Alert-Fenster wäre in diesem Fall für die uninformierten Lerner maximal verwirrend.
Denn subjektive Schätzung und Prozentsatz der korrekten Lösungen wären dann exakt gleich, obwohl die Abweichungen zwischen objektivem Ergebnis und Schätzung maximal um 100 Prozent abweichen. Der Lerner liegt bei seiner Schätzung eben im Durchschnitt genau richtig, weiss aber überhaupt nicht, was er kann und was er nicht kann.Mit wachsender Aufgabenanzahl werden derartige Inponderabilien aber immer unwahrscheinlicher. Die Genauigkeitsmaße sind daher nur bei hinreichender Aufgabenanzahl sinnvoll. Wegen der Komplexität der Begriffe sind die Maße vielleicht auch nur für Forschungszwecke nützlich. Der Lerner sollte sich mehr auf die Rückmeldungen zu den einzelnen Aufgaben konzentrieren.
Aufgabe 1
Aufgabe 2
erzielte Punkte Aufgabe% richtig Deine Schätzung % richtig
Aufgabe 3
Simple Multiple Choice
erzielte Punkte
|
||
Aufgabe
|
% richtig | |
Deine Schätzung | % richtig |
erzielte Punkte
|
||
Aufgabe
|
% richtig | |
Deine Schätzung | % richtig |
Aufgabe 6
Aufgabe 7
1) vom Individuum als deutlich aversiv empfunden wird.Mehrfache simple Multiple Choice-Aufgaben
2) langsam in ihrer Intensität erhöht wird
3) nicht nach jeder Reaktion R folgt.
4) durchsichtigen Regeln folgt: z.B. Klarstellung, was eine unerwünschte R ist.
5) auf R folgt und zugleich erwünschte alternative Reaktionen aufgezeigt werden
6) ohne jede Ausnahme zwingend auf R folgt.
7) recht schnell in ihrer Intensität erhöht wird.
8) spontan und für das Individuum gänzlich unerwartet erfolgt.
[4 Antworten sind richtig]
erzielte Punkte Aufgabe% richtig Deine Schätzung % richtig
Aufgabe 8
als
Städte a
Afrikab
Amerikac
Asiend
Europae
Australien1.) Nairobi 2.) Kiew 3.) Kalkutta 4.) Chicago 5.) Canberra 6.) Seoul 7.) Tunis 8.) La Paz 9.) Bagdad 10) Saigon
erzielte Punkte Aufgabe% richtig Deine Schätzung % richtig
Aufgabe 10
Multishortanswer-Zahl
Aufgabe 11
Hinweis: Sie können statt Dezimalzahlen auch Brüche eingeben, z.B.: 0.333 oder 1/3
Nr. Wie hoch ist die Wahrscheinlichkeit... 1. beim einmaligen Würfeln eine 6 zu würfeln 2. beim einmaligen Würfeln ein gerade Zahl zu würfeln 3. zweimal hintereinander eine 6 zu würfeln 4. im ersten Wurf eine gerade und im zweiten Wurf eine ungerade Zahl zu würfeln 5. dreimal hintereinander eine Zahl kleiner als 4 zu würfeln
erzielte Punkte Aufgabe% richtig Deine Schätzung % richtig
LehrzielerreichungProzentsatz der korrekten Lösungen (=Objektives Gesamtergebnis) Eigene Schätzunggeschätzter Prozentsatz der korrekten Lösungen (= Durchschnitt aus den
Schätzungen der Erfolgswahrscheinlichkeiten über alle Aufgaben) BiasTendenz der subjektiven Schätzung im Vergleich zum objektiven Ergebnis:
positiv = Überschätzung; negativ = Unterschätzung GenauigkeitPräzision der Schätzung: Je größer der Wert, desto genauer Ihre Schätzung.
100 %= Sie wissen exakt, was sie wissen und nicht wissen.
0% = Sie wissen überhaupt nicht, was sie wissen und nicht wissen. bzw. Objektives Wissen und Ihre Schätzung korreliert -1.Hinweis: Es kann durchaus vorkommen, dass Ihre eigene Schätzung sehr nahe bei der Lehrzielerreichung liegt (Bias nahe 0), sie aber schlecht differenzieren können zwischen dem, was sie wissen und dem was Sie nicht wissen. In diesem Fall läge ein niedriger Bias und eine niedrige Genauigkeit vor.
Ihre Schätzung stimmt umso eher mit dem objektiven Leistungsergebnis zusammen,
- je höher die Genauigkeit und
- je niedriger der Bias ausfällt.
McGraw, A.P.,Mellers, B. A., Ritov, I. (2003) The Affective Costs of Overconfidence www.wws.princeton.edu/pmcgraw/mcgraw.mellers.ritov.pdf [8.12.2003]Nietfeld, J.,L. & Cao, L.(2004). The Effect of Distributed Monitoring Exercises and Feedback on Performance and Monitoring Accuracy Paper presented at the American Educational Research Association annual conference, San Diego, April, 2004. www4.ncsu.edu/~jlnietfe/AERA04Writeup.pdf [22.12.2004]Renner, C. H. & Renner, M. J. (2001). But I Thought I Knew That Using Confidence Estimation as a Debiasing Technique to Improve Classroom Performance. APPLIED COGNITIVE PSYCHOLOGY. 15, 23-32