zurück zu Übungsaufgaben stellen mit JavaScript
zurück zu  Testen und Lernen 
"Es kommt nicht nur darauf, in Erfahrung zu bringen, was man weiß,
sondern auch zu wissen, ob man weiß, was man weiß und was man nicht weiß."


 Üben, Testen und sich selbst einschätzen

Nachfolgendes Aufgabenangebot soll neben Üben und Testen eine möglichst genaue Einschätzung der eigenen Leistungsfähigkeit unterstützen. Der Lerner muss daher nicht nur die Aufgaben beantworten, sondern danach auch seine subjektive Lösungsgewissheit einschätzen. Neben ausführlichem, sachorientieren Feedback erhält er dann für jede Aufgabe die Rückmeldung zu seiner subjektiven Lösungssicherheit und kann diese mit dem objektiven Ergebnis konfrontieren. Ich stufe diese zusätzliche Rückmeldung vornehmlich als motivationales Feedback ein, das im wesentlichen Selfmonitoringprozesse anregen und schulen könnte.

Viele Experimente der Calibrationforschung bestätigen in den meisten Fällen ungerechtfertigte Überschätzungen der Testkandidaten.  D.h. Die subjektive Lösungswahrscheinlichkeit liegt über der objektiven. Die Lerner erleben sich kompetenter als sie es in Wirklichkeit sind und unterliegen somit einer Kompetenzillusion. Ob dies der Fall ist, hängt aber von mehreren Bedingungen, unter anderem sehr stark von der Aufgabenschwierigkeit, der individuellen Leistungsfähigkeit bzw. der erzielten Leistung und der Selbstwertrelevanz der Aufgaben ab. Ich habe z.B. gewaltige Unterschätzungen von objektiv leistungsfähigen Studenten unmittelbar vor einer Klausur festgestellt und somit die andere Seite der Fehleinschätzung gefunden.(siehe dazu: Leistungsabhängige Selbsteinschätzungen unmittelbar vor einer Klausur). Dort allerdings wurde als subjektive Schätzung die Erwartung des Klausurergebnisses erfasst und nicht die jeweilige Einschätzung jeder Aufgabe.

Wenngleich im praktischen Leben der Glaube an sich selbst die objektive Realität auch zu transzendieren imstande sein muss, so liegt man langfristig günstiger, wenn man sich selbst zutreffend einschätzt, es sei denn, man habe bereits eine Stellung oder einen Status erreicht, bei dem man seine Kompetenzillusionen konsequenzenlos ausleben kann."Too much confidence or too little confidence are problematic, but for different reasons. Perhaps the best strategy for maximizing both performance and pleasure is to strive for accurate self-assessments."(McGraw, Mellers, Ritow (2003). In etlichen Untersuchungen wurde herausgefunden, dass die Rückmeldungen zur Korrektheit der Aufgabenlösungen, etwa der Prozentsatz der korrekt gelösten Aufgaben häufig nicht ausreicht, um den Lernenden zu einer Revision seiner Leistungseinschätzung zu bewegen. Hier nun wird der Lernende ständig dazu angehalten, seine Leistungsprognose mit dem objektiven Ergebnis zu vergleichen, was natürlich auch tierisch auf den Geist gehen kann und deshalb nur dosiert bzw. bei bestimmten Lernenden eingesetzt werden sollte. Man erhofft sich durch dieses Training dem Kandidaten eine realistische oder zumindest leistungsfördernde Einschätzung seiner Leistungsfähigkeit vermitteln zu können.

Renner und Renner (2001) gelang es durch ein derartiges Training, die objektiven Leistungen zu steigern und eine anfängliche Überschätzung in eine Unterschätzung zu verwandeln. Die Autoren erachten Unterschätzungen für pädagogisch günstiger als Überschätzungen und zitieren in diesem Zusammenhang einen Studenten: "I like being underconfident, it makes me study more".

Nietfeld, J.,L. & Cao, L.(2004) ließen Studenten der Experimentalgruppe nach jeder Seminarsitzung unter anderem 3 Aufgaben bearbeiten und dabei zugleich die Lösungswahrscheinlichkeit für jede Aufgabe einschätzen. In 4 folgenden Seminartests waren ebenfalls Lösungswahrscheinlichkeiten einzuschätzen und die Testrückmeldung umfasste auch eine Bewertung der Genauigkeitsmaße. Ein wesentliches Ergebnis lautete, dass die EG durch die wöchentlichen Einschätzungen in den Seminartests deutlich genauere Einschätzungen vornahmen als eine Kontrollgruppe. Somit besteht eine gewisse Hoffnung, durch das Einüben von Selbsteinschätzungen diese näher an die objektiven Leistungen anzugleichen.


Testkonstruktion und neue Aufgaben
Die Aufgaben werden hier analog den sonstigen Geflogenheiten unter "Übungsaufgaben stellen mit JavaScript" konstruiert und orientieren sich im wesentlichen an der Seite: Aufgaben konstruieren zum Testen und Lernen., die bereits nur dem erfahrenen Aufgabenkonstrukteur empfohlen wurde. Vorliegende Seite wird unter anderem Namen abgespeichert, die Beispiele als Schablonen genutzt und neue Aufgaben nach dem bewährten Schema "Kopieren, Einfügen und Modifzieren" erstellt.

Es kommt lediglich das verdeckte Formular schaetz hinzu. Dort definiert der Aufgabenkonstrukteur diejenige Lösungswahrscheinlichkeit, welcher der Kandidat bei seiner subjektiven Einschätzung nicht unterschreiten darf.

Beispiel
<input type=hidden name=schaetz value =".25">

.25 bedeutet: Der Kandidat muss bei seiner Schätzung eine Lösungswahrscheinlichkeit zwischen .25 bis 1 angeben, die allerdings für den Lernenden als Prozentsatz formuliert ist. Bei einfachen Multiple-Choice-Aufgaben mit 4 Alternativen löst man durch zufälliges Ankreuzen ein Viertel aller Aufgaben. Eine Eingrenzung im Formular schätz soll verhindern, dass der Lerner eine niedrigere Schätzung als der Zufall angibt. In der Calibrationforschung werden derartige Restriktionen häufig eingesetzt und die Handhabung ist für den simplen MC-Aufgabentyp auch recht einfach.

Allerdings braucht man sich dann nicht zu wundern, dass ein sehr schwacher Lerner sich praktisch nur noch überschätzen kann. Auch Leute, die sich als ausgesprochene Pechvögel verstehen, kommen nicht auf ihre Kosten. Für den Aufgabentyp MC- mit mehreren zutreffenden Antworten ist es schwer, eine vernünftige Untergrenze anzugeben, da diese Aufgabe nach einem komplizierten Bewertungsschluessel ausgewertet wird. Beim Short-Answer-Aufgabentyp kann man gelegentlich die korrekte Lösung auch erraten und die zufällige Ratewahrscheinlichkeit liegt nur im Extremfall theoretisch nahe Null. Grundsätzlich erfordert die Festlegung der Untergrenzen hohe Sorgfalt und gezielte Überlegung. Insofern könnte eine Möglichkeit auch darin bestehen, die Grenzen bei allen Aufgaben auf 0 zu setzen und den Lerner vorher auf das Zufallsproblem aufmerksam zu machen. Wie sehr man von der angebotenen Restriktion Gebrauch macht, bleibt dem Aufgabenkonstrukteur überlassen und kann je nach Zielsetzung unterschiedlich sein.

Die notwendige Aufgabenanzahl zur Ermittlung des Gesamtergebnisses wurde hier auf 1 gesetzt. Im praktischen Einsatz muss im Skript der Seite der Wert der Variablen mindestaufgabenanzahl entsprechend erhöht werden, wenn man erreichen will, dass der Lerner eine bestimmte Mindestaufgabenanzahl bearbeitet.

Testauswertung
Nach der Beantwortung einer definierbaren Aufgabenanzahl  kann der Lerner sein Gesamtergebnis anfordern. Neben dem Prozentsatz der korrekten Lösungen erhält er zwei Angaben zur Genauigkeit seiner Schätzung, die für den Anfänger gar nicht so einfach zu durchschauen sind und möglicherweise einiger zusätzlicher Erklärungen bedürfen. Aus diesem Grunde wird ein zusätzliches Feedback in einem Alert-Fenster ausgegeben, welches in allgemein verständlicher Form eine Bewertung rückmeldet, wenngleich empirische Normen dafür ausstehen, die mitgeteilten Interpretationen nicht immer angemessen sind und gegebenenfalls geändert werden müssen. Beide Genauigkeitsmaße (Bias und Genauigkeit) sind der Literatur entlehnt, wurden für eigene Zwecke aber etwas modifiziert festgelegt. Sie berücksichtigen die Gewichtung der einzelnen Aufgaben.  D.h. höher gewichtete Aufgaben gehen stärker in die Genauigkeitsermittlung ein als gering gewichtete Aufgaben, weil sie höhere Punktzahlen nach sich ziehen. Formelmäßig lassen sich die Maße  - bei Gleichgewichtung aller Aufgaben - wie folgt darstellen::

i = 1 bis n : Aufgabe 1 bis n
% Schätzung= subjektive Einschätzung der Korrektheit in Prozent (0= sicher falsch; 100= sicher richtig)
% korrektes Ergebnis: (erreichte Punktzahl/mögliche Punktzahl)*100 %
Da die Aufgaben hier unterschiedlich gewichtet werden können, ist die angewandte Formel noch etwas komplizierter.

Bias und Genauigkeit können extrem voneinander abweichen, was man z.B. dann sehr deutlich sieht, wenn man die erste Short Answer Aufgabe korrekt beantwortet, aber die Lösungsgewissheit auf 0 % setzt und die zweite Short Answer Aufgabe falsch beantwortet, aber die korrekte Lösung mit 100 prozentiger Wahrscheinlichkeit antizipiert. Als Gesamtergebnis (für diese beiden Aufgaben) erzielt man dann einen Bias von 0 und eine Genauigkeit von 0 %. Die Rückmeldung im Alert-Fenster wäre in diesem Fall für die uninformierten Lerner maximal verwirrend.
Denn subjektive Schätzung und Prozentsatz der korrekten Lösungen wären dann exakt gleich, obwohl die Abweichungen zwischen objektivem Ergebnis und Schätzung maximal um 100 Prozent abweichen. Der Lerner liegt bei seiner Schätzung eben im Durchschnitt genau richtig, weiss aber überhaupt nicht, was er kann und was er nicht kann.

Mit wachsender Aufgabenanzahl werden derartige Inponderabilien aber immer unwahrscheinlicher. Die Genauigkeitsmaße sind daher nur bei hinreichender Aufgabenanzahl sinnvoll. Wegen der Komplexität der Begriffe sind die Maße vielleicht auch nur für Forschungszwecke nützlich. Der Lerner sollte sich mehr auf die Rückmeldungen zu den einzelnen Aufgaben konzentrieren.

Short Answer für Texte

Aufgabe 1

Von welchem Philosophen stammt der Satz: Ich weiß, dass ich nichts weiß ?



 
erzielte Punkte
  Aufgabe
% richtig
Deine Schätzung % richtig


Aufgabe 2
Wie heisst der Fachausdruck (englische Ausdruck) für Aufgabenstellungen, bei denen der Lerner nach einer falschen Antwort so oft die Aufgabe wiederholen kann, bis er sie korrekt beantwortet ?
 


 
erzielte Punkte
  Aufgabe
% richtig
Deine Schätzung % richtig


Short Answer Zahl

Aufgabe 3

Frau Wählerich sucht einen Mann, der schön (p=.20), intelligent (p=.25) und reich (p=.10) ist.
Unter der Annahme der Unabhängigkeit aller 3 Variablen:
Wieviele von 1000 Männern erfüllen die Suchkriterien von Frau Wählerich?
Männer. 

 
erzielte Punkte
  Aufgabe
% richtig
Deine Schätzung % richtig
Simple Multiple Choice
Aufgabe 4
Mit dem Multiple-Choice-Aufgabentyp
Aufgabe 5
Ein Lob für die erbrachte Leistung (z.B. in einer Klassenarbeit) stärkt die Motivation und den Selbstwert des Schülers am ehesten, wenn es orientiert ist an..


Multiple Choice mit mehreren korrekten Antworten.

Aufgabe 6

Markieren Sie alle Kanzler der Bundesrepublik Deutschland (bis zum 3.2.1997) !

1.) Stresemann
2.) Heus
3.) Adenauer
4.) Erhard
5.) Carstens
6.) Kiesinger
7.) Barzel
8.) Gerstenmaier
9.) Brandt
10.)Schmidt
11.)Kohl
12.)Lafontaine


 
erzielte Punkte
  Aufgabe
% richtig
Deine Schätzung % richtig


Aufgabe 7
Die Wirkung von Strafe zur Unterdrückung der unerwünschten Reaktion R wird gefördert, wenn die Strafe....
1)  vom Individuum als deutlich aversiv empfunden wird.
2)  langsam in ihrer Intensität erhöht wird
3)  nicht nach jeder Reaktion R folgt.
4)  durchsichtigen Regeln folgt: z.B. Klarstellung, was eine unerwünschte R ist.
5)  auf R folgt und zugleich erwünschte alternative Reaktionen aufgezeigt werden
6)  ohne jede Ausnahme zwingend auf R folgt.
7)  recht schnell in ihrer Intensität erhöht wird.
8)  spontan und für das Individuum gänzlich unerwartet erfolgt.
[4 Antworten sind richtig]

 
erzielte Punkte
  Aufgabe
% richtig
Deine Schätzung % richtig


Mehrfache simple Multiple Choice-Aufgaben
als Zuordnungsaufgabe

Aufgabe 8

Ordne die Städte den zutreffenden Kontinenten zu!
 
 
Städte
a
Afrika
b
Amerika
 c
Asien 
d
Europa
e
Australien
1.)
Nairobi
2.)
Kiew
3.)
Kalkutta
4.)
Chicago
5.)
Canberra
6.)
Seoul
7.)
Tunis
8.)
La Paz
9.)
Bagdad
10)
Saigon

 
erzielte Punkte
  Aufgabe
% richtig
Deine Schätzung % richtig
als
Alternativfragen

Aufgabe 9

 
 
Entscheide jeweils, ob die Aussagen zutreffen oder nicht
a
richtig
b
falsch
1.)
Fragen im Anschluss an einen Text erhöhen die Lernleistung nur, wenn der Lerner nach der Beantwortung die Richtigkeit am Text überprüfen kann
2.)
Fragen vor dem Lesen eines Textes haben kaum einen Lerneffekt. 
3.)
Lernvorteile eines Tests im Anschluss an einen Text beziehen sich überwiegend auf die erfragten Lehrziele im Test.
4.)
Die ausschließliche Rückmeldung "richtig oder falsch" hat kaum eine Lernwirkung.
5.)
Die Rückmeldung des korrekten Ergebnisses ist notwendiger Bestandteil eines lerneffektiven Feedbacks
6.)
Wenn man dem Lerner nach einem Fehler nicht direkt die korrekte Lösung vorgibt, sondern ihn auffordert, die Aufgabe erneut zu beantworten, dann führt dies in der Regel zu einem deutlich höheren Lernerfolg
7.)
Die Lernwirksamkeit des Feedback ergibt sich im wesentlichen dadurch, dass richtige Antworten verstärkt werden.
8.)
Fragen erhöhen die Lernleistung. Angemessenes Feedback im Anschluss an die Fragen erhöht die Lernleistung noch darüber hinaus.
9.)
Mehr bzw. ausführlichere Rückmeldung führt fast immer zu höherem Lernerfolg. 
10.)
Die Lernwirksamkeit des Feedbacks basiert im wesentlichen darauf, dass der Lerner seine Fehler korrigieren kann.

 
erzielte Punkte
  Aufgabe
% richtig
Deine Schätzung % richtig
Mehrfache Short Answer Aufgaben für Texte

Aufgabe 10

Wie heißen die Hauptstädte der Länder ?
 
Nr.
Länder
Hauptstädte
1. Deutschland
2. Frankreich
3. Italien
4. England
5. Ungarn
6. Österreich
7. Norwegen
8. Spanien
9. Dänemark
10. Polen

 
erzielte Punkte
  Aufgabe
% richtig
Deine Schätzung % richtig


Multishortanswer-Zahl
Aufgabe 11

Hinweis: Sie können statt Dezimalzahlen auch Brüche eingeben, z.B.:  0.333  oder 1/3
Nr.
Wie hoch ist die Wahrscheinlichkeit...
p
1. beim einmaligen Würfeln eine 6 zu würfeln
2. beim einmaligen Würfeln ein gerade Zahl zu würfeln
3. zweimal hintereinander eine 6 zu würfeln
4. im ersten Wurf eine gerade und im zweiten Wurf eine ungerade Zahl zu würfeln
5. dreimal hintereinander eine Zahl kleiner als 4 zu würfeln

 
erzielte Punkte
  Aufgabe
% richtig
Deine Schätzung % richtig

Auswertung der Ergebnisse

 
Lehrzielerreichung
Prozentsatz der korrekten Lösungen (=Objektives Gesamtergebnis)
Eigene Schätzung
geschätzter Prozentsatz der korrekten Lösungen (= Durchschnitt aus den 
Schätzungen der Erfolgswahrscheinlichkeiten über alle Aufgaben)
Bias
Tendenz der subjektiven Schätzung im Vergleich zum objektiven Ergebnis:
positiv = Überschätzung;  negativ = Unterschätzung
Genauigkeit
Präzision der Schätzung: Je größer der Wert, desto genauer Ihre Schätzung.
100 %= Sie wissen exakt, was sie wissen und nicht wissen.
0% = Sie wissen überhaupt nicht, was sie wissen und nicht wissen. bzw. Objektives Wissen und Ihre Schätzung korreliert -1.

Hinweis: Es kann durchaus vorkommen, dass Ihre eigene Schätzung sehr nahe bei der Lehrzielerreichung liegt (Bias nahe 0), sie aber schlecht differenzieren können zwischen dem, was sie wissen und dem was Sie nicht wissen. In diesem Fall läge ein niedriger Bias und eine niedrige Genauigkeit vor.

Ihre Schätzung stimmt umso eher mit dem objektiven Leistungsergebnis zusammen,



Literatur:
McGraw, A.P.,Mellers, B. A., Ritov, I. (2003)
    The Affective Costs of Overconfidence 
    www.wws.princeton.edu/pmcgraw/mcgraw.mellers.ritov.pdf [8.12.2003]
Nietfeld, J.,L. & Cao, L.(2004). The Effect of Distributed Monitoring Exercises and Feedback 
    on Performance and Monitoring Accuracy 
    Paper presented at the American Educational Research Association annual
    conference, San Diego, April, 2004.
    www4.ncsu.edu/~jlnietfe/AERA04Writeup.pdf [22.12.2004]
Renner, C. H. & Renner, M. J. (2001). But I Thought I Knew That Using Confidence Estimation 
    as a Debiasing Technique to Improve Classroom Performance. APPLIED COGNITIVE 
    PSYCHOLOGY. 15, 23-32

zurück zu Übungsaufgaben stellen mit JavaScript
created 28.1.2005; last update 22.6.2005; Bernhard Jacobs, b.jacobs@mx.uni-saarland.de