Gabriele Beckmann Jan 29, 2012:

Fortsetzung Daher schlägt Frary (1989) vor, alle richtig klassifizierten Antwortmöglichkeiten zu zählen. Dies bedeutet, dass es Teilpunkte für jede Frage gibt und somit auch ’Halbwissen’ belohnt wird.
Person 1 hat beispielsweise alle drei richtigen Antwortmöglichkeiten und keine falsche Antwortmöglichkeit markiert und bekommt somit bei beiden Auswertungsschemen fünf Punkte. Person 2 hat nur zwei der drei richtigen Antworten markiert und bekommt beim Auswertungsschema ’Alles oder Nichts’ null Punkte; bei der Bewertung ’Teilpunkte’ bekommt die Person allerdings vier Punkte, da zwei richtige Antworten markiert wurden und die beiden falschen Antworten nicht markiert wurden, d.h. es wurde nur eine der fünf möglichen Antworten falsch beantwortet.
http://epub.wu.ac.at/2910/1/Report103.pdf

Gabriele Beckmann Jan 29, 2012:

Die zwei Methoden Ich glaube, dass es bei den zwei angegebenen Methoden um Folgendes geht:
Der Datensatz umfasst 31 Multiple-Choice-Fragen mit jeweils fünf Antwortmöglichkeiten, wobei jeweils eine oder mehrere richtig sein können. Der Fragen-Typ mit mehreren richtigen Antworten
wird in der Literatur ’Multiple Correct Options’ genannt und wurde 1953 von Dressel & Schmidt eingeführt. Der Vorteil dieser Fragen liegt darin, dass einerseits das Erraten der richtigen Lösung
verringert wird. Andererseits besteht auch die Möglichkeit Teilwissen zu honorieren (Ben-Simon et al., 1997).
Zur Auswertung dieser ’Multiple Correct Options’-Fragen stehen mehrere Auswertungsschemen
zur Verfügung. Die einfachste und gebräuchlichste ist die sogenannte ’Number of Rights’ (NR) oder ’Number correct’ (NC) Regel. Bei diesem Auswertungsschema bekommt man nur Punkte, wenn die Frage ganz richtig beantwortet wurde. Dieses ’Alles oder Nichts’-Auswertungsschema
ist insbesondere für nicht so begabte Studierende von Nachteil (Reid, 1976), da es keine Punkte für teilweise richtig gelöste Fragen gibt (Ben-Simon et al., 1997; Bereby-Meyer et al., 2002). ...

Werner Walther Jan 28, 2012:

Fallstudie dazu: Nehmen wir einmal an, die Hälfte aller Menschen wären Frauen und die andere Hälfte wären Männer, und die Hälfte der Menschen hätte blonde Haare und die Hälfte der Menschen hätte schwarze Haare.

Jetzt stellen wir die Frage, wieviel % der Menschen in Afrika Frauen wären und wieviel der Menschen in Afrika blonde Haare hätten.

Wenn wir GARNICHTS wissen, raten wir:
- 50% Frauen, 50% Männer ABER wir raten auch:
- 50% blond, 50% schwarzhaarig.

Jetzt kommt 'taking in acount some partial knowledge by apportioning credit for beyond chance success levels', und

unsere Antwort 'beyond chance success level' (= über dem Niveau von Antworten, die ausschließlich geraten werden) lautet:

Männer / Frauen ca. 50:50 dürfte o.k. sein, aber (Teilwissen)
blond/schwarzhaarig in Afrika bestimmt nicht 50:50, vielleicht 3:97 oder so ähnlich.

Werner Walther Jan 28, 2012:

@gabili als Fragestellerin
Das Wichtige an dieser Passage ist m.E. 'beyond' aus 'beyond chance success levels'. Dort versucht man den s.g. Bias (eine Abweichung) zu erläutern, der in Teilwissen der Probanden begründet ist.

Ich verstehe das so:
Bei jemandem, der keine Kenntnisse hat, ist eine Gleichverteilung (Raten) gegeben.
Jemand der Teilkenntnisse hat (schon mal etwas von der Sache gehört hat) tendiert dazu, diese Teilkenntnisse in die Antworten eingehen zu lassen, auch wenn er es nicht genau weiß. Je nachdem, wie gründlich diese Teilkenntnisse sind, wird die tatsächliche Antwortwahrscheinlichkeit die mathematische Gleichverteilung (in Gabrieles Beispiel 1/5 bzw. 20%) verletzen.

Wenn es also um den ganzen Satz ginge, würde ich wie folgt formulieren:
"Die zweite Methode berücksichtigt Zu- oder Abschläge auf gleichverteilte Ratewahrscheinlichkeiten, die durch Teilwissen (oder partielles Wissen) der Probanden, das die Antworten beeinflusst, begründet sind."

Ich weiß nicht, ob das jetzt nützlich oder überflüssig ist. Mich hat aber Deine Fragestellung ein bisschen irritiert, ich hoffe es hilft weiter, Viele Grüße und schönes WE.