INFORMATION

Liebe ForumsbesucherIn!

Mit dem 07.07.2017 schließt das Psychoforum seine Pforten.

Die geringe Nutzaktivität rechtfertigt weder weiteren administrativen noch finanziellen Aufwand (Serverkosten). Wir bedanken uns sehr herzlich bei den vorherigen Generationen von Admins und Moderatoren, die dieses Forum geschaffen, aufgebaut und gepflegt haben.

Wir danken dem BöP für jahrelanges Sponsoring. Last but not least gilt unser Dank allen Nutzerinnen und Nutzern der letzten Jahre.

Das Forum wechselt ab 07.07.2017 in einen read-only Modus, um bis spätestens zum Start des Wintersemesters 17/18 offline zu gehen. Danach ist ein Zugriff auf Accounts und Inhalte nicht mehr möglich.

Falls ihr Themen für euch archivieren wollt, ist das kein Problem. Wir unterstützen euch gerne, falls es Fragen geben sollte.

Kontakt: admin@psychoforum.at

Paralleltest oder Testhalbierung?

Fragen und Antworten zur Statistik I und II, Methodenlehre und Testtheorie

Moderator: Methodik-Team

Paralleltest oder Testhalbierung?

Beitragvon amberx » 12. April 2011, 17:55

Für meine Diplomarbeit verwende ich einen Matrizentest in zwei Varianten mit Speed-Komponente und einer Variante ohne Speed Komponente. Um zu sehen, wie sich "Speed" nun auswirkt, sollte ich aber bei den Versionen mit Zeitbeschränkung die Intelligenz mit einer Parallelversion des Tests (also nur Power) erheben.

Meine Frage:
Wie erstellt man eine Parallelversion? (Die Kontruktionsregeln des verwendeten Tests hab ich ganz genau, auch die Verteilungen etc, das steht alles in der damaligen DA) Setze ich mich einfach hin und überlege mir was oder machen das Programme? Nachdem es sich um einen Matrizentest mit ganz klaren Regeln handelt, sollte eine Parallelversion ja machbar sein, oder?

Ist es nicht weniger aufwändig, den Test mittels Testhalbierungsmethode "entzwei zu teilen" und diese 2 Hälften als 2 Tests vorzugeben?
Ändert sich etwas am Rasch-Modell, wenn ich den Test halbiere? Eigentlich nicht oder? Wenns vorher Rasch-konform war, sollte es das nachher ja auch noch sein!?

Momentan tendiere ich nämlich eher zu dieser Variante, weil abgesehen von der Entwicklung der Parallelitems müsste den Paralleltest jemand programmieren.
Was meint ihr dazu?
Benutzeravatar
amberx

 
 
Beiträge: 527
Registriert: 10. September 2007, 21:40

Re: Paralleltest oder Testhalbierung?

Beitragvon marioo25 » 14. April 2011, 12:33

Wenn du einen Paralleltest selbst anhand der Itemkonstruktionsregeln erstellen würdest, dann müsstest du diesen auf RM-Konformität überprüfen.

Daher wäre es eher zielführend, wenn du den bestehenden Test in zwei Paralleltests aufteilst. Da dieser ja bereits RM-konform ist, ist auch jedes Subset an Items das du heranziehst ebenfalls RM-konform (beim tailored testing passiert ja im Prinzip das selbe, es werden aus einem großen Itempool verschiedene Items in Abhängigkeit von der Testperson vorgegeben).

Bei deiner DA könnte man auch den komplett identen Test einer Subpopulation in der Power und der anderen in einer Speed-Power Bedingung (quasi zwei veschiedene Vorgabemodi) vorgeben. Dann den Test auf RM-Konformität überprüfen mit dem Teilungskriterium Vorgabemodus. Wenn der anschließende ALR (Anderson Likelihood Quotiententest) nicht sign. wäre, dann hätte die Speedbedingung keinen Einfluss auf die Eindimensionalität des Konstruktes. (nur mal ein Denkanstoß für eine alternative Vorgehensweise)
"Ich bin ein Gegner der Religion. Sie lehrt uns damit zufrieden zu sein, dass wir die Welt nicht verstehen!" (Richard Dawkins, 2008)
marioo25

 
 
Beiträge: 897
Registriert: 6. Oktober 2004, 22:35

Re: Paralleltest oder Testhalbierung?

Beitragvon amberx (nicht eingeloggt) » 14. April 2011, 16:19

marioo25 hat am 14.04.2011 um 12:33:09 geschrieben:Bei deiner DA könnte man auch den komplett identen Test einer Subpopulation in der Power und der anderen in einer Speed-Power Bedingung (quasi zwei veschiedene Vorgabemodi) vorgeben. Dann den Test auf RM-Konformität überprüfen mit dem Teilungskriterium Vorgabemodus. Wenn der anschließende ALR (Anderson Likelihood Quotiententest) nicht sign. wäre, dann hätte die Speedbedingung keinen Einfluss auf die Eindimensionalität des Konstruktes. (nur mal ein Denkanstoß für eine alternative Vorgehensweise)


Die Idee gefällt mir auch gleich sehr viel besser! Ich muss nämlich meinen Tpn einen Objektiven Persönlichkeitstest, 2 FB (gekürzt) sowie die Matrizentests (2 Stück, Parallel oder halbiert) vorgeben.. Da es bei meiner DA auch um die Erhebung von Leistungsmotivation geht und wie sich diese auswirkt, sehe ich hier ein Problem.. kein Mensch macht gerne 2 Matrizentests hintereinander, dh die Motivation wird vermutlich ziemlich absinken ;) Daher war mir Teilen grundsätzlich sympathischer, aber wer programmiert mir den Test dann wieder in die 2 Hälften.. Fragen über Fragen.

Ich werde mich mal mit deiner Idee auseinandersetzen, wäre sicher ökonomischer (und für meine Tpn zumutbarer!)
amberx (nicht eingeloggt)
 

Re: Paralleltest oder Testhalbierung?

Beitragvon amberx (nicht eingeloggt) » 14. April 2011, 16:32

Haha ich revidiere meine vorige Aussage.
Mein DA Thema ist, ob verschiedene Arbeitshaltungen Testpersonen bei Vorgabe von Speed an Power benachteiligen.
Daher gebe ich den AHA vor (um Leistungsmotivation, Frustrationstoleranz und Ref/Imp zu erheben) und zusätzlich die FB, um das ganze multimodal abzusichern.
Dann erhebe ich mit einem Power Matrizentest (evlt. WMT) das logisch Schlussfolgernde Denken.. und anschließend nocheinmal mit einem Matrizentest (RM konform) unter verschiedenen Speed Bedingungen (pro Item, pro Subtest).

Und dann schau ich irgendwie, wie sich die Arbeitshaltungen (zBsp eben Übermotivation etc.) auf die Leistung bei Speed ausgewirkt hat.
Ursprünglich wollte ich eben 2x den gleichen Test vorgeben (entweder in einer Parallelversion oder halbiert), aber meine Betreuerin meinte auch, ich könnte die Intelligenz unter Power auch mit dem WMT erheben. Ja, nur mach ich mir jetzt Sorgen, weil das für die Tpn ja ziemlich unzumutbar ist, oder? Bzw. auch die Motivation nicht stabil bleiben wird.

Tut mir Leid, ich fange gerade erst an und drum sind das noch ganz viele Ideen mit bestimmt viel Schwachsinn..
amberx (nicht eingeloggt)
 

Re: Paralleltest oder Testhalbierung?

Beitragvon marioo25 » 14. April 2011, 16:44

ok, bei dir gehst nicht wirklich um Speed-Power und RM-Konformität, sondern der Einfluss der Leistungsmot. usw. auf die Ergebnisse im Leistungstest sind relevant.

Hmm, naja, wenn du das alles erheben willst, dann wird die ganze Testbatterie schon eine gewisse Zeit in Anspruch nehmen. Wenns wirklich zu lange dauert, besteht tatsächlich Zweifel, ob die Motivation bis zum Ende aufrechterhalten bleibt.
Aber vielleicht wärs wirklich mal eine gute Idee sich mal genauer mit der Thematik auseinander zu setzen.
"Ich bin ein Gegner der Religion. Sie lehrt uns damit zufrieden zu sein, dass wir die Welt nicht verstehen!" (Richard Dawkins, 2008)
marioo25

 
 
Beiträge: 897
Registriert: 6. Oktober 2004, 22:35

Re: Paralleltest oder Testhalbierung?

Beitragvon amberx » 14. April 2011, 16:59

Ja, werd ich machen..
Tut mir Leid, ich war vorhin etwas verplant, weil ich noch in der Arbeit war.

Ich tendiere nun doch eher wieder zur Testhalbierung, weil ich jetzt auch die Itemschwierigkeiten des RM konformen Tests bekommen habe.
Dh das könnte man so aufteilen, dass die beiden Hälften in etwa gleich sind.
Benutzeravatar
amberx

 
 
Beiträge: 527
Registriert: 10. September 2007, 21:40

Re: Paralleltest oder Testhalbierung?

Beitragvon marioo25 » 14. April 2011, 17:07

ja, das geht auf jeden Fall.
"Ich bin ein Gegner der Religion. Sie lehrt uns damit zufrieden zu sein, dass wir die Welt nicht verstehen!" (Richard Dawkins, 2008)
marioo25

 
 
Beiträge: 897
Registriert: 6. Oktober 2004, 22:35

Re: Paralleltest oder Testhalbierung?

Beitragvon amberx » 18. April 2011, 14:09

So.. der Test wird sehr wahrscheinlich gesplittet. Überlegung der Betreuerin war jetzt, ihn nicht umprogrammieren zu lassen, sondern die Testteile in einer Powerpoint vorzugeben (da kann man dann auch die Zeitkomponente ganz einfach einfügen). Ich frage mich nur, wie das dann mit der Auswertung funktioniert. Ich habe jetzt eine Tabelle mit den 20 Items, Fähigkeitsparameter und Prozentrang. Wie wird diese quasi in 2 Normtabellen aufgeteilt?
Du hast ja gesagt,dass die Verrechnung ja dennoch möglich ist, weil RM konform..

Tut mir Leid, dass ich dazu so viele Fragen habe, aber ich finde nicht wirklich Literatur dazu WIE Testhalbierungen vorgenommen werden.
Benutzeravatar
amberx

 
 
Beiträge: 527
Registriert: 10. September 2007, 21:40

Re: Paralleltest oder Testhalbierung?

Beitragvon marioo25 » 19. April 2011, 08:52

Also die PR benötigst du ohnehin nicht, mit denen kannst du nicht weiterrechnen.

An sich kann man die Rohscores in Fähigkeitsparameter transformieren. Deine Tabelle bezieht sich aber auf die Bearbeitung aller 20 Items. Dh wenn deine Personen jetzt jeweils nur 10 Items bekommen, kannst du nicht einfach diese Fähigkeitsparameter verwenden, weil es ja einen Unterschied macht ob die TP jetzt zB 8 Items von den ersten 10 oder 8 Items von den letzten 10 gelöst hat.

Beim adaptiven Test übernimmt die Transformation ja der Computer, was sehr praktisch ist. Händisch wird das eher nicht funktionieren.

Also was tun?
-Da du ja auch die Itemschwierigkeiten hast, könntest du versuchen die beiden Testteile zu parallelisieren, indem du Items mit "identen" Schwierigkeiten je einem der beiden Tests zuweist. So hättest du dann ungefähr gleich schwierige Tests, somit könnte man dann eigentlich mit dem Rohscore weiterrechnen. Aber du hast vermutlich kaum Items mit identen Schwierigkeiten.

-Oder du könntest die neuen Fähigkeitsparameter einfach empirisch ermitteln. Dh du würdest mit deinen Daten dann selbst ein RM berechnen und dir die Fähigkeitsparameter pro Person ausgeben lassen. Wäre eigentlich die präzisere Methode, welche ich favorisieren würde.
"Ich bin ein Gegner der Religion. Sie lehrt uns damit zufrieden zu sein, dass wir die Welt nicht verstehen!" (Richard Dawkins, 2008)
marioo25

 
 
Beiträge: 897
Registriert: 6. Oktober 2004, 22:35

Re: Paralleltest oder Testhalbierung?

Beitragvon amberx » 19. April 2011, 11:11

Ja, genau das hab ich mir auch gedacht.
Gleich schwierige Items gibt es zwar in dem Test ein paar, aber so ganz ident wird sich das nicht ausgehen.
Daher tendiere ich auch zu letzterer Option. Das heißt ich mache alle Testungen mit meinen 2 Testteilen, hab dann viele viele Rohwerte und berechne dann ein RM um für alle Tpn Fähigkeitsparameter zu bekommen?
Benutzeravatar
amberx

 
 
Beiträge: 527
Registriert: 10. September 2007, 21:40

Re: Paralleltest oder Testhalbierung?

Beitragvon marioo25 » 19. April 2011, 11:13

amberx hat am 19.04.2011 um 11:11:56 geschrieben:Ja, genau das hab ich mir auch gedacht.
Gleich schwierige Items gibt es zwar in dem Test ein paar, aber so ganz ident wird sich das nicht ausgehen.
Daher tendiere ich auch zu letzterer Option. Das heißt ich mache alle Testungen mit meinen 2 Testteilen, hab dann viele viele Rohwerte und berechne dann ein RM um für alle Tpn Fähigkeitsparameter zu bekommen?


Ja, so würd ich es zumindest machen.
"Ich bin ein Gegner der Religion. Sie lehrt uns damit zufrieden zu sein, dass wir die Welt nicht verstehen!" (Richard Dawkins, 2008)
marioo25

 
 
Beiträge: 897
Registriert: 6. Oktober 2004, 22:35

Re: Paralleltest oder Testhalbierung?

Beitragvon amberx » 19. April 2011, 11:21

Gut, aber dann für jeden meiner beiden Testteile ein RM berechnen oder?
Ja, sonst krieg ich ja wieder nicht die Fähigkeitsparameter für je 10 Items raus..
Benutzeravatar
amberx

 
 
Beiträge: 527
Registriert: 10. September 2007, 21:40

Re: Paralleltest oder Testhalbierung?

Beitragvon marioo25 » 19. April 2011, 11:40

Naja, an sich könnte man auch für alle Items gleichzeitig das Modell berechnen. Der Fähigkeitsparameter wird dir ja ohnehin für jede Person individuell ausgegeben und anhand des Antwortvektors berechnet, unabhängig davon wieviele Items überhaupt ins Modell aufgenommen werden.

Aber da du deine zwei "Paralleltests" ja eigentlich zwei verschiedene Versuchsbedinungen darstellen (Power vs. Speed-Power) könnte es sein, dass wenn du mit allen Items ein Modell rechnest, dieses signifikant wird (dh kein RM angenommen werden kann).

Daher würde ich für die beiden Teiltest separate Modelle berechnen.
"Ich bin ein Gegner der Religion. Sie lehrt uns damit zufrieden zu sein, dass wir die Welt nicht verstehen!" (Richard Dawkins, 2008)
marioo25

 
 
Beiträge: 897
Registriert: 6. Oktober 2004, 22:35

Re: Paralleltest oder Testhalbierung?

Beitragvon amberx » 19. April 2011, 12:41

Ich versuch grad, den Test zu teilen und mein Kopf explodiert gleich.. bislang klappt das noch nicht so ganz, dass die Items parallelisiert verteilt werden..
Im Prinzip müssen die Teile ja nicht gleich viele Items enthalten oder? Weil ja sowieso ein Fähigkeitsparameter berechnet wird..
Also lieber 8 und 12 Items statt 10/10 und dafür sind die Schwierigkeiten der beiden Testteile gleich oder?
Benutzeravatar
amberx

 
 
Beiträge: 527
Registriert: 10. September 2007, 21:40

Re: Paralleltest oder Testhalbierung?

Beitragvon marioo25 » 20. April 2011, 12:04

naja, an sich wäre es glaub ich besser die Aufteilung 10/10 zu gestalten.

Aber solche Details solltest du lieber mit der Betreuung abklären. Du kannst ja dein Argument für 8/12 anführen und mal schauen was die Rückmeldung ist.
"Ich bin ein Gegner der Religion. Sie lehrt uns damit zufrieden zu sein, dass wir die Welt nicht verstehen!" (Richard Dawkins, 2008)
marioo25

 
 
Beiträge: 897
Registriert: 6. Oktober 2004, 22:35

Re: Paralleltest oder Testhalbierung?

Beitragvon amberx » 20. April 2011, 22:39

Ich hab ihr gestern noch eine eMail geschrieben. Mal sehen, was kommt.
Danke für deine Unterstützung!
Leider finde ich wie gesagt, dazu nicht wirklich Literatur, sonst würde ich mich selbst einlesen.
Benutzeravatar
amberx

 
 
Beiträge: 527
Registriert: 10. September 2007, 21:40


Zurück zu Methodiktutorium - Psychologie Forum



 


  • Ähnliche Themen
    Antworten
    Zugriffe
    Letzter Beitrag

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron