Psychologie Forum Wien

Ich finde keinen besseren Platz bzw. habe ich an einem anderen Platz keine Antwort bekommen (ich wollte nicht böswillig doppelt posten, dachte jedoch an dieser stelle mehr chancen auf antwort zu haben).

da ich in den unzähligen statistik-stunden sowohl über die klassische als auch die probabilistische TT gehört habe, beide aber nie in eine praktikable Verbindung gebracht wurden, stelle ich mir nun in der praxis die frage, ob der kombinierte Einsatz beider TT möglich/sinnvoll ist.
Ich habe versucht einige Testgütekrieterien für meine daten (aus einem leistungstest; rekodierte Items nach richtig/falsch=1/0, alle einer skala zugehörig) zu berechnen.
ich habe aus der klassischen testtheorie also (u.a.) eine lösungswahrscheinlichkeit und cronbachs alpha.
aus der PT (berechnet mittels Software "R" und LRT + Wald Statistik) habe ich Chi-Quadrat und p-values.
Jetzt beschäftigen mich mehrere Fragen:
- Items, die in der KTT gute Reliabilitäten haben, haben in der PT nicht unbedingt hohe (also nicht signifikante) p-values und umgekehrt. Ist ein solcher Vergleich zulässig? Sollte es hier nicht mehr Übereinstimmung geben?
- weiters habe ich auch 2 Testtermine. trotz gleicher Bedingungen schwanken die p-values zwischen diesen beiden Gruppen enorm. Und sollten nicht gerade die p-values stabil sein, zumal Versuchspersonen unabhängig?

ich freue mich über anregungen :)!

Die beiden Testtheorien haben komplett andere Zugänge. Insofern müssen sie nicht übereinstimmen. Ich vermute, die kryptische Angabe: "Ich habe signifikante p-values" bezieht sich auf die Modellgeltungskontrollen. Sprich, es gibt Items die den Anforderungen der MTT nicht entsprechen.

Ich bin mir ehrlich gesagt nicht im Klaren, wie ich Anregungen geben kann. Ich persönlich würde mich an der PTT orientieren, da die meiner Meinung nach die weitaus bessere Fundierung hat und der KTT in vielen Punkten überlegen ist

MfG

MW

Danke für die Antwort.
Bestimmt sollte ich mich noch genauer mit den Möglichkeiten der PTT beschäftigen. Ich bin hierzu auch auf der Suche nach einem guten Buch (Andy Field und sein Stil waren eine gute Unterstützung für mich, jedoch komm ich auch mit "ernsthafteren" Büchern klar). Für Tipps hierzu wäre ich sehr dankbar.
Zu meiner AUssage mit den signifikanten p-Werten: Ich habe verschiedene Skalen auf homogenität nach Rasch untersucht und dabei schien mir, dass die Skala (bzw. die Items dieser Skala) bzw. die damit erfasste Fähigkeit unterschiedlich gut zu diesem Modell passen. Bzw. (richtiger) die unterschiedlichen Modelle verschieden gut zu den erfassten Fähigkeiten. Homogenere (z.B. Schlussfolgerndes Denken erfasst mittels Matrizentests) lieferten bei mir also "schönere" Item- und Skalenkennwerte mittels PTT. Heterogene Skalen passen nicht gut zu dem Modell nach Rasch, was aber nicht unbedingt etwas über die Itemgüte, sondern eher über das zugrundeliegende Skalenkonstrukt an sich aussagt. Das finde ich verwirrend und weiß nicht genau, wie ich unterscheiden kann zwischen dem EInfluss (mehr oder weniger homogener) Fähigkeiten und Itemgüte.

Dass Ergebnis, dass heterogene Skalen nicht gut ur PTT passen ist alles anedre als überraschend da viele Modelle der IRT von eindimensionalen Items ausgehen. Bücher zum Rasch Modell (das allerdings nur ein Bereich der IRT ist) gibt es zahlreiche. Einfach mal googeln. Meist kann man auch ein oder zwei Kapitel online einsehen, um sich anzusehen wie man damit zurecht kommt

MfG

MW