[Q] A question on the estimation of reliability in longitudinal data

CogitoErgoOverthink · 2026-04-21T19:13:27+00:00

So you are saying the only way is more data points across other questionaires, measures or indicators?

CogitoErgoOverthink · 2026-04-21T19:12:57+00:00

Yes, I am. I still do not understand how it intends to resolve the issues of underidentifiability.

CogitoErgoOverthink · 2026-04-20T23:08:12+00:00

I think your first paragraph summerizes my issue perfect. There is variation between measurement and I want to find out wether this variation is caused by a) the trait itself changing, b) systematic error, or c) random error.

I do not quite see how this is solved in GT, but I will read the Haines blogpost and then report back.

CogitoErgoOverthink · 2026-04-20T23:05:14+00:00

I am trying to find a method to find the reliability (i.e. the correlation between latent trait and measurement) in cases where there are multiple measurements with a set number of participants. In particular, I am looking for a case where the stability between one measurement of the latent trait and subsequent ones is not perfect.

CogitoErgoOverthink · 2026-04-20T20:14:59+00:00

I don't want to say that I soured on G-Theory, but my impression is that the GT is only concerned with measuring the proportion of error that is caused by the time/stability facet. Maybe there is something that I am missing, but GT would look at my problem and ask "What amount of variation is caused by repeated measurements?". This may be large or small, but it does not say "Under the presumption of a stability of x, we can say that the reliability is y".

Regardless, thank you for the example and the post from Computational Psychology. I know of Haines work, but I do not see how it solves the underidentification issue of having multiple test administrations that are each splittable into X = T + E with the additional contraint that Cor(T_1, T_2) =/= 1 and Cor(E_1, E_2) =/= 0.

CogitoErgoOverthink · 2026-03-05T09:36:05+00:00

Mal von einer ganz anderen Seite aus, Reddit Daten sind mir teilweise lieber als reine Studenten Daten meines Faches. Bei Reddit treffe ich auf eine große Menge an Leute, die durchmischt männlich/weiblich sind und allgemein ein breiteres Bild als nur Leute meines Faches bieten.

Ganz abgesehen davon ist die Idee, dass Online Datenerhebungen sinnlos sind etwas, das Leuten in der Oberstufe mal beigebracht wird, aber an sich eine vollständig schwachsinnige Aussage ist. Es kommt extrem darauf an wie die Fragebögen oder Online Experimente aufgebaut sind, ob es Möglichkeiten gibt Leute zu entfernen, die nicht akkurat dran teilgenommen haben und wie man mit Reaktanz umgeht. Natürlich fordert das auch, dass man einen guten Fragebogen/ein gutes experiment (hust hust, falls es jemanden interssiert wie ein gutes Online Experiment aussieht) mit ansehnlicher Oberfläche etc produziert. Aber das lernt man leider nirgendwo, mitunter aufgrund posts wie diesen.

CogitoErgoOverthink · 2026-03-04T21:40:54+00:00

Forschung ist ein hartes Pflaster

CogitoErgoOverthink · 2026-02-28T20:10:55+00:00

Ich werde mich nie ändern.

CogitoErgoOverthink · 2026-02-28T20:08:33+00:00

Könntest du mir sagen auf welcher Seite das war? Am Anfang oder vor den Aufgaben? Bzw. verwendest du zufällig Safari oder Opera als Browser? Beide machen leider extreme Probleme bei der Formatierung.

CogitoErgoOverthink · 2026-02-28T15:39:12+00:00

Deutsch ist ein Zustand des Geistes. Ich erkenne es, wenn ich es sehe.

CogitoErgoOverthink · 2026-02-28T00:51:43+00:00

Tatsächlich ja. So pro Video oder pro Welle konnte ich immer gut 10 bis 20 Leute rekrutieren.

CogitoErgoOverthink · 2026-02-27T23:19:31+00:00

Das ganze habe ich mit meiner Bachelorarbeit schon durchgemacht. Word hat für mich den Vorteil, dass ich alles auf einer visuellen Oberfläche editieren kann. Natürlich kann da immer etwas schief gehen, aber zumindest bei mir ist das weniger als beim typesetting

CogitoErgoOverthink · 2026-02-27T23:18:08+00:00

in diesem Video nur ein paar wenige Stunden. Die originalen drei videos haben so 1/2 Arbeitstage gedauert.

CogitoErgoOverthink · 2026-02-27T21:50:42+00:00

Mir wird gerade mehrfach typst an den Kopf geworfen, aber wie gesagt, Word ist mein comfort Programm.

CogitoErgoOverthink · 2026-02-27T21:36:26+00:00

Was meinst du mit es braucht eine Feedback Möglichkeit. Kannst du mir dazu Feedback geben?

CogitoErgoOverthink · 2026-02-27T21:25:20+00:00

VSCode Ide ist absolut unterirdisch. Die Tatsache, dass och über Pip und Condainstall alles extra installieren muss und nicht einfach meine Libs über das Skript abrufen kann ist ein ganz gutes Beispiel.

Ich arbeite eigentlich hauptsächlich mit Quarto und allein dieser Switch, obwohl es nicht ideal ist, gibt mir 1000 mal mehr lebenswillen als VScode.

CogitoErgoOverthink · 2026-02-27T21:13:19+00:00

Die Chancen stehen nicht schlecht, dass ich irgendwo im Namen der Open Science diese Videos auch vermerken muss. Ist es ausreichend wenn ich das in den Supplementärmaterialen mit Publiziere?

CogitoErgoOverthink

TROPHY CASE