Transkription
1Kapitel 2: 1. Erweiterung des klassischen linearen Modells Gaußsche Markow-Verletzung A1 verletzt Gaußsche Markow A2 verletzt Gaußsche Markow A3 verletzt Gaußsche Markow A4 verletzt Klassisches lineares Modell in Matrixnotation Maß vs. Standardfehler Gewichtete kleinste Quadrate (WLS) Machbare verallgemeinerte kleinste Quadrate ( FGLS) Autokorrelationsmaße Annahmen in wiederholten Messungen Designbegründung für Annahmen Zusammenfassung... 18
21. Klassische lineare Modelle nach Gauss-Markov (Folie 92) A1: für alle A2: und für alle A3 sind unabhängig: für alle A4: für alle A1, was bedeutet, dass der erwartete Fehler für jede Beobachtung Null ist. Im Durchschnitt verschwindet dieser Fehler also bei echten Regressionen oder Populationsregressionen. Dies gilt für alle Beobachtungen. A2 bedeutet, dass der Beobachtungsfehler unabhängig von den Prädiktoren im Modell ist. Dies gilt für alle Prädiktoren und alle Fälle. A3 bedeutet, dass die Varianz der Störvariablen für alle Beobachtungen gleich ist. Der Fehler beträgt 1 der gleichen Varianz. Dies gilt für alle Beobachtungen. A4 bedeutet keine Autokorrelation. Die Fehlerkovarianz ist also Null. Sie unterscheiden sich nicht. Daher stehen sie nicht in einem linearen Zusammenhang zueinander. Das heißt, der Beobachtungsfehler sagt nichts über den Beobachtungsfehler aus. Dies gilt jedoch nur für Situationen, in denen es um eine Beobachtung und eine Nachbereitung geht. Identische Beobachtungen korrelieren natürlich mit 1. Wenn alle diese Spezifikationen erfüllt sind, werden die unabhängigen und identisch verteilten iid-Fehler einfach aufgerufen, wobei standardmäßig immer Unabhängigkeit angenommen wird (Folie 54): Alle Fehler (unabhängig von Prädiktoren i) haben den erwarteten Wert Null : A1, alle Fehler (unabhängig von Prädiktoren i) gleichmäßig verteilt: A3, alle Fehler (unabhängig von Prädiktoren i) unabhängig verteilt: A4 1 homo = gleich ; skedastisch = diffus; homoskedastisch = gleiche Verbreitung Seite 1 von 19
3Ein Bug ist ein ZV, der niemals beobachtet werden kann! Aber wie testen Sie Ihre Hypothese, wenn der Fehler nie beobachtet wurde? Der Fehler liegt in der Schätzung des Standards (was übrigens den Standard selbst zu einem RV macht), daher gelten alle Aussagen und Annahmen, die wir zum Fehler gemacht haben, auch für die Schätzung des Standards (Folie 54). Verstöße gegen die Annahmen (z. B. Heteroskedastizität) können manchmal bereits in der Verteilung der beobachteten Daten (z. B. ) gesehen werden, was in einfachen Ausgabediagrammen (Folien) dargestellt werden kann (siehe Kapitel): 1.1. Die A2-Erweiterung verfügt über zwei Arten von Prädiktoren. Man unterscheidet zwischen festen (festen) und zufälligen Effekten, die eine Prädiktorvariable haben kann. Feste Effekte: Feste Effekte berücksichtigen alle möglichen Ausdrücke der Prädiktorvariablen. Beispielsweise beschreibt der Geschlechtsprädiktor einen festen Effekt, da männlich und weiblich alle möglichen Werte des Prädiktors darstellen. Beachten Sie, dass die Anzahl der Werte für Prädiktorvariablen je nach Prüfer variieren kann. Stichprobenwohnungsgröße als Prädiktorvariable mit den Werten klein, mittel und groß. Allerdings sind nur kleine und große Ausdrücke möglich. Mittelgroße Wohnungen lassen sich in zwei Kategorien einteilen. Wichtig ist, dass unabhängig von der Anzahl der Ausdrücke alle Instanzen von Ausdrucksfällen für Prädiktorvariablen vor dem Testen berücksichtigt und definiert werden. Dies begründet den Prädiktoreffekt. Zufällige (zufällige) Effekte: Prädiktoren können auch als kontinuierliche Variablen ohne Vordefinition von Klasseneinteilungen in das Modell eingebunden werden. Beispielsweise kann die Größe als kontinuierliche Variable in das Modell einbezogen werden, ohne dass Features zunächst als klein, mittel und groß klassifiziert werden müssen. Welche Merkmale nun in die kontinuierlichen Ausspracheprädiktoren einbezogen wurden, wurde in der Umfrage zufällig ausgewählt. In diesem Fall entsteht eine Prädiktorvariable RV, daher wird der Effekt auch als Zufall bezeichnet. Da wir nicht alle Prädiktorniveaus für zufällige Effekte berücksichtigen müssen, stützen wir unsere Unabhängigkeitsannahmen einfach auf die beobachteten Prädiktorniveaus und nicht auf alle möglichen Niveaus (Folie 93). Ein kurzer Überblick darüber, was das bedeutet: 1. Stärkste Hypothese: unabhängig von allen Prädiktoren. Der Fehlerterm hat einen erwarteten Wert von Null und ist unabhängig von den Prädiktoren. 2. Schwächste Hypothese: a Der Erwartungswert des Fehlerterms ist für alle Prädiktoren Null, ist aber nicht unbedingt unabhängig von den Prädiktoren, sondern nur nicht linear korreliert (keine Korrelation). 3. Schwächere Annahme: Unabhängigkeit aller Prädiktoren Für jedes beobachtete Merkmal des Prädiktors ist der erwartete Wert des Fehlerterms Null. Seite 2 von 19
4Die dritte Annahme der Unabhängigkeit liegt zwischen der ersten und der zweiten Annahme. Üblicherweise wird auch von zufälligen Effekten (also kontinuierlichen Prädiktoren) ausgegangen. Diese Implikation lässt sich auch auf andere Annahmen übertragen: Für alle, für alle heißt es nun immer: Unter der Annahme, dass der Fehler unabhängig von den beobachteten Eigenschaften des Prädiktors ist (gemeint ist A2.3), ist der Erwartungswert des Fehlers Null ( A1 ) und der Fehler ist homoskedastisch (A3), keine Autokorrelation (A4). 2. Parameter, die gegen lineare Modelle vom Typ B verstoßen. Geschätzt mit der Methode der kleinsten Quadrate (LQ). Die Frage ist nun, wie sehr man dem Wert von KQ vertrauen kann oder was passiert, wenn einige Annahmen verletzt werden (Folie 106)? Werden sie verletzt, befinden wir uns automatisch nicht mehr im klassischen linearen Modell, sondern verletzen Gauss-Markov-A1 im allgemeinen linearen Modell (Folien). Ist der erwartete Fehlerwert nicht Null, ist unser Modell verzerrt. , unser Schnittpunkt wird von KQ verzerrt geschätzt. Die Schätzung ist daher nicht unvoreingenommen: Allerdings hat sie einen weniger signifikanten Einfluss auf unsere anderen Parameter, d. h. sie hat keinen Einfluss auf unsere Prädiktoren! Warum? Unser lineares Regressionsmodell sieht folgendermaßen aus: Wenn der erwartete Fehlerwert nicht 0 ist, der Fehler also nicht verschwindet, haben wir eine zweite Konstante in unserem Modell. Diese zweite Konstante wird zu unserer ersten Konstante hinzugefügt. Beispiel: Stehen (lineare) Testergebnisse im Zusammenhang mit der Intelligenz? Unser KQ war erfolgreich. Nehmen wir an, wir ermitteln unsere Punkte grundsätzlich nur in der Sommerhitze. Das bedeutet, dass (reale) Punkte immer unterschätzt werden, wir sind also voreingenommen. Diese Abweichung kann 3 Punkte betragen: . Unser Modell sieht jetzt so aus: Seite 3 von 19
5Spieß Prüfungspunkte Vorlesung: Lehrbuch Abbildung 1: Regressionslinienvergleich 15 Unvoreingenommen: 10 5 Voreingenommen: Eine Verletzung von GM-A1 bedeutet immer, dass in unserem Modell ein systematischer Fehler vorliegt, der den Prädiktor nicht beeinflusst. Ein weiteres Beispiel wäre unsere Annahme, dass die Beinlänge die Weitsprungweite beeinflusst. Wenn wir jedoch Messungen nur dann durchführen, wenn der Springer vor oder gegen den Wind ist, werden unsere Messungen verfälscht. Aber Wind hat nichts mit unseren Beinlängenvorhersagen zu tun. Intelligenzquotient 2.2. Gauss-Markov-A2 verletzt. Wenn die Prädiktoren (oder ihre in der Studie beobachteten Merkmale) nicht fehlerunabhängig sind, ist unser Modell ebenfalls verzerrt. Diese Abweichung spiegelt sich jedoch nicht im Achsenabschnitt wider, sondern im Prädiktor! Also keine unvoreingenommene Schätzung: ; Was bedeutet das? Wenn der Fehler nicht vom Prädiktor unabhängig ist, sich also in den Eigenschaften des Prädiktors widerspiegelt, wird dem Prädiktor ein falsches Gewicht zugewiesen (also Prädiktor 1 und Prädiktor k). Durch unangemessene Gewichtungen wird die Bedeutung dieser Prädiktoren unter- oder überschätzt. Korrelieren Testergebnisse anhand des obigen Beispiels (linear) mit der Intelligenz? Angenommen, wir machen einen schlechten IQ-Test, der schlecht standardisiert und validiert ist. Bei diesem IQ-Test wird die Intelligenz von Kindern überschätzt, sodass ein Bias-Bias vorliegt
6Essentials Spieß-Prüfungsvorlesung: Handbook of Predictors. Unser KQ verrät für und für. Es wurde ein Effekt auf den IQ festgestellt, dieser Effekt wurde jedoch aufgrund von Verzerrungen unterschätzt. Abbildung 2: Vergleich der Regressionsgeraden 15 mit Fehler: 10 5 mit Fehler: Ein weiteres Beispiel, bei dem wir nicht davon ausgehen, dass der IQ die Noten beeinflusst, Noten aber den IQ beeinflussen! Angenommen, wir studieren 75 Kinder aus drei verschiedenen Klassen. Wir gingen zunächst davon aus, dass die Prädiktorvariable (Schulnote) unabhängig von Fehlern (d. h. Abweichung vom normalen IQ) war. Das bedeutet, dass wir alle Daten der Studierenden gleich behandeln und keine Beziehungen zwischen Studierenden untereinander unterstellen. Tatsächlich sind die Schulnoten jedoch innerhalb der Klassen ähnlicher als zwischen den Klassen (z. B. weil Lehrer sie unterschiedlich bewerten). Auch hier sind Prädiktoren und Fehler nicht unabhängig voneinander! Bisherige Zusammenfassung: Verstöße sowohl gegen GM-A1 als auch gegen GM-A2 führen zu verzerrten Parameterschätzungen, d. h. es liegt ein Bias im Modell vor. Da der Achsenabschnitt in den meisten psychologischen Hypothesen weniger interessant ist als die Prädiktorvariablen, ist GM-A2 wichtiger als GM-A1. Unter der schwächeren Annahme, bei der beide Annahmen unscharf sind, stellt diese Annahme die Erfüllung beider Annahmen dar und ist damit die wichtigste von allen! Intelligenzquotient 2,3. Gauß-Markov-A3-Verletzung Wenn die Fehler nicht homoskedastisch sind, korreliert ihre Varianz irgendwie mit den Prädiktoren, sodass sie heteroskedastisch sind. Das bedeutet, dass für jedes Merkmal des Prädiktors oder jede Beobachtung der Fehler unterschiedlich verteilt ist. Das wiederum bedeutet für unser Modell, dass unsere Parameterschätzungen für KQ immer noch erwartungstreu, also unverzerrt und konsistent, aber nicht mehr gültig sind! (Folie 160) Dies liegt daran, dass die Varianz mithilfe von KQ minimiert wird. Fälle mit größeren Varianzen werden stärker gewichtet als Fälle mit kleineren Varianzen. Entsprechende Parameterschätzer können nicht mehr verwendet werden
7Automatisch hat eine minimale Varianz von 2. Ein größeres Problem als der Leistungsverlust besteht darin, dass die Standardfehler (SE) der Parameterschätzungen verzerrt sind. Dies ist wiederum auf die SE der aus Residuen geschätzten Parameter zurückzuführen. Aber wie schätzen Sie eine vernünftige SE für die Parameter ein, wenn jedes Merkmal der Prädiktoren unterschiedliche Residuen aufweist? ! Wenn jedoch die SE des Parameters verzerrt ist, können wir die Signifikanz des Parameters nicht mehr überprüfen, da die SE der Parameterschätzung in Konfidenzintervallen und Punktschätzungen (z. B. T-Tests) enthalten ist. Wenn wir die Wichtigkeit nicht beurteilen können, wissen wir nicht, ob unser Prädiktor wirklich wichtig ist oder ob er einen echten Einfluss auf unsere Kriterien hat! Beispiel: Angenommen, wir möchten untersuchen, ob Werbeinvestitionen den Verkauf von Musik-CDs beeinflussen: SPSS-Score 1: Parameterschätzung Koeffizienten ein Modell Nicht standardisierte Koeffizienten 95,0 % Konfidenzintervall für B B Standardfehler t Sig. Untergrenze Obergrenze 1 (fest) 134,140 7,537 17,799,002 Werbebudget (in Tausend Euro) Abhängige Variable: Rekordumsatz (in Tausend), 096.010 9.979.000 077.115 Aufgrund der Heteroskedastizität sind Parameterschätzungen immer noch objektiv und konsistent, sodass Sie dies sicherstellen können Auch die Parameterwerte sind korrekt. Heteroskedastizität kann sich jedoch auf die geschätzten SEs von Parameterschätzungen auswirken, und T-Tests und Konfidenzintervalle für Parameterschätzungen sind nicht mehr vertrauenswürdig. Wir wissen nicht, ob Parameter wirklich wichtig sind. Heteroskedastizität ist bereits visuell erkennbar: 2 hat die geringste Varianz aller Schätzer = statistisch gültige Definition Seite 6 von 19
8Abbildung 3: Einfache lineare Regression von y gegen x Wie Sie in der Abbildung sehen können, nimmt die Streuung um die Regressionslinie mit zunehmender Prädiktorebene ab. Das bedeutet zum Beispiel, dass Ihre erwarteten Werbeinvestitionen möglicherweise Auswirkungen haben. Je weniger Sie jedoch investieren, desto weniger sicher können Sie sein, dass sie Auswirkungen haben. Wenn man sehr wenig investiert, gibt es viele Leute, die mehr verkaufen, aber es gibt auch viele Leute, die nicht mehr verkaufen. Je größer jedoch die Investition ist (die Ausprägung der Prädiktorvariablen nimmt zu), desto sicherer ist die Auswirkung der Investition auf die verkauften Alben, da hier die Streuung abnimmt. Für eine bessere grafische Analyse ist es auch üblich, die Vorhersage-Residuen gegenüber vorhergesagten Prädiktorwerten zu betrachten (ähnlich wie auf der Folie): Abbildung 4: (Standard-)Residuen für vorhergesagte Prädiktorwerte Seite 7 von 19
9Mit zunehmender vorhergesagter Größe des Prädiktors werden die (standardisierten) Residuen kleiner. Ein weiteres Beispiel für heteroskedastische Daten wäre B. Urlaubsausgaben hängen vom Einkommen ab. Bei wohlhabenderen Haushalten ist der Unterschied auf jeden Fall größer als bei ärmeren, denn sie müssen nicht unbedingt viel ausgeben, können es aber, während ärmere Haushalte nur wenig ausgeben können. Bei der Heteroskedastizität geht es immer darum, dass sich die Streuung systematisch mit der Ausprägung der Prädiktoren ändert! 2.4 Gauss-Markov-A4 verletzt Wenn die Kovarianz der Fehler nicht Null ist, dann stehen sie in irgendeiner Weise in einem linearen Zusammenhang. Die Fehler hängen also zusammen, sie sind autokorreliert. Das heißt, auf negative (oder positive) Fehlerterme folgen normalerweise negative (oder positive) Fehlerterme (positive Autokorrelation) oder Fehlerterme mit entgegengesetzten Vorzeichen folgen ihren Antezedenten (negative Autokorrelation). Dies führt aus den gleichen Gründen zu den gleichen Problemen wie Heteroskedastizität: 1. OLS-Schätzer sind immer noch erwartungstreu und konsistent, 2. aber nicht mehr gültig, 3. die SE der Schätzer ist verzerrt, was bedeutet, dass es zwei klassische Gründe gibt, warum wir kann nicht mehr darauf vertrauen, dass Hypothesentests wie T-Tests und Konfidenzintervalle eine Autokorrelation aufweisen. Entweder wurde das Modell falsch spezifiziert oder wir haben eine wichtige Variable vergessen. 1. Das Modell ist falsch spezifiziert: Bei der einfachen linearen Regression wird immer nur davon ausgegangen, dass das Kriterium linear mit der Änderung der Prädiktorvariablen zunimmt oder abnimmt. Was aber, wenn kein linearer Zusammenhang vorliegt, sondern ein parabolischer oder exponentieller Zusammenhang? Ein Beispiel wäre der Zusammenhang zwischen Alkohol und Reaktionszeit. Ursprünglich gingen wir von einem einfachen linearen Zusammenhang aus, tatsächlich nahm die Reaktionszeit jedoch mit dem Alkoholkonsum exponentiell zu. Daher kann die Autokorrelation darauf hinweisen, dass ich von einem falschen Zusammenhang zwischen Prädiktoren und Kriterien ausgehe. 2. Vergessene Variablen: Wenn die Fehler systematisch korrelieren, kann dies auch bedeuten, dass eine wichtige Variable im Modell weggelassen wurde. Angenommen, es besteht ein positiver Zusammenhang zwischen harter Arbeit und guten Schulnoten. Eine weitere wichtige Variable könnte sein, dass neben harter Arbeit auch eine hohe Konzentration bei Prüfungen Einfluss auf gute Noten hat. Ein häufig genanntes Beispiel für Autokorrelation sind wiederholte Messungen. Tatsächlich ist es ziemlich offensichtlich, dass Karinas Messungen zu diesem Zeitpunkt mit Karinas Messungen zu diesem Zeitpunkt korrelieren. Es bleibt jedoch wahr, dass Karinas Dimensionen nicht unbedingt in irgendeiner Beziehung zu Toms Dimensionen stehen. Seite 8 von 19
10Wie Heteroskedastizitätsfehler können Autokorrelationsfehler bereits visuell in Streudiagrammen identifiziert werden. Nehmen Sie das obige Beispiel: Wir haben die (falsche) Annahme gemacht, dass Alkohol und Reaktionszeit linear zusammenhängen (ähnlich wie auf Folie 163): Abbildung 4: Einfache lineare Regression von x nach y Diese Grafik zeigt, dass der Fehler positiv zusammenhängt. Zur besseren Übersicht werden noch einmal standardisierte Residuen und vorhergesagte Prädiktorwerte angezeigt. Abbildung 4: (Standardisierte) Residuen vorhergesagter Werte Hier wird deutlich, wie die einzelnen Residuen der Messwerte zusammenhängen. Seite 9 von 19
113. Klassische lineare Modelle in Matrix-Notation In der Matrix-Notation werden alle -, - und --Werte zu einem Vektor zusammengefasst, und die Prädiktorvariablen (und ihre Merkmale) werden zu einer Matrix zusammengefasst. So können Sie die Modelle bequem kombinieren: und werden. Bei zwei Prädiktoren kann man sich das beispielsweise wie folgt vorstellen: konstant, d. h. dem Prädiktor wird kein Wert zugewiesen, aber damit er nicht verschwindet, wird er in a dargestellt Matrix mit dem Wert 1 wird gewichtet. Der Fehler ist unbekannt und wird nie auftreten, daher kann er nicht zugeordnet werden. Wir wissen nur, dass es immer da ist und in jedem Bezugssystem i vorhanden ist, also immer noch in jedem einzelnen Modell enthalten ist. Dann sehen wir die Regressionsparameter in der Ausgabe. Seite 10 von 19
12Das Modell (Folie) geht von A1:A2: und unabhängigen A3:A4:4 gemäß Gauss-Markov (Folie 153) aus. Maßnahmen bei Verstößen 4.1. Maßnahmen zur Vermeidung systematischer Fehler (GM-A1 und GM-A2) Das Problem bei Fehlern besteht darin, dass sie per Definition nicht beobachtbar sind. Besonders deutlich wird dies beim GM-A1 und GM-A2. Wir können nie wirklich sicher sein, ob in unserer Studie eine externe Verzerrung vorliegt oder ob unsere Prädiktoren mit dieser Verzerrung zusammenhängen. Es gab keine Koeffizienten und keine deskriptiven Analysen deuteten auf einen Verstoß gegen diese Annahme hin. Stattdessen müssen Sie einfach mit einem guten theoretischen Hintergrund auf der sicheren Seite sein und Ihre Prädiktoren entsprechend auswählen und sorgfältig recherchieren. Maßnahmen gegen Heteroskedastizität Wie sieht Heteroskedastizität in der Matrixnotation aus und was können wir dagegen tun? Homoskedastizität wird angenommen. In der Matrixschreibweise bedeutet das (Folie 151): = Identitätsmatrix: Rechenregeln für Matrixberechnungen: Wenn Sie eine Matrix nehmen, die eine Identitätsmatrix hat, rekonstruieren Sie die ursprüngliche Matrix. Ich habe sozusagen eins berechnet, wir haben also überall die gleiche Varianz! Die Varianz des KQ-Schätzers wird wie folgt bestimmt (Folie 154): Nun stellt sich die Frage, wie sie aussieht. Wenn Homoskedastizität vorliegt, wird es Seite 11 von Seite 19
13Abgekürzt: In dieser Form ist der OLS-Varianzschätzer erwartungstreu. Liegt keine Homoskedastizität vor, wird die Varianz nicht mit der Identitätsmatrix, sondern mit der Matrix multipliziert (Folie 148). Natürlich haben wir nicht überall die gleiche Varianz! Dadurch nimmt die Varianz eine etwas andere Form an: Das bedeutet, dass die Varianz nicht mehr erwartungstreu ist! Die Frage ist, wie viel wir über Heteroskedastizität wissen und wie diese ominöse Matrix zur Beschreibung der Heteroskedastizität aussieht (da KQ unverzerrt und konsistent ist), aber statt die SE der Parameter mit KQ zu berechnen, wird stattdessen eine robuste SE verwendet. Robuste SEs wurden erstmals von Hal White vorgeschlagen, weshalb sie auch White-Schätzer genannt werden. Der White-Schätzer wird unter anderem aus folgenden Gründen auch als Sandwich-Schätzer (Folie 160) bezeichnet (Folie 154): Die Matrix liegt zwischen zwei Matrizen wie ein Stück Käse zwischen zwei Brotscheiben, daher auch der Name Der Sandwich-Schätzer Was wir jetzt wissen wollen, sind die Elemente dieser Matrix, also ihre Diagonale. Weiß zeigt, dass wir die Residuen (d. h. die Varianz der Residuen) auf der Diagonale quadrieren können: Seite 12 von 19
14Der Vorteil dieses Ansatzes besteht darin, dass wir nichts über die Matrix (oder Heteroskedastizität) wissen müssen, da wir einfach die Reste nehmen können! Der Nachteil besteht darin, dass wir nur asymptotisch korrekte Schätzungen erhalten können, d. h. diese Methode funktioniert nur für große Stichproben. Darüber hinaus gibt es eine gewichtete Methode der kleinsten Quadrate (WLS) mit relativ großer Varianz. Wenn Sie die Art und Ursache der Heteroskedastizität besser verstehen, wird empfohlen, den WLS-Schätzer (auch Aitken-Schätzer genannt) zu verwenden. Bei der LQ-Schätzung haben alle Beobachtungen das gleiche Gewicht. Dies ist in Fällen von Homoskedastizität wünschenswert, da in jeder Beobachtung überall die gleiche Varianz vorhanden ist. Im Fall der Heteroskedastizität bedeutet dies jedoch, dass die Beobachtung mit dem größten Fehler auch den größten Einfluss hat. Der Zweck des WLS besteht darin, einzelnen Beobachtungen Gewichte zuzuweisen, um dieses Ungleichgewicht wieder zu korrigieren. Daher werden die Daten so transformiert, dass sie wiederum falsch homoskedastisch sind (Folien). Daher wirken sich größere Abweichungen nicht stärker auf KQ aus als kleinere Abweichungen, d. h. R. Ziehen Sie die Wurzel für jeden Datenpunkt 3: In der Matrixschreibweise dividiere ich durch die Anzahl der Kehrwerte und quadriere die Wurzel, indem ich die Potenz wie folgt halbiere: For Für das transformierte Modell kann eine Vereinfachung geschrieben werden: Für das transformierte Modell ist der Fehler falsch und homoskedastisch, daher ist die Parametervarianz erwartungstreu. Machbare verallgemeinerte Methoden der kleinsten Quadrate (FGLS). WLS-Schätzer sind ein Sonderfall von FGLS. Bei FGLS werden einzelne Gewichte geschätzt und dann entsprechend auf das Modell angewendet, weshalb FGLS auch als zweistufige Schätzung (Folien) bezeichnet wird. Wir benötigen Informationen über die Fehlervarianz 3. Prinzipiell ist aber auch jede andere Datentransformation möglich: Hauptsache, der Fehlerterm ist wieder homoskedastisch Seite 13 von 19
15(d. h.) um daraus schließen zu können. Da wir den Fehler nicht direkt beobachten können, führen wir zunächst eine normale Schätzung von KQ durch, um Schlussfolgerungen ziehen zu können. Dann können wir unsere Matrix schätzen und ableiten. 1. Finden der Gewichte 1.1 Wir führen die normale Schätzung von KQ on on durch. Daher haben wir die Prädiktoren geschätzt, die die Auswirkung auf unsere Kriterien beschreiben sollten. Also raten wir und bekommen. Die Abweichung unseres Modells stellt unseren Schätzfehler dar. Das Quadrat davon ergibt die geschätzte Varianz unserer Residuen, die 1,2 beträgt. Wir erstellen eine Schätzung des KQ für auf. Beides sind Prädiktoren, die zu unserer Fehlervarianz beitragen. Dies ist normalerweise unser Modellvorhersagevektor. Da jedoch theoretisch auch andere Prädiktoren zur Fehlervarianz beitragen können, nennen wir sie einen Vektor. Nun schätzen wir die Prädiktorfaktoren, die den Effekt auf unsere geschätzte Varianz beschreiben sollen. Also raten wir und bekommen. Dieses Alpha hat nichts mit der Konstante auf der Regressionsgeraden zu tun! ist ein Gewicht, das zur Schätzung des Einflusses der Prädiktorvariablen auf die Varianz des Schätzfehlers verwendet wird. 1.3 Nachdem wir das nun getan haben, können wir schätzen und erhalten: Dieser Schätzer für kann negative Werte enthalten! Anstatt also mit einem OLS-Schätzer unter 1.2 eine Regression durchzuführen, können wir auch eine logistische Regression durchführen, sodass er keine negativen Werte mehr enthält. Dann erhalten wir: 2. Gewichtete Regression (siehe WLS) 2.1 Wir nehmen eine gewichtete Schätzung von KQ vor, da das Maß für die Autokorrelation jetzt bekannt oder geschätzt ist. Wir haben Fälle, in denen die Fehler nicht heteroskedastisch verteilt sind, sondern auch miteinander korreliert sind und die Fehlervarianz so aussieht: Um unsere Matrix schätzen zu können, müssen wir auch schätzen. Hier gehen wir nur ähnlich wie bei heteroskedastischen Fehlern vor und schätzen in zwei Schritten. Also zuerst bekommen wir, und dann können wir uns an unsere Matrix anschließen und so etwas wie dieses bekommen. Seite 14 von 19
16Da bei Designs mit wiederholten Messungen höchstwahrscheinlich Autokorrelationsprobleme auftreten, finden Sie hier einen detaillierteren Ansatz. Designs mit wiederholten Messungen ermöglichen es uns, mehr Annahmen über die Art der Autokorrelation zu treffen. Dies ist ein eleganterer Ansatz als die Schätzung des Korrelationskoeffizienten, da die Schätzungen immer falsch sein können. Es scheint, dass man davon ausgehen kann, dass Individuen (also Menschen) unabhängig voneinander sind. Dies reduziert die Matrix, auf die wir auswerten wollen: Das einzige Problem besteht nun darin, dass die Elemente auch Matrizen sind, die ausgewertet werden müssen. Jede Matrix stellt den Kontext jeder Person dar, es handelt sich also um eine Korrelationsmatrix für jede Person. Aber nehmen wir an, dass jede Korrelationsmatrix gleich aussieht! Es funktioniert also bei jedem. Inhaltlich bedeutet dies Folgendes: Die Leistung einer Person zum Zeitpunkt der Messung korreliert mit der Leistung zum Zeitpunkt der Messung (d. h. unterschiedlicher Messzeitpunkt) aus den gleichen Gründen wie die Leistung der Person (d. h. unterschiedlicher Messzeitpunkt). Person) zum Zeitpunkt der Messung korreliert mit dem Ergebnis der Messzeit! Wir beobachten höchstens eine Entität (=Menschen), die die beobachtete Entität ist. Darüber hinaus haben wir die maximale Anzahl an Messungen, also die Messzeit: Liegt die Gesamtzahl der Personen innerhalb der Messzeit, dann liegen Daten vor. Jede Matrix hat die Größe x, also H. Die Korrelationsmatrix für jedes Individuum ist quadratisch und die Größe der Korrelationsmatrix wird durch die Gesamtmenge der Beobachtungen bestimmt. Annahmen in Designs mit wiederholten Messungen. Annahmen in Designs mit wiederholten Messungen ähneln den ursprüngliche Gauß-Markov-Annahmen (Folien) . Menschliches Versagen besteht aus Messfehlern des menschlichen Faktors: und im Allgemeinen Seite 15 von 19
17Der menschliche Faktor könnte z. B. Müdigkeit infolge einzelner Wiederholungsmessungen oder Übungseffekte sein. Alles, was das Ergebnis der zweiten Beobachtung beeinflusst, weil die erste Beobachtung bereits (systematisch) gemacht wurde. Menschen unterliegen zu jedem Zeitpunkt der Messung einem Messfehler: Wir gehen immer noch davon aus, dass der Erwartungswert des menschlichen Faktors für alle Menschen Null ist. Ebenso gehen wir davon aus, dass der Messfehler jeder Person zum Zeitpunkt der Messung Null ist (siehe GM-A1): Wir können auch davon ausgehen, dass die Varianzen des Personenfaktors und des Messfehlers homoskedastisch sind, aber jede Person hat ihre eigenen Varianzen (siehe GM-A1). -A3): Menschliche Faktoren können nicht mit Messfehlern in Zusammenhang gebracht werden, daher sind sie unabhängig voneinander und dies gilt für alle (vgl. GM-A2): und unabhängig Aus der Messung können wir folgende Schlussfolgerungen ziehen: Messung Der erwartete Fehler Der Wert jeder Person zu einem bestimmten Zeitpunkt umfasst den erwarteten Wert dieser Person und den erwarteten Wert des Messfehlers der Person zum Zeitpunkt der Messung. Da sowohl der menschliche Faktor als auch der Erwartungswert des Messfehlers Null sind, muss auch der Erwartungswert des menschlichen Fehlers während der Messung Null sein! Die Beobachtungsfehlervarianz jeder Person besteht aus der Varianz des menschlichen Faktors und der Messfehlervarianz der Person zum Zeitpunkt der Messung: Gibt die Fehlervarianz jeder Person zum Zeitpunkt der Messung an. Die Varianz des Messzeitpunkts setzt sich aus der Varianz des menschlichen Faktors der Person und der Messung der Person zusammen Fehler. Varianzzusammensetzung. Seite 16 von 19
18Dann gilt für die Kovarianz und damit für die Korrelation: Da die Beobachtungen verschiedener Personen unabhängig voneinander sind, korreliert der Fehler dieser Person zu einem Messzeitpunkt mit dem Fehler einer anderen Person zu einem anderen Messzeitpunkt mit Null. Natürlich ist der Mensch in denselben Dimensionen vollständig auf sich selbst bezogen. Die Ergebnisse einer Beobachtung korrelieren mit den Ergebnissen einer anderen Beobachtung, wenn dieselbe Person beteiligt ist. Das ist interessant, weil es hier eine Autokorrelation gibt! Nachdem wir aufgezeichnet haben, wie Personen an verschiedenen Punkten der Messung miteinander in Beziehung stehen, können wir die Korrelationsmatrix modellieren. Die Korrelationsmatrix für eine Person (oder) kann wie folgt gelesen werden: Beschreibt den Grad der Korrelation zwischen den Ergebnissen der ersten Messung und den Ergebnissen des zweiten Messzeitpunkts. Beschreiben Sie, wie gut die Ergebnisse des dritten Messzeitpunkts mit den Ergebnissen des zweiten Messzeitpunkts korrelieren. Beschreiben Sie, wie gut die Ergebnisse des zweiten Messzeitpunkts mit den Ergebnissen des dritten Messzeitpunkts korrelieren. Er beschreibt den Grad der Korrelation zwischen den Ergebnissen des vierten Messzeitpunkts und den Ergebnissen des vierten Messzeitpunkts, er muss also 1 sein! usw. (Folienfrage: Bei Homoskedastizität sind alle Korrelationen gleich, warum? Homoskedastizität bedeutet: ; gilt auch für Einschränkungen (siehe ): S. 17 von 19
19Die Varianz bzw. Standardabweichung ist überall gleich, ich erhalte also überall die gleiche Korrelation! ) Wenn ich eine Korrelationsmatrix habe, die die Beziehung zwischen den Messzeitpunkten beschreibt, kann ich meine Gewichtsmatrix für jede Person modellieren. Fürs Protokoll: Es gilt, also musste ich nur die Gewichtsmatrix modellieren, um meine zu bekommen! Mit meiner -Matrix kann ich meine -Matrix modellieren: Mit meiner W-Matrix kann ich die Varianz meines Fehlers invers abschätzen: Gründe für die Annahmen Wo sind diese angenommenen Vereinfachungen? Hätte ich die oben genannten Annahmen nicht getroffen, hätte meine Matrix überhaupt keine Autokorrelation. Ich muss einige Parameter schätzen (siehe Autokorrelationsmatrix oben)! Aber angesichts der oben genannten Details muss ich meine Schätzung nur für eine Person vornehmen. Dazu benötige ich lediglich alle Standardabweichungen aller Beobachtungen, d. h. (für alle Beobachtungen) plus die Varianz der menschlichen Faktoren, d. h. es gibt insgesamt nur +1 Parameter, die in meiner - Matrix enthalten sein müssen. Ich kann mehr reduzieren oder mehr Annahmen für unser Modell treffen: Die Standardabweichung ist an jedem Messpunkt gleich. Es macht auch im Kontext Sinn: Meine Punktzahl ändert sich, wenn sie gemessen wird, aus demselben Grund, aus dem sie sich ändert, wenn sie gemessen wird. Diese Annahme habe ich schon früher gemacht. Daher kann ich davon ausgehen, dass die Ergebnisse im gleichen Maße schwanken. Unter diesen Bedingungen muss ich nur zwei Parameter schätzen: und. Nur zur Erinnerung: Wir möchten so wenig Schätzungen wie möglich vornehmen und so viele Annahmen wie möglich treffen! 5. Schlussfolgerung – Um sicherzustellen, dass wir den Werten vertrauen können, die wir für unsere Parameter erhalten, müssen wir (a priori) Annahmen über unsere Daten und damit den Fehlerterm treffen: 1 bis 4 – Annahmen sind Verstöße gegen 1 und 2, Ganze Modelle sind nicht bereits zuverlässig korrekt (sie sind unparteiisch), aber wir können sie nicht mehr auf stochastische kritische Weise schützen (ihre SE ist nicht mehr unparteiisch) S. 18 von 19
20o Problemidentifizierung: wurde möglicherweise durch visuelle Analyse deskriptiver Statistiken (z. B. Streudiagramm) oder einen geeigneten Test (hier nicht diskutiert) identifiziert. o Messung: Je nachdem, was wir über Heteroskedastizität wissen, verwenden Sie einen robusten Schätzer, WLS (Aitken-Schätzer) oder zwei -Schrittschätzung (FGLS-Schätzer) – wenn Annahme 4 verletzt wird (Autokorrelation vorhanden), sind die Werte der Parameterschätzer immer noch korrekt (sie sind unvoreingenommen), aber wir können sie nicht verwenden. Sie sind eher zufallskritisch (ihre SE ist nein). länger als erwartet) o Identifizierung des Problems: konnte durch visuelle Analyse der deskriptiven Statistik identifiziert werden (z. B. in bestimmten Situationen (ähnlich den GM-Annahmen nur im Fall der Autokorrelation) und dann den WLS-Schätzer verwenden Seite 19 von 19