3  Populationsinferenz

3.1 Lernsteuerung

Bayes:Start!

Nach Absolvieren des jeweiligen Kapitels sollen folgende Lernziele erreicht sein.

Sie können …

• den Begriff der Populationsinferenz definieren und von der Deskriptivstatistik abgrenzen
• erläutern, warum inferenzstatistische Schlüsse notwendigerweise mit Ungewissheit behaftet sind
• zwischen Ungewissheit zu den Regressionskoeffizienten und Ungewissheit zur Vorhersagegenauigkeit (\(\sigma\)) unterscheiden
• den Begriff des Konfidenzintervalls (Schätzbereichs) erläutern und interpretieren
• frequentistische und Bayes-Inferenz einander gegenüberstellen
• den p-Wert informell definieren und typische Fehlinterpretationen benennen
• den Begriff der statistischen Signifikanz erläutern
• Null- und Alternativhypothese unterscheiden und anhand von Beispielen erläutern

Bei Gelman et al. (2021), Kap. 4, findet sich eine Darstellung, die sich mit den Inhalten dieses Kapitels überschneidet. Die Begleitliteratur ist nicht prüfungsrelevant; sie dient zur Vertiefung und als Grundlage einer ausführlicheren Erläuterung des Stoffes.

Bereiten Sie sich im Eigenstudium auf dieses Kapitel vor. Lesen Sie dazu folgende Themen:

• Statistik 1, Kap. “Rahmen”
• Statistik 1, Kap. “Punktmodelle 2”, insbesondere zu Regressionskoeffizienten

Hinweis

Die Folien zu diesem Kapitel finden Sie hier.

3.2 Schließen von der Stichprobe auf die Grundgesamtheit

📺 Was ist Inferenz?

Populationsinferenz ist das Schließen von der Stichprobe auf die Grundgesamtheit.

Statistische Populationsinferenz – oft kurz als Inferenz bezeichnet – hat zum Ziel, vom Teil aufs Ganze zu schließen, bzw. vom Konkreten auf das Abstrakte. In der Datenanalyse heißt das: Was sagt mein Datensatz, der auf einer Stichprobe beruht, über die zugrundeliegende Grundgesamtheit aus?

Übungsaufgabe 3.1 Typischerweise untersuchen Sie im Rahmen einer statistischen Analyse eine Stichprobe, wie z.B. Ihr Freundeskreis, der leichtsinnig genug war, auf Ihre WhatsApp-Nachricht “Tolle Studie zum Geheimnis des Glücks!!!” zu klicken. Ihr Freundeskreis ist ein Teil der Menschen (z.B. aus Deutschland), also eine Stichprobe. Schauen wir uns den Unterschied zwischen Stichprobe und Population näher an. \(\square\)

Nehmen wir an, wir möchten herausfinden, wie groß der Anteil der R-Fans in der Grundgesamtheit (synonym: Population) aller Studierenden ist. Den Anteil der R-Fans bezeichnen wir der Einfachheit halber hier mit A¹.

Das Grundproblem der Inferenzstatistik ist, dass wir an Aussagen zur Grundgesamtheit interessiert sind, aber nur eine Stichprobe, also einen Ausschnitt oder eine Teilmenge der Grundgesamtheit (synonym: Population) vorliegen haben.

Wir müssen also den Anteil der R-Fans in der Population auf Basis des Anteils in der Stichprobe schließen: Wir verallgemeinern oder generalisieren von der Stichprobe auf die Grundgesamtheit, s. Abb. Abbildung 3.1.

Grundgesamtheit (Population)

Stichprobe (Sample)

Abbildung 3.1: Population vs. Stichprobe. Die Stichprobe entnimmt einen Teil der Daten der Population. Autor: Karsten Lübke. Lizenz: OEM.

Häufig ist das praktische Vorgehen recht simpel: Ah, in unserer Stichprobe sind 42% R-Fans!². Man schreibt: \(p = 0.42\) (p wie proportion, engl. für “Anteil”). Die Stichprobe sei repräsentativ für die Grundgesamtheit aller Studierenden. Messerscharf schließen wir: In der Grundgesamtheit ist der Anteil der R-Fans auch 42%, \(\pi=0.42\).

Hinweis

Wir verwenden lateinische Buchstaben (p), um Kennzahlen einer Stichprobe zu benennen, und griechische (\(\pi\)) für Populationen.\(\square\)

Definition 3.1 ((Populations-)Inferenzstatistik) Populations-Inferenzstatistik – meist kurz als Inferenzstatistik bezeichnet – ist ein Verfahren zum Schließen von Statistiken (eine Kennzahl einer Stichprobe) auf Parameter (eine Kennzahl einer Grundgesamtheit). Inferenz bedeutet Schließen bzw. Schlussfolgern: auf Basis von vorliegenden Wissen wird neues Wissen generiert. Inferenzstatistik ist ein Verfahren, das mathematische Modelle (oft aus der Stochastik) verwendet, um ausgehend von einer bestimmten Datenlage auf allgemeine Aussagen zu schließen. \(\square\)

Übungsaufgabe 3.2 🏋️️ Heute Nacht vor dem Schlafen wiederholen Sie die Definition. Üben Sie jetzt schon mal.\(\square\)

Für jede beliebige Statistik (Kennzahl von Stichprobendaten) kann man die Methoden der Populationsinferenz verwenden, um den zugehörigen Kennwert (Parameter) der Population zu bestimmen, s. Tabelle Tabelle 3.1. Da man die Parameter der Population so gut wie nie sicher kennt (schließlich hat man meist nur Auszüge, Teile der Population, also Stichproben), muss man sich mit Schätzwerten begnügen.

Tabelle 3.1: Bezeichnungen für Kennwerte

Kennwert	Stichprobe	Grundgesamtheit (Aussprache)	Schätzwert
Mittelwert	\(\bar{X}\)	\(\mu\) (mü)	\(\hat{\mu}\)
Streuung	\(sd\)	\(\sigma\) (sigma)	\(\hat{\sigma}\)
Anteil	\(p\)	\(\pi\) (pi)	\(\hat{\pi}\)
Korrelation	\(r\)	\(\rho\) (rho)	\(\hat{\rho}\)
Regression	\(b\)	\(\beta\) (beta)	\(\hat{\beta}\)

Für Statistiken (Daten einer Stichprobe) verwendet man lateinische Buchstaben; für Parameter (Population) verwendet man griechische Buchstaben.

Übungsaufgabe 3.3 🏋️ Geben Sie die griechischen Buchstaben für typische Statistiken an. Ohne auf die Tabelle zu schauen.😜\(\square\)

Meist begnügt man sich beim Analysieren von Daten nicht mit Aussagen für eine Stichprobe, sondern will auf eine Grundgesamtheit verallgemeinern.

Leider sind die Parameter einer Grundgesamtheit zumeist unbekannt, daher muss man sich mit Schätzungen begnügen. Schätzwerte werden mit einem “Dach” über dem Kennwert gekennzeichnet, s. letzte Spalte in Tabelle 3.1.

In der angewandten Forschung und im praktischen Leben interessieren häufig Fragen wie: “Welche Entscheidung ist (wahrscheinlich) besser?”. Da bekanntlich (fast) keine Aussagen sicher sind, spielt Wahrscheinlichkeit eine wichtige Rolle in den Forschungsfragen bzw. in deren Antworten.

Hinweis

Wahrscheinlichkeit wird oft mit Pr oder p abgekürzt, für engl. probability.\(\square\)

Beispiel 3.1 Sie testen zwei Varianten Ihres Webshops (V1 und V2), die sich im Farbschema unterscheiden und ansonsten identisch sind: Hat das Farbschema einen Einfluss auf den Umsatz?

Dazu vergleichen Sie den mittleren Umsatz pro Tag von V1 vs. V2, \(\bar{X}_{V1}\) und \(\bar{X}_{V2}\). Die Mittelwerte unterscheiden sich etwas, \(\bar{X}_{V1} > \bar{X}_{V2}\). Sind diese Unterschiede “zufällig” oder “substanziell”? Gilt also \(\mu_{V1} > \mu_{V2}\) oder gilt \(\mu_{V1} \le \mu_{V2}\)? Wie groß ist die Wahrscheinlichkeit \(Pr(\mu_{V1} > \mu_{V2})\)?

3.3 Was ist Populationsinferenz?

Definition 3.2 (Populationsinferenz) Populationsinferenz (auch Inferenzstatistik oder schließende Statistik genannt) ist der Teilbereich der Statistik, der sich damit befasst, von den Daten einer begrenzten Stichprobe auf eine zugrundeliegende Grundgesamtheit (Population) zu verallgemeinern (zu schließen). \(\square\)

Deskriptivstatistik (Beschreiben) und Inferenzstatistik (Erklären) gehen Hand in Hand: Mit der Deskriptivstatistik berechnet man Statistiken zur Stichprobe. Dabei resultiert die Stichprobe durch eine zufällige Auswahl von Objekten aus der Grundgesamtheit. Mit der Inferenzstatistik verallgemeinert man von der Stichprobe auf die Grundgesamtheit, s. Abbildung 3.2.

graph LR
    %% 1. Definition der Grundgesamtheit (viele Emojis)
    Population["Grundgesamtheit (Population)
    👥👤👨‍👩‍👧‍👦🧑‍🤝‍🧑🌍
    (N = groß)"]
    
    %% 2. Definition der Stichprobe (wenige Emojis)
    Sample["Stichprobe
    👤🧑
    (n = klein)"]

     
   
    Population -->|Zufallsauswahl| Sample

   
    Sample -- Inferenzschluss --> Population
    
   

Abbildung 3.2: Zusammenhang von Deskriptivstatistik und Inferenzstatistik

3.3.1 Inferenz beinhaltet Ungewissheit

Inferenzstatistische Schlüsse sind mit Ungewissheit (Unsicherheit über die Zuverlässigkeit der Ergebnisse) behaftet: Schließlich kennt man nur einen Teil (die Stichprobe) eines Ganzen (die Population), möchte aber vom Teil auf das Ganze schließen. Aus diesem begrenzten Wissen resultiert notwendig Ungewissheit über die gesamte Population.

Wichtig

Nichts Genaues weiß man nicht: Schließt man von einem Teil auf das Ganze, so geschieht das unter Unsicherheit. Man spricht von Ungewissheit, da man sich auf die Unsicherheit des Wissens über die Genauigkeit des Schließens bezieht.

Schließt man etwa, dass in einer Grundgesamtheit der Anteil der R-Fans bei 42% liegt, so geschieht das unter Unsicherheit; es ist ungewiss. Man ist sich nicht sicher, dass es wirklich 42% in der Population sind – und nicht etwa etwas mehr oder etwas weniger. Schließlich hat man nicht die ganze Population gesehen bzw. vermessen. Sicher ist man sich hingegen für die Stichprobe (Messfehler einmal ausgeblendet). Zur Bemessung der Unsicherheit (Ungewissheit) bedient man sich der Wahrscheinlichkeitsrechnung (wo immer möglich). Die Wahrscheinlichkeitstheorie bzw. -rechnung wird daher auch als die Mathematik des Zufalls bezeichnet.

Definition 3.3 (Zufälliges Ereignis) Unter einem zufälligen (engl. random) Ereignis verstehen wir ein Ereignis, das nicht (komplett) vorherzusehen ist, wie etwa die Augenzahl Ihres nächsten Würfelwurfs. Zufällig bedeutet nicht (zwangsläufig), dass das Ereignis keine Ursachen besitzt. So gehorchen die Bewegungen eines Würfels den Gesetzen der Physik, nur sind uns diese oder die genauen Randbedingungen nicht (ausreichend) bekannt. \(\square\)

Übungsaufgabe 3.4 🏋 Welche physikalischen Randbedingungen wirken wohl auf einen Münzwurf ein? \(\square\)

Beispiel 3.2 (Beispiele zur Quantifizierung von Ungewissheit) Aussagen mit Unsicherheit können unterschiedlich präzise formuliert sein.

• Morgen regnet’s \(\Leftrightarrow\) Morgen wird es hier mehr als 0 mm Niederschlag geben (\(p=97\%\)).

• Methode \(A\) ist besser als Methode \(B\) \(\Leftrightarrow\) Mit einer Wahrscheinlichkeit von 57% ist der Mittelwert von \(Y\) für Methode \(A\) höher als für Methode \(B\).

• Die Maschine fällt demnächst aus \(\Leftrightarrow\) Mit einer Wahrscheinlichkeit von 97% wird die Maschine in den nächsten 1-3 Tagen ausfallen, laut unserem Modell.

• Die Investition lohnt sich \(\Leftrightarrow\) Die Investition hat einen Erwartungswert von 42 Euro; mit 90% Wahrscheinlichkeit wird der Gewinn zwischen -10000 und 100 Euro.

Übungsaufgabe 3.5 🏋 Geben Sie weitere Beispiele an!

3.3.2 Zwei Arten von Ungewissheit

Im Modellieren im Allgemeinen und in Regressionsmodellen im Besonderen lassen sich (mindestens) zwei Arten von Ungewissheiten angeben:

1. Wie (un)gewiss ist man sich über die Regressionsgewichte?

2. Wie (un)gewiss ist man sich über die Vorhersagegenauigkeit?

3.3.2.1 Betas: Ungewissheit zur Regressionsgeraden

Wenn wir von den Daten der Stichproben auf die Grundgesamtheit schließen, können wir nicht sicher sein, ob die Regressionskoeffizienten (Achsenabschnitt, Steigung der Regressionsgeraden) exakt richtig sind, s. Abbildung 3.3.

Listing 3.1: Regressionsmodell für Klausurerfolg als Funktion der Lernzeit (lm_toni)

noten2 <- read.csv("data/noten2.csv")
lm_toni <- lm(y ~ x, data = noten2)

(a) Ungewissheit für den Achsenabschnitt: Die Gerade könnte ‘höher’ oder ‘niedriger’ aufgehängt sein.

(b) Ungewissheit für die Steigung der Regressionsgeraden: Die Gerade könnte mehr oder weniger steigen.

Abbildung 3.3: Wir könnten nicht sicher sein, dass der Achsenabschnitt und die Geradensteigung unseres Modells exakt richtig sind. Diese Werte könnten auch etwas größer oder kleiner sein.

Wie man in Abbildung 3.4 sieht, können sich die Koeffizienten des Modells (\(\beta_0\), Achsenabschnitt und \(\beta_1\), Steigung) unterscheiden. Woran liegt das?

Beispiel 3.3 (Stichproben der New Yorker Flüge) Nehmen wir an, wir ziehen ein paar Zufallstichproben aus der Menge (Population) aller Flüge, die in New York im Jahre 2013 gestartet sind. In jeder Stichprobe berechnen wir eine Regression zwischen Flugzeit und Verspätung des Flugs am Ankunftsort. Sicherlich werden sich die Stichproben in ihren Kennwerten, z.B. in den Koeffizienten der genannten Regression, unterscheiden.\(\square\)

library(nycflights13)
data(flights)

stipro1 <- sample_n(flights, size = 100)
stipro2 <- sample_n(flights, size = 100)
stipro3 <- sample_n(flights, size = 100)

(a) Stichprobe 1

(b) Stichprobe 2

(c) Stichprobe 3

Abbildung 3.4: Regressionsanalysen mit verschiedenen Koeffizienten aufgrund der Zufälligkeit des Stichprobenziehens

Der Grund für die Schwankungen der Modellparameter zwischen den Stichproben ist die Zufälligkeit des Stichprobenziehens. Je nachdem, wie es der Zufall (oder sonst wer) will, landen bestimmte Fälle (Flüge in unserem Beispiel) in unserer Stichprobe. Zumeist unterscheiden sich die Stichproben; theoretisch könnten sie aber auch rein zufällig gleich sein.

Wichtig

Stichproben-Kennwerte schwanken um den tatsächlichen Wert in der Population herum. \(\square\)

Um diese Ungewissheit, die sich in den Schwankungen der Stichproben-Regressionskoeffizienten ausdrückt, anzuzeigen, ist ein “grauer Schleier” um die Regressionsgeraden in Abbildung 3.4 gekennzeichnet. Dieser graue Schleier gibt also eine Spannbreite anderer, plausibler Lagen der Regressionsgeraden an, die sich in einer anderen Stichprobe auch manifestieren könnten.

3.3.2.2 Sigma: Ungewissheit zur Genauigkeit der Vorhersage

Angenommen, wir sind uns sicher über die Werte der Modellparameter (\(\beta_0, \beta_1\)), also über die Lage der Regressionsgeraden, anschaulich gesprochen. Dann bliebe immer noch Ungewissheit, wie genau die Vorhersagen sind, wie groß also die Abstände zwischen vorhergesagten und tatsächlichen Werten. Wenn nicht die richtigen UVs im Modell sind (relevante fehlen oder auch irrelevante sind enthalten), dann liegen Vorhersagen und wirkliche Werte weiter auseinander: diese Streuung kann man als “Rauschen” bezeichnen, s. Abbildung 3.5. Diese Art der Ungewissheit ist dann interessant, wenn man Vorhersagen macht und sich fragt, wie präzise diese Vorhersage ist. Die Präzision eines Modells kann man mit einem von zwei Kennwerten ausdrücken, die die gleiche Aussage machen. Diese zwei Kennwerte sind \(R^2\) (R-Quadrat) und \(\sigma\) (sigma).

Definition 3.4 (Sigma als mittleren Vorhersagefehler) \(\sigma\) gibt (grob gesagt) den mittleren Vorhersagefehler des Modells an. Einfach gesprochen sagt \(\sigma\) wie weit eine Vorhersage im Durchschnitt vom wahren Wert entfernt ist. \(\square\)

(a) Geringer Vorhersagefehler (hohe Vorhersagegüte): Die vertikalen Balken sind kurz.

(b) Hoher Vorhersagefehler: Die vertikalen Balken sind lang.

(c) auch hoher Vorhersagefehler

Abbildung 3.5: Regressionsanalyse mit gleicher Regressionsgerade, aber unterschiedlicher Vorhersagegüte. Die Vorhersagefehler sind mit mit farbigen vertikalen Balken markiert. Je kürzer die Balken, desto besser (genauer) die Vorhersage.

3.3.3 Ich weiß, was ich nicht weiß: Ungewissheit angeben

Streng genommen ist eine Inferenz ohne Angabe der Ungewissheit (Genauigkeit der Schätzung) wertlos. Angenommen, jemand sagt, dass sie den Anteil der R-Fans (in der Population) auf 42% schätzt, lässt aber offen wie sicher (präzise) die Schätzung (der Modellparameter) ist. Wir wissen also nicht, ob z.B. 2% oder 82% noch erwartbar sind. Oder ob man im Gegenteil mit hoher Sicherheit sagen kann, die Schätzung schließt sogar 41% oder 43% aus.

Wichtig

Schließt man auf eine Population, schätzt also die Modellparameter, so sollte stets die (Un-)Genauigkeit der Schätzung, also die Ungewissheit des Modells, angegeben sein.\(\square\)

Im Rahmen der Regressionsanalyse schlägt sich die Ungewissheit an zwei Stellen (und in drei Parametern) nieder:

1. zur Präzision der Regressionsgeraden \(\beta_0\), \(\beta_1\)
2. zur Modellgüte (\(R^2\)) bzw. zum Vorhersagefehler, \(\sigma\)³

3.3.4 Konfidenzintervall

Wir haben gesehen, dass wir die Werte der Parameter nur mit Ungewissheit angeben können (s. Abbildung 3.3 und Abbildung 3.5). Um dieser Ungewissheit Rechnung zu tragen, gibt man nicht nur einen einzelnen Wert an, einen Punktschätzer, sondern man gibt einen Schätzbereich auf Basis der Daten an, s. Tabelle 3.2.

Man spricht anstatt von Schätzbereich auch von einem Konfidenzintervall.⁴

model_parameters(lm_toni) |> 
  print_md()

Tabelle 3.2: Punktschätzer und Schätzbereiche für die Modellkoeffizienten von lm_toni

Parameter	Coefficient	SE	95% CI	t(98)	p
(Intercept)	46.19	5.14	(35.99, 56.39)	8.98	< .001
x	0.88	0.10	(0.68, 1.08)	8.92	< .001

Unser Modell gibt den 95%-Schätzbereich für den Achsenabschnitt an, ca. von 36 bis 56 Klausurpunkten. Die Steigung wird geschätzt auf ca. 0.7 bis 1.1 Klausurpunkte pro Stunde Lernzeit.

Definition 3.5 (Konfidenzintervall) Ein Konfidenzintervall (confidence interval, CI) ist ein Oberbegriff für Schätzbereiche für Parameter wie Regressionskoeffizienten. Die Grenzen eines Konfidenzintervalls markieren die Grenzen eines Bereichs plausibler Werte für einen Parameter. \(\square\)

Es gibt verschiedene Arten, Konfidenzintervalle zu berechnen; wir sprechen in späteren Kapiteln dazu ausführlicher. Ein Konfidenzintervall wird häufig mit 90% oder 95% Genauigkeit angegeben. Im Kontext der Bayes-Analyse - auf der dieser Kurs aufbaut - ist ein Konfidenzintervall einfach zu interpretieren. Sagen wir, wir finden, dass in einem Modell ein 95%-Konfidenzintervall für den Anteil der R-Fans angegeben wird, das sich von 40 bis 44 Prozent erstreckt. Dieser Befund lässt sich so interpretieren:

“Laut Modell liegt der gesuchte Anteil der R-Fans mit einer Wahrscheinlichkeit von 95% im Bereich von 40 bis 44 Prozentpunkten.”

Übungsaufgabe 3.6 Geben Sie Beispiele für Konfidenzintervalle an.

3.4 Frequentistische Inferenz vs. Bayes-Inferenz

Es gibt zwei Hauptarten von Inferenzstatistik: Frequentistische Inferenz und Bayes-Inferenz.

Frequentismus: Klassische Inferenz

1. Ziel ist es, den Anteil von Fehlentscheidungen auf lange Sicht zu kontrollieren.
2. Keine Berücksichtigung von Vorwissen zum Sachgegenstand
3. Wahrscheinlichkeit wird über relative Häufigkeiten definiert.
4. Es ist nicht möglich, die Wahrscheinlichkeit einer Hypothese bzw. eines Werts in der Population (eines Parameters) anzugeben.
5. Stattdessen wird angegeben, wie häufig eine vergleichbare Datenlage zu erwarten ist, wenn der Versuch sehr häufig (unendlich oft) wiederholt ist.
6. Ein Großteil der Forschung (in den Sozialwissenschaften) verwendet (aktuell) diesen Ansatz.

Bayesianische Inferenz

1. Ziel ist es, die Wahrscheinlichkeit einer Hypothese korrekt zu bemessen.
2. Vorwissen (Priori-Wissen) fließt explizit in die Analyse ein (zusammen mit den Daten).
3. Wenn das Vorwissen gut ist, wird die Vorhersage durch das Vorwissen genauer, ansonsten ungenauer.
4. Die Wahl des Vorwissens muss explizit (kritisierbar) sein.
5. In der Bayes-Inferenz sind Wahrscheinlichkeitsaussagen für Hypothesen möglich.
6. Die Bayes-Inferenz erfordert mitunter viel Rechenzeit und ist daher erst in den letzten Jahren (für gängige Computer) komfortabel geworden.

3.4.1 Frequentistische Inferenz und der p-Wert

Der zentrale Kennwert der frequentistischen Inferenz (synonym: Frequentismus) ist der p-Wert.

Der p-Wert ist so definiert, vgl. Wasserstein & Lazar (2016):

Wie hoch ist die Wahrscheinlichkeit eines empirischen Befunds (oder noch extremere Werte), vorausgesetzt die Nullhypothese \(H_0\) gilt und man wiederholt den Versuch unendlich oft (mit gleichen Bedingungen, aber zufällig verschieden und auf Basis unseres Modells)?

Einfacher gesagt:

Der p-Wert ist die Wahrscheinlichkeit, ein Ergebnis zu erhalten, das mindestens so extrem ist wie das beobachtete, unter der Annahme, dass es keinen Effekt gibt.

Noch einfacher:

• Man nimmt an, dass es keinen Effekt gibt (z.B. kein Zusammenhang zwischen den untersuchten Variablen)

• Dann fragt man: Wie überraschend wären meine Daten unter dieser Annahme?

• Der p-Wert gibt genau diese Überraschungs-Wahrscheinlichkeit an.

Übungsaufgabe 3.7 🏋 Recherchieren Sie eine Definition des p-Werts und lesen Sie sie einem Freund. Beobachten sie die Reaktionen auf Ihre Erklärung.\(\square\)

Der p-Wert wird oft falsch verstanden (Badenes-Ribera et al., 2016). Aber er ist auch nicht leicht zu verstehen, meint Meister Yoda, s. Abbildung 3.6. Hier sind einige FALSCHE Interpretationen zum p-Wert laut der Autoren:

• 🙅‍♀ Der p-Wert würde die Wahrscheinlichkeit der Nullhypothese oder der Forschungshypothese angeben. 🙊 FALSCH!
• 🙅‍♀ Der p-Wert würde ein inhaltlich bedeutsames, praktisch signifikantes Ergebnis anzeigen. 🙊 FALSCH!

Abbildung 3.6: Der p-Wert ist wenig intuitiv, meint Meister Yoda

Wichtig

Ein frequentistisches Konfidenzintervall macht keine Aussage zur Wahrscheinlichkeit eines Werts in der Population (eines Parameters). Stattdessen wird eine Aussage über das Ergebnis einer sehr häufig wiederholten Stichprobenziehung berichtet. Ob ein bestimmtes (unseres, Ihres) den wahren Wert enthält, bzw. mit welcher Wahrscheinlichkeit es den wahren Wert enthält, darüber macht das frequentistische Konfidenzintervall keine Aussagen. \(\square\)

3.4.2 Bayes-Inferenz

Die zentrale Statistik der Bayes-Inferenz bzw. (synonym) Bayes-Statistik ist die Posteriori-Verteilung.

Die Posteriori-Verteilung beantwortet uns die Frage: “Wie wahrscheinlich ist die Forschungshypothese (oder Varianten von ihr), jetzt, nachdem wir die Daten kennen, auf Basis unseres Modells?”

In der Bayes-Statistik sind Aussagen folgender Art erlaubt:

Mit einer Wahrscheinlichkeit von 95% ist der neue Webshop besser als der alte. Mit einer Wahrscheinlichkeit von 89% liegt die Wirksamkeit des neuen Medikaments zwischen 0.1 und 0.4.

3.4.3 Statistische Signifikanz

Im Frequentismus spricht man von statistischer Signifikanz, wenn der p-Wert kleiner ist als 5%: \(p<.05\) (oder einen anderen Prozentwert als 5%, aber meistens wird 5% hergenommen). Man nimmt diesen Befund als Beleg, dass man einen Effekt gefunden hat, die Hypothese eines Nulleffekts (z.B. kein Zusammenhang von X und Y) also verwerfen kann. Faktisch entscheidet man sich, die Forschungshypothese weiterhin als “vorläufig gültig” oder zumindest als “nicht widerlegt” zu betrachten.

In der Bayes-Statistik ist der Begriff der Signifikanz nicht einheitlich definiert. Mit Bezug auf Gelman et al. (2021) (S. 57) wird in diesem Buch der Begriff wie folgt definiert - mit Gültigkeit sowohl für Bayes-Statistik als auch für Frequentistische Statistik.

Definition 3.6 (Statistische Signifikanz im Frequentismus und im Bayesismus) Ist der Wert Null nicht im Schätzbereich enthalten, so liegt ein statistisch signifikantes Ergebnis vor. \(\square\)

Oft werden 95%-Konfidenzintervalle verwendet, obwohl das nur eine Konvention ist. Die Signifikanzaussage bezieht sich immer auf einen Schätzbereich bestimmter Größe, z.B. 95% (und des Modells inklusive Daten).

Liegt ein statistisch signifikantes Ergebnis vor, so verwirft man die Nullhypothese und akzeptiert die Alternativhypothese (synonym: Effekthypothese).

Definition 3.7 (Exakte Nullhypothese) Die exakte Nullhypothese (meist kurz nur als Nullhypothese bezeichnet), \(H_0\), besagt, dass kein (null) Effekt (keine Abweichung vom Referenzwert, kein Unterschied zwischen Gruppen, kein Zusammenhang zwischen UV und AV, Veränderung vor vs. nach der Intervention, …) vorliegt. \(\square\)

Definition 3.8 (Alternativhypothese (Effekthypothese)) Eine Hypothese, die besagt, dass es einen (substanziellen) Effekt gibt. Das kann z.B. ein Unterschied zwischen den untersuchten Gruppen sein oder ein Zusammenhang zwischen den untersuchten Variablen. Logisch betrachtet ist die Alternativhypothese meist das Gegenteil der Nullhypothese. \(\square\)

Beispiel 3.4 (Beispiele für Effekthypothesen)  

• Die Trefferquote der Münze ist \(\pi = .7\) (Kopf), weicht also um 0.2 von 0.5, dem Wert laut Nullhypothese, ab.
• Der Unterschied im mittleren Gewicht zwischen den Gruppen beträgt ca. 500-600 g.
• Der Korrelationskoeffizient \(\rho\) liegt bei ca. .5 bis .7, ist also nicht Null.
• Der standardisierte Regressionskoeffizient \(\beta\) liegt bei ca. .1 bis .2, ist also nicht Null.
• Der Unterschied in Gestimmtheit vor vs. nach der Induktion von Einsamkeit liegt bei \(X_d = .3\), ist also nicht Null. \(\square\)

Beispiel 3.5 (Beispiele für Nullhypothesen)  

1. H₀: μ = 100 (Der Populationsmittelwert beträgt 100)
2. H₀: μ₁ = μ₂ (Es gibt keinen Unterschied zwischen den Mittelwerten zweier Gruppen)
3. H₀: ρ = 0 (Es besteht kein linearer Zusammenhang zwischen zwei Variablen)
4. H₀: π = 0.5 (Die Wahrscheinlichkeit für “Erfolg” beträgt 50%; die Münze ist “fair”)
5. H₀: μ₁ = μ₂ = μ₃ = μ₄ (Alle Gruppenmittelwerte sind gleich; bei ANOVA)
6. H₀: β₁ = 0 (Der Regressionskoeffizient ist null; kein Effekt des Prädiktors)
7. H₀: σ₁² = σ₂² (Die Varianzen zweier Populationen sind gleich) \(\square\)

Statistische Signifikanz im Frequentismus (nicht in der Bayes-Statistik) ist auch eine Funktion der Stichprobengröße: Wenn die Stichprobe groß genug ist, wird jeder Test signifikant (sofern der Effekt nicht exakt Null ist). Daher hat ein signifikantes Ergebnis zwei mögliche Ursachen: Der Effekt ist groß oder (auch) die Stichprobe ist groß, s. Abbildung 3.7.

flowchart LR
S[Stichprobengröße]
E[Effektgröße]
p[p<0.05]
S-->p
E-->p

Abbildung 3.7: Der p-Wert ist nicht nur eine Funktion der Effektgröße, sondern auch der Stichprobengröße. Große Stichproben werden zwangsläufig signifikant, sofern der Effekt nicht exakt Null ist.

Übrigens sollte man nicht nur von “Signifikanz”, sondern von “statistischer Signifikanz” sprechen, um klar zu machen, dass man nicht ein Alltagsverständnis von Signifikanz (“groß”, “bedeutsam”) meint, sondern einen wohl definierten statistischen Begriff. Das ist wichtig, weil es sonst leicht zu Fehlinterpretationen kommt.

Makowski et al. (2019) schlagen vor, welche Kennwerte der Bayes-Statistik analog zum \(p\)-Wert herangezogen werden können. Eine Möglichkeit dafür ist der Kennwert pd (probability of direction).

Übungsaufgabe 3.8 (Abhängigkeit vom Handy) Die Studie von Kabadayi (2024) untersucht den Zusammenhang von Smartphone-Abhängigkeit mit gesundheitlichen Problemen wie Depression, Stress, Einsamkeit und Schlafschwierigkeiten bei Heranwachsenden.

Lesen Sie den Abstract der Studie und Tabelle 2 (sowie alle Teile, die Sie benötigen, um Tabelle 2 zu verstehen).

1. Was ist der stärkste Zusammenhang bzgl. Smartphone-Abhängigkeit? Wie hoch ist er? Wie groß ist die erklärte Varianz des Zusammenhangs?
2. Zwischen welchen Variablen findet sich ein “statistisch signifikanter” Zusammenhang?
3. Erklären Sie, was ein “statistisch signifikanter Zusammenhang” hier bedeutet? \(\square\)

3.4.4 Frequentist und Bayesianer

Im Cartoon 1132 von xkcd wird sich über das Nicht-Berücksichtigen von Vorab-Informationen (Prior-Verteilung) lustig gemacht, s. Abbildung 3.8.

Abbildung 3.8: Frequentist wettet mit Bayesianer

Quelle

from Imgflip Meme Generator

Übungsaufgabe 3.9 (Peer Instruction: p-Wert) Der p-Wert ist der zentrale Kennwert der frequentistischen Statistik. Aber er wird immer wieder missverstanden. Welche Aussage zum p-Wert ist korrekt?

1. Ein p-Wert von 0,04 bedeutet, dass die Nullhypothese mit 96 % Wahrscheinlichkeit falsch ist.
2. Ein p-Wert größer als 0,05 beweist, dass die Nullhypothese wahr ist.
3. Ein kleiner p-Wert bedeutet, dass ein großer Effekt vorliegt.
4. Ein p-Wert von 0,01 bedeutet, dass sich bei Wiederholung der Studie mit 99% wieder ein signifikantes Ergebnis finden wird.
5. Keine der oben genannten. \(\square\)

3.5 Aufgaben

Schauen Sie sich die Aufgaben mit dem Tag inference auf dem Datenwerk an.

3.5.1 Paper-Pencil-Aufgaben

1. Griech-Buchstaben-Inferenz
2. inferenz-fuer-alle
3. ttest-als-regr
4. ttest-skalenniveau
5. pwert2
6. interpret-ci
7. interpret-ci2
8. gruppenvergleich-regression
9. Warum-Bayes
10. samples-nyc2
11. parameter-genau
12. punktschaetzer-reicht-nicht

3.5.2 Aufgaben, für die man einen Computer braucht

1. korr-als-regr
2. ungewiss-arten-regr
3. inferenz-fuer-alle
4. adjustieren1a
5. adjustieren2a
6. lm-standardfehler
7. vorhersageintervall1

3.5.3 Quiz-Aufgaben

Hier finden Sie Single-Choice-Aufgaben zu diesem Kapitel. Wählen Sie eine Antwort aus und klicken Sie auf das Häkchen, um sie zu überprüfen; über das Fragezeichen erhalten Sie die ausführliche Lösung.

Wie ist Populationsinferenz (Inferenzstatistik, schließende Statistik) korrekt definiert, und wie unterscheidet sie sich von der Deskriptivstatistik?

Populationsinferenz und Deskriptivstatistik bezeichnen exakt denselben Vorgang, nur mit unterschiedlichem Namen.Populationsinferenz ist nur dann anwendbar, wenn die gesamte Population (nicht nur eine Stichprobe) vermessen wurde.Populationsinferenz bezeichnet ausschließlich das Ziehen einer Zufallsstichprobe aus einer Population, nicht die anschließende Verallgemeinerung.Populationsinferenz verallgemeinert von den Daten einer begrenzten Stichprobe auf eine zugrundeliegende Grundgesamtheit (Population); Deskriptivstatistik fasst hingegen nur die Stichprobe selbst zu Kennzahlen zusammen, ohne über sie hinauszugehen.Deskriptivstatistik verallgemeinert von der Stichprobe auf die Population, Populationsinferenz beschränkt sich hingegen auf die reine Beschreibung der Stichprobe.

Laut Definition ist Populationsinferenz “der Teilbereich der Statistik, der sich damit befasst, von den Daten einer begrenzten Stichprobe auf eine zugrundeliegende Grundgesamtheit (Population) zu verallgemeinern (zu schließen)”. Die Deskriptivstatistik hingegen fasst nur Merkmale aus der Stichprobe zu Kennzahlen zusammen, ohne den Anspruch, darüber hinaus etwas über die Population auszusagen. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option ignoriert den zentralen Unterschied: Deskriptivstatistik bleibt bei der Stichprobe, Inferenzstatistik geht darüber hinaus und verallgemeinert auf die Population.

• Die dritte Option vertauscht die beiden Begriffe genau umgekehrt zur richtigen Zuordnung.

• Die vierte Option widerspricht dem Sinn der Inferenzstatistik: Gerade weil man nicht die gesamte Population kennt (sondern nur eine Stichprobe), braucht man Inferenzstatistik, um dennoch Aussagen über die Population zu treffen.

• Die fünfte Option verwechselt einen Teilschritt (Stichprobenziehung) mit dem eigentlichen inferenzstatistischen Vorgang (der Verallgemeinerung von der Stichprobe auf die Population); Populationsinferenz umfasst explizit auch diesen Verallgemeinerungsschritt.

• Falsch

• Falsch

• Falsch

• Wahr

• Falsch

Schließt man aus einer Stichprobe, dass der Anteil der R-Fans in einer Population bei 42% liegt, so ist dieser Schluss zwangsläufig mit Ungewissheit behaftet. Warum ist das so?

Ungewissheit lässt sich durch geschicktes Runden der berechneten Prozentzahl vollständig vermeiden.Ungewissheit entsteht nur bei sehr kleinen Stichproben; ab einer Stichprobengröße von \(n=100\) verschwindet sie vollständig.Weil man nicht die gesamte Population, sondern nur einen (begrenzten) Teil davon – die Stichprobe – kennt; aus diesem begrenzten Wissen resultiert notwendig Unsicherheit darüber, ob der wahre Populationswert exakt dem Stichprobenwert entspricht.Weil Stichproben grundsätzlich fehlerhaft erhoben werden und Messfehler die einzige Ursache von Ungewissheit sind.Für die Stichprobe selbst besteht ebenso viel Ungewissheit wie für die Population, da man auch die Stichprobenwerte nicht exakt kennt.

Der Grund für die Ungewissheit liegt darin, dass man (von Messfehlern abgesehen) zwar sicher über die Stichprobe Bescheid weiß, aber eben nicht die gesamte Population gesehen bzw. vermessen hat. Aus diesem notwendig unvollständigen Wissen über die Population resultiert die Ungewissheit, ob der wahre Populationsanteil wirklich genau 42% beträgt oder etwas mehr bzw. weniger. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option ist zu eng gefasst: Messfehler blendet das Kapitel explizit aus (“Messfehler einmal ausgeblendet”) – die eigentliche Ursache der Ungewissheit ist die Stichprobenziehung selbst (dass man nur einen Teil, nicht die ganze Population kennt), nicht (nur) Messungenauigkeit.

• Die dritte Option ist falsch: Ungewissheit wird mit wachsender Stichprobengröße zwar tendenziell kleiner, verschwindet aber nicht vollständig, solange nicht die gesamte Population erfasst ist – es gibt keinen “magischen” Schwellenwert wie \(n=100\), ab dem sie komplett verschwindet.

• Die vierte Option widerspricht dem Kapitel direkt: “Sicher ist man sich hingegen für die Stichprobe (Messfehler einmal ausgeblendet)” – die Ungewissheit betrifft gerade die Verallgemeinerung auf die Population, nicht die (bekannte) Stichprobe selbst.

• Die fünfte Option verwechselt Rundung (eine rein numerische Darstellungsfrage) mit der inhaltlichen Ungewissheit über den wahren Populationswert – Runden ändert nichts an der zugrundeliegenden Unsicherheit.

• Falsch

• Falsch

• Wahr

• Falsch

• Falsch

Zwei Forschende schätzen je ein Regressionsmodell zur Vorhersage von Klausurpunkten anhand der Lernzeit.

• Modell A hat ein sehr enges Konfidenzintervall für die Steigung \(\beta_1\), aber die einzelnen Datenpunkte streuen recht stark um die Regressionsgerade (kleines \(R^2\), großes \(\sigma\)).
• Modell B hat ein breites Konfidenzintervall für \(\beta_1\), aber die Datenpunkte liegen sehr nah an der Regressionsgeraden (großes \(R^2\), kleines \(\sigma\)).

Welche Aussage zu den zwei Arten der Ungewissheit (Ungewissheit zur Regressionsgeraden vs. Ungewissheit zur Vorhersagegenauigkeit) trifft zu?

Modell A hat eine geringe Ungewissheit bzgl. der Lage der Regressionsgeraden (\(\beta\)), aber eine hohe Ungewissheit bzgl. der Vorhersagegenauigkeit einzelner Werte (\(\sigma\)); bei Modell B ist es umgekehrt.\(R^2\) und \(\sigma\) sind zwei völlig unabhängige, unverwandte Kennwerte ohne inhaltlichen Zusammenhang.Beide Modelle weisen bzgl. \(\beta\) und \(\sigma\) die gleiche Ungewissheit auf, da Konfidenzintervall-Breite und Streuung der Residuen dasselbe messen.Modell A hat sowohl bzgl. \(\beta\) als auch bzgl. \(\sigma\) eine höhere Ungewissheit als Modell B.Die Breite des Konfidenzintervalls für \(\beta_1\) hängt ausschließlich von \(\sigma\) ab, die Stichprobengröße spielt dabei keine Rolle.

Das Kapitel unterscheidet zwei Arten von Ungewissheit im Regressionsmodell: (1) Ungewissheit zu den Regressionsgewichten (\(\beta_0\), \(\beta_1\); ausgedrückt z.B. über die Breite ihrer Konfidenzintervalle) und (2) Ungewissheit zur Vorhersagegenauigkeit (ausgedrückt über \(\sigma\) bzw. \(R^2\)). Diese beiden Ungewissheiten sind grundsätzlich unabhängig voneinander: Ein Modell kann die Lage der Regressionsgeraden sehr genau kennen (enges Konfidenzintervall für \(\beta\)), aber trotzdem einzelne Werte nur ungenau vorhersagen (großes \(\sigma\)) – und umgekehrt. Genau das ist bei Modell A (enges \(\beta\)-KI, aber großes \(\sigma\)) und Modell B (breites \(\beta\)-KI, aber kleines \(\sigma\)) der Fall. Die erste Antwortoption beschreibt das korrekt.

Warum die Distraktoren falsch sind:

• Konfidenzintervall-Breite (Ungewissheit über \(\beta\)) und Residualstreuung (Ungewissheit über \(\sigma\)) messen unterschiedliche Dinge; sie können unabhängig voneinander groß oder klein sein, wie das Beispiel zeigt. Die zweite Option unterstellt fälschlich, beide seien identisch.

• Die dritte Option widerspricht direkt der Aufgabenstellung: Modell A hat gerade ein engeres \(\beta\)-Konfidenzintervall als Modell B, also nicht durchgängig mehr Ungewissheit.

• Die Breite des Konfidenzintervalls für \(\beta_1\) hängt zwar auch von \(\sigma\) ab, aber ebenso von der Stichprobengröße (größere Stichproben führen tendenziell zu engeren Konfidenzintervallen) sowie von der Streuung der UV. Die vierte Option ist daher eine unzulässige Vereinfachung.

• \(R^2\) und \(\sigma\) sind laut Kapitel zwei Kennwerte, “die die gleiche Aussage machen” – sie hängen also eng zusammen (beide quantifizieren die Vorhersagegüte/den Vorhersagefehler). Die fünfte Option behauptet das Gegenteil.

• Wahr

• Falsch

• Falsch

• Falsch

• Falsch

Hoekstra et al. (2014) legten Bachelor-Studierenden, Master-Studierenden und Forschenden sechs Aussagen zu einem 95%-Konfidenzintervall (Bereich 0,1 bis 0,4) vor. Alle sechs Aussagen sind für ein frequentistisches Konfidenzintervall falsch – wurden aber mehrheitlich als richtig eingeschätzt. Was ist der zentrale Grund dafür, dass diese Aussagen im Frequentismus falsch sind, während eine sinngemäß gleiche Aussage im Rahmen der Bayes-Statistik richtig wäre?

Beide Ansätze verbieten es grundsätzlich, einem Parameter eine Wahrscheinlichkeit zuzuordnen; deshalb bleiben alle sechs Aussagen in jedem Fall falsch.Der Unterschied liegt darin, dass die Bayes-Statistik grundsätzlich größere Stichproben benötigt, um Wahrscheinlichkeitsaussagen zu Parametern zu erlauben.Beide Ansätze erlauben direkte Wahrscheinlichkeitsaussagen über Parameter; sie unterscheiden sich nur in der Formel zur Berechnung der Intervallgrenzen.Im Frequentismus ist es erlaubt, einem Parameter eine Wahrscheinlichkeit zuzuordnen, in der Bayes-Statistik dagegen nicht.Im Frequentismus darf einem Parameter (bzw. einer Hypothese über ihn) keine Wahrscheinlichkeit zugeordnet werden; in der Bayes-Statistik ist genau das über die Posteriori-Verteilung möglich.

Der Kern des Unterschieds liegt in der Definition von Wahrscheinlichkeit und dem, worüber jeweils Wahrscheinlichkeitsaussagen erlaubt sind. Im Frequentismus wird Wahrscheinlichkeit über relative Häufigkeiten bei (gedanklich) unendlicher Wiederholung definiert; ein Parameter hat dort einen festen, aber unbekannten Wert – ihm eine Wahrscheinlichkeit zuzuordnen (z.B. “der wahre Wert liegt mit 95% Wahrscheinlichkeit zwischen 0,1 und 0,4”) ist logisch nicht vorgesehen. Ein frequentistisches Konfidenzintervall macht stattdessen nur eine Aussage über das Verfahren bei wiederholter Stichprobenziehung. In der Bayes-Statistik hingegen ist über die Posteriori-Verteilung genau eine solche Wahrscheinlichkeitsaussage über den Parameter (bzw. eine Hypothese über ihn) möglich und zulässig. Damit ist die erste Antwortoption korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option kehrt den Sachverhalt genau um: Nicht der Frequentismus, sondern die Bayes-Statistik erlaubt Wahrscheinlichkeitsaussagen über Parameter.

• Die dritte Option ist falsch, weil sie unterschlägt, dass die Bayes-Statistik solche Aussagen (im Unterschied zum Frequentismus) ausdrücklich zulässt – sonst gäbe es keinen Unterschied zwischen den Ansätzen zu erklären.

• Die vierte Option erfindet ein Kriterium (Stichprobengröße), das im Kapitel an keiner Stelle als Voraussetzung für Wahrscheinlichkeitsaussagen über Parameter genannt wird; der Unterschied ist konzeptueller, nicht stichprobengrößenbedingter Natur.

• Die fünfte Option ignoriert den zentralen Punkt der Studie von Hoekstra et al.: Gerade weil der Frequentismus solche Aussagen nicht erlaubt, wurden alle sechs Aussagen als falsch bewertet – der Unterschied liegt nicht nur in der Berechnungsformel.

• Falsch

• Falsch

• Falsch

• Falsch

• Wahr

In einer Studie wird ein Zusammenhang zwischen zwei Variablen untersucht; berichtet wird ein p-Wert von \(p = 0{,}03\). Welche Interpretation dieses p-Werts ist zutreffend?

Die Wahrscheinlichkeit, dass \(H_0\) (kein Zusammenhang) zutrifft, beträgt 3 %.Die Wahrscheinlichkeit, dass die Forschungshypothese (ein Zusammenhang besteht) zutrifft, beträgt 97 %.Der gefundene Zusammenhang ist mit 97%iger Sicherheit auch praktisch bedeutsam.Bei einer exakten Wiederholung der Studie würde man mit 97%iger Wahrscheinlichkeit erneut ein statistisch signifikantes Ergebnis erhalten.Unter der Annahme, dass in der Population kein Zusammenhang besteht (\(H_0\)), wäre ein mindestens so extremes Ergebnis wie das beobachtete mit einer Wahrscheinlichkeit von 3 % zu erwarten, wenn man die Studie (unter gleichen Bedingungen) gedanklich unendlich oft wiederholen würde.

Der p-Wert ist definiert als die Wahrscheinlichkeit, ein empirisches Ergebnis zu erhalten, das mindestens so extrem ist wie das beobachtete, vorausgesetzt die Nullhypothese \(H_0\) gilt (und man wiederholt den Versuch gedanklich unendlich oft unter gleichen Bedingungen). Das entspricht exakt der ersten Antwortoption. Der p-Wert ist also eine bedingte Wahrscheinlichkeit – bedingt auf die Gültigkeit von \(H_0\) – und keine Wahrscheinlichkeitsaussage über \(H_0\) selbst oder über die Forschungshypothese.

Warum die Distraktoren falsch sind:

• Die zweite Option verwechselt den p-Wert mit der Wahrscheinlichkeit von \(H_0\) selbst (\(Pr(H_0 | \text{Daten})\)). Der p-Wert ist aber \(Pr(\text{Daten (oder extremer)} | H_0)\) – eine bedingte Wahrscheinlichkeit in die andere Richtung. Das ist eine der im Kapitel explizit genannten typischen Fehlinterpretationen.

• Die dritte Option begeht denselben Fehler in Bezug auf die Forschungshypothese: Der p-Wert sagt nichts über die Wahrscheinlichkeit der Alternativhypothese aus; zudem ergänzen sich “\(Pr(H_0)\)” und “\(Pr(\text{Forschungshypothese})\)” nicht einfach zu 100 %, wie hier unterstellt.

• Die vierte Option verwechselt statistische Signifikanz mit praktischer Bedeutsamkeit (Effektgröße). Ein kleiner p-Wert sagt nichts über die Größe oder praktische Relevanz eines Effekts aus – das Kapitel warnt ausdrücklich vor dieser Verwechslung.

• Die fünfte Option begeht den “Replikations-Fehlschluss”: Der p-Wert einer einzelnen Studie sagt nichts darüber aus, wie wahrscheinlich ein erneut signifikantes Ergebnis bei Replikation ist; diese Wahrscheinlichkeit hängt von der (unbekannten) tatsächlichen Effektgröße, der Power der Studie und weiteren Faktoren ab, nicht einfach vom Komplement des p-Werts.

• Falsch

• Falsch

• Falsch

• Falsch

• Wahr

Nach der im Kapitel verwendeten Definition (angelehnt an Gelman) gilt ein Ergebnis als statistisch signifikant, wenn der Nullwert nicht im Schätzbereich (Konfidenzintervall) enthalten ist. Welche der folgenden Aussagen zur statistischen Signifikanz im Frequentismus ist korrekt?

Statistische Signifikanz hängt ausschließlich von der Stichprobengröße ab; die Effektgröße ist dabei irrelevant.Ein nicht signifikantes Ergebnis bei kleiner Stichprobe ist der Beweis dafür, dass in der Population kein Effekt existiert.Ein statistisch signifikantes Ergebnis bedeutet automatisch, dass der gefundene Effekt auch praktisch bedeutsam ist.Statistische Signifikanz hängt ausschließlich von der Effektgröße ab; die Stichprobengröße spielt dabei keine Rolle.Ein statistisch signifikantes Ergebnis kann sowohl durch einen großen Effekt als auch durch eine große Stichprobe zustande kommen; bei ausreichend großer Stichprobe wird (fast) jeder von Null verschiedene Effekt irgendwann signifikant.

Im Kapitel wird ausdrücklich betont, dass statistische Signifikanz im Frequentismus eine Funktion sowohl der Effektgröße als auch der Stichprobengröße ist: Wenn die Stichprobe groß genug ist, wird (fast) jeder Test signifikant, sofern der wahre Effekt nicht exakt Null ist. Ein signifikantes Ergebnis kann also entweder daher rühren, dass der Effekt groß ist, oder daher, dass die Stichprobe groß ist (oder beides). Das entspricht der ersten Antwortoption.

Warum die Distraktoren falsch sind:

• Die zweite Option ignoriert genau den im Kapitel hervorgehobenen Punkt, dass auch die Stichprobengröße die Signifikanz beeinflusst – unabhängig von der tatsächlichen Effektgröße.

• Die dritte Option geht in die andere Richtung zu weit: Auch die Effektgröße spielt eine Rolle (bei Effekt = 0 in der Population wird ein Ergebnis nicht systematisch signifikant, egal wie groß die Stichprobe ist – abgesehen vom Fehler 1. Art).

• Die vierte Option verwechselt statistische Signifikanz mit praktischer Bedeutsamkeit. Gerade weil auch sehr kleine, praktisch irrelevante Effekte bei großen Stichproben signifikant werden können, ist diese Gleichsetzung eine der häufigsten Fehlinterpretationen, vor der das Kapitel warnt.

• Die fünfte Option begeht den Fehlschluss “Abwesenheit von Evidenz ist Evidenz für Abwesenheit”: Ein nicht-signifikantes Ergebnis, insbesondere bei kleiner Stichprobe (und entsprechend geringer Power), zeigt lediglich, dass der Nullwert nicht ausgeschlossen werden konnte – es ist kein Beweis, dass kein Effekt existiert.

• Falsch

• Falsch

• Falsch

• Falsch

• Wahr

Das Kapitel verwendet (mit Bezug auf Gelman) eine bestimmte Definition von statistischer Signifikanz, die explizit sowohl für die frequentistische als auch für die Bayes-Statistik gültig sein soll. Wie lautet diese Definition?

Ein Ergebnis ist statistisch signifikant, wenn der Effekt größer als 50% der Streuung der AV ist.Ein Ergebnis ist statistisch signifikant, wenn der p-Wert exakt Null beträgt.Statistisch signifikant ist ein Ergebnis genau dann, wenn es auf einer Stichprobe von mindestens \(n=1000\) beruht.Ein Ergebnis gilt als statistisch signifikant, wenn der Wert Null nicht im Schätzbereich (Konfidenzintervall bzw. Post-Intervall) für den betreffenden Parameter enthalten ist.Statistische Signifikanz ist ausschließlich für die frequentistische Statistik definierbar, für die Bayes-Statistik gibt es keine entsprechende Definition.

Die im Kapitel verwendete (an Gelman angelehnte) Definition lautet: “Ist der Wert Null nicht im Schätzbereich enthalten, so liegt ein statistisch signifikantes Ergebnis vor.” Diese Definition ist bewusst so formuliert, dass sie sowohl auf frequentistische Konfidenzintervalle als auch auf Bayes’sche Post-Intervalle (z.B. ein 95%-PI oder HDI) anwendbar ist – sie bezieht sich rein auf die Lage des Schätzbereichs relativ zu Null, unabhängig vom statistischen Paradigma. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option verwechselt Signifikanz mit einer (in der Praxis ohnehin so gut wie nie auftretenden) exakten Nullwahrscheinlichkeit des p-Werts – die tatsächliche Definition bezieht sich auf die Lage von Null relativ zum Schätzbereich, nicht auf einen bestimmten p-Wert.

• Die dritte Option widerspricht dem zentralen Anliegen des Kapitels: Die Definition wird ausdrücklich so gewählt, dass sie auch für die Bayes-Statistik gilt, nicht nur für den Frequentismus.

• Die vierte Option erfindet ein im Kapitel nicht genanntes, willkürliches Kriterium (50% der Streuung der AV) – die tatsächliche Definition bezieht sich allein darauf, ob Null im Schätzbereich liegt.

• Die fünfte Option nennt eine im Kapitel nicht erwähnte feste Mindeststichprobengröße als Kriterium für Signifikanz – die Definition ist unabhängig von einer konkreten Stichprobengröße formuliert (auch wenn die Stichprobengröße die Breite des Schätzbereichs beeinflusst).

• Falsch

• Falsch

• Falsch

• Wahr

• Falsch

Welche der folgenden Aussagen beschreibt einen im Kapitel dargestellten, zutreffenden Unterschied zwischen frequentistischer und Bayes-Inferenz?

In der Bayes-Inferenz fließt Vorwissen (Priori-Wissen) explizit in die Analyse ein, und es sind Wahrscheinlichkeitsaussagen über Hypothesen möglich; im Frequentismus ist beides nicht vorgesehen.In beiden Ansätzen sind direkte Wahrscheinlichkeitsaussagen über Hypothesen oder Parameter möglich; sie unterscheiden sich nur in der Berechnungsmethode.Der Frequentismus berücksichtigt explizit Vorwissen über den untersuchten Sachverhalt, die Bayes-Inferenz hingegen nicht.Beide Ansätze kommen bei denselben Daten immer zu identischen inhaltlichen Schlussfolgerungen, da sie auf denselben Rohdaten beruhen.Die Bayes-Inferenz definiert Wahrscheinlichkeit stets über relative Häufigkeiten bei (gedanklich) unendlicher Wiederholung, der Frequentismus über subjektives Vorwissen.

Laut Kapitel unterscheiden sich Frequentismus und Bayes-Inferenz insbesondere darin, dass (a) die Bayes-Inferenz Vorwissen (Priori-Wissen) explizit und kritisierbar in die Analyse einbezieht, während der Frequentismus dies nicht tut, und (b) nur die Bayes-Inferenz direkte Wahrscheinlichkeitsaussagen über Hypothesen (bzw. Parameter) erlaubt, während der Frequentismus stattdessen angibt, wie häufig eine vergleichbare Datenlage bei (gedanklich) unendlicher Wiederholung zu erwarten wäre. Das entspricht der ersten Antwortoption.

Warum die Distraktoren falsch sind:

• Die zweite Option kehrt den Sachverhalt genau um: Es ist die Bayes-Inferenz, die Vorwissen explizit berücksichtigt (über die Priori-Verteilung), nicht der Frequentismus.

• Die dritte Option ist falsch, weil gerade dieser Punkt – ob Wahrscheinlichkeitsaussagen über Hypothesen/Parameter erlaubt sind – der entscheidende konzeptuelle (nicht nur rechnerische) Unterschied zwischen beiden Ansätzen ist.

• Die vierte Option vertauscht die Definitionen: Der Frequentismus definiert Wahrscheinlichkeit über relative Häufigkeiten bei (gedanklich) unendlicher Wiederholung; die Bayes-Statistik lässt daneben auch subjektives Vorwissen (Priori) als Wahrscheinlichkeit zu.

• Die fünfte Option ist falsch, da beide Ansätze – je nach gewähltem Modell bzw. Prior – durchaus zu unterschiedlichen Schlussfolgerungen (z.B. unterschiedlichen Interpretationen von Signifikanz oder Unsicherheit) gelangen können, auch bei identischen Rohdaten.

• Wahr

• Falsch

• Falsch

• Falsch

• Falsch

Eine Forscherin möchte prüfen, ob in der Population ein linearer Zusammenhang zwischen Schlafdauer und Konzentrationsfähigkeit besteht. Wie lautet die dazu passende Nullhypothese?

\(H_0: r = 0\) (Es besteht kein linearer Zusammenhang in der Stichprobe.)\(H_0: \rho = 0\) (Es besteht kein linearer Zusammenhang zwischen Schlafdauer und Konzentrationsfähigkeit in der Population.)\(H_1: \rho \neq 0\) (Es besteht ein linearer Zusammenhang in der Population.)\(H_0: \mu_1 = \mu_2\) (Es gibt keinen Unterschied zwischen zwei Gruppenmittelwerten.)\(H_0: \rho = 1\) (Es besteht ein perfekter linearer Zusammenhang in der Population.)

Die Nullhypothese (\(H_0\)) besagt stets, dass kein Effekt vorliegt – hier also kein linearer Zusammenhang. Da es sich um eine Aussage über die Grundgesamtheit (Population) handelt, muss der griechische Buchstabe für den Populationsparameter der Korrelation verwendet werden: \(\rho\) (rho), nicht der lateinische Buchstabe \(r\), der die Korrelation in der Stichprobe bezeichnet. Damit lautet die korrekte Nullhypothese \(H_0: \rho = 0\), entsprechend der ersten Antwortoption.

Warum die Distraktoren falsch sind:

• \(H_0: \rho = 1\) würde einen perfekten Zusammenhang als Nullhypothese festlegen – das Gegenteil der eigentlichen Fragestellung (kein Zusammenhang) und zudem unüblich als Referenzwert.

• \(H_0: r = 0\) verwendet den lateinischen Buchstaben \(r\), der die Korrelation in der Stichprobe (eine Statistik) bezeichnet. Hypothesen beziehen sich aber per Definition auf Parameter der Population, wofür griechische Buchstaben (hier \(\rho\)) verwendet werden – diese Verwechslung von Statistik und Parameter ist ein klassischer Fehler.

• Die vierte Option ist als Alternativhypothese (\(H_1\)) formuliert (es besteht ein Zusammenhang) und beantwortet damit nicht die Frage nach der Nullhypothese; zudem ist die Benennung (\(H_1\) statt \(H_0\)) hier explizit falsch zugeordnet.

• \(H_0: \mu_1 = \mu_2\) bezieht sich auf einen Mittelwertsvergleich zwischen zwei Gruppen und ist die passende Nullhypothese für einen Gruppenvergleich (z.B. t-Test), nicht für einen Zusammenhang zwischen zwei metrischen Variablen wie Schlafdauer und Konzentrationsfähigkeit.

• Falsch

• Wahr

• Falsch

• Falsch

• Falsch

Was ist laut Kapitel eine Alternativhypothese (Effekthypothese), und welche der folgenden Aussagen ist ein Beispiel dafür?

Eine Alternativhypothese kann niemals mit einem Konfidenzintervall in Verbindung gebracht werden.“Die Trefferquote der Münze beträgt \(\pi=0{,}5\)” ist ein typisches Beispiel für eine Alternativhypothese.Eine Alternativhypothese bezieht sich immer nur auf Stichprobenkennwerte, niemals auf Populationsparameter.Eine Alternativhypothese behauptet stets, dass kein Effekt vorliegt – sie ist damit identisch mit der Nullhypothese.Eine Hypothese, die einen (substanziellen) Effekt behauptet, z.B. einen Unterschied zwischen Gruppen oder einen Zusammenhang zwischen Variablen – logisch betrachtet meist das Gegenteil der Nullhypothese; Beispiel: “Der Korrelationskoeffizient \(\rho\) liegt bei ca. 0,5 bis 0,7, ist also nicht Null.”

Laut Definition ist eine Alternativhypothese “eine Hypothese, die besagt, dass es einen (substanziellen) Effekt gibt […] Logisch betrachtet ist die Alternativhypothese meist das Gegenteil der Nullhypothese.” Ein im Kapitel genanntes Beispiel ist: “Der Korrelationskoeffizient \(\rho\) liegt bei ca. .5 bis .7, ist also nicht Null.” Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option verwechselt Alternativ- und Nullhypothese: Die Nullhypothese behauptet keinen (null) Effekt, die Alternativhypothese behauptet gerade das Gegenteil – einen vorhandenen Effekt.

• Die dritte Option ist falsch: Wie auch die Nullhypothese bezieht sich die Alternativhypothese auf Populationsparameter (z.B. \(\rho\), \(\mu_1-\mu_2\), \(\beta_1\)), nicht auf reine Stichprobenkennwerte.

• Die vierte Option beschreibt gerade eine typische Nullhypothese (die Münze sei fair, \(\pi=0{,}5\) als Referenzwert ohne Effekt), nicht eine Alternativhypothese.

• Die fünfte Option ist falsch: Im Kapitel wird gezeigt, dass Schätzbereiche (Konfidenzintervalle) implizit Hypothesentests erlauben – liegt der Nullwert nicht im Konfidenzintervall, spricht das für die Alternativhypothese (einen vorhandenen Effekt).

• Falsch

• Falsch

• Falsch

• Falsch

• Wahr

Badenes-Ribera, L., Frias-Navarro, D., Iotti, B., Bonilla-Campos, A., & Longobardi, C. (2016). Misconceptions of the P-Value among Chilean and Italian Academic Psychologists. Frontiers in Psychology, 7. https://www.frontiersin.org/article/10.3389/fpsyg.2016.01247

Gelman, A., Hill, J., & Vehtari, A. (2021). Regression and Other Stories. Cambridge University Press.

Kabadayi, F. (2024). Smartphone Addiction, Depression, Distress, Eustress, Loneliness, and Sleep Deprivation in Adolescents: A Latent Profile and Network Analysis Approach. BMC Psychology, 12(1), 608. https://doi.org/10.1186/s40359-024-02117-6

Makowski, D., Ben-Shachar, M. S., Chen, S. H. A., & Lüdecke, D. (2019). Indices of Effect Existence and Significance in the Bayesian Framework. Frontiers in Psychology, 10. https://www.frontiersin.org/article/10.3389/fpsyg.2019.02767

Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108

---

1. Meistens Manchmal darf man bei der Statistik nicht nach einem tieferen Sinn suchen. Ist Statistik eine Art moderne Kunst?

2. Manch einer hätte mit mehr gerechnet; andere mit weniger…

3. \(\sigma\), das griechische s für Streuung (um die Regressionsgerade herum), manchmal wird auch e wie error verwendet

4. Tatsächlich gibt es mehrere Synonyme oder ähnliche Begriffe für Konfidenzintervall. Wir kommen später darauf detaillierter zu sprechen.