Grundlagen der Statistik - Foundations of statistics

Die Grundlagen der Statistik betreffen die erkenntnistheoretische Debatte in der Statistik darüber, wie man induktive Schlussfolgerungen aus Daten ziehen soll. Unter den in Betracht gezogenen Fragen statistische Inferenz ist die Frage der Bayes - Inferenz im Vergleich zu frequentistischen Folgerung , die Unterscheidung zwischen Fisher ‚s‚Signifikanztests‘und Neyman - Pearson ‚Hypothesentests‘und ob die Wahrscheinlichkeit Prinzip gefolgt werden soll. Einige dieser Fragen wurden bis zu 200 Jahre lang ohne Lösung diskutiert.

Bandyopadhyay & Forster beschreiben vier statistische Paradigmen: "(i) klassische Statistik oder Fehlerstatistik, (ii) Bayes'sche Statistik, (iii) Wahrscheinlichkeitsstatistik und (iv) Akaikean-Information Criterion- basierte Statistik".

Savages Text Foundations of Statistics wurde in Google Scholar über 15000 Mal zitiert . Es heißt Folgendes.

Man ist sich einig, dass die Statistik irgendwie von der Wahrscheinlichkeit abhängt. Aber was die Wahrscheinlichkeit ist und wie sie mit Statistiken zusammenhängt, hat es seit dem Turm von Babel selten so völlige Meinungsverschiedenheiten und Zusammenbrüche gegeben. Zweifellos ist ein Großteil der Meinungsverschiedenheiten lediglich terminologisch und würde bei ausreichend scharfer Analyse verschwinden.

Fischers "Signifikanztest" vs. Neyman-Pearson "Hypothesentest"

Bei der Entwicklung der klassischen Statistik im zweiten Viertel des 20. Jahrhunderts wurden zwei konkurrierende Modelle für induktive statistische Tests entwickelt. Ihre relativen Verdienste wurden (über 25 Jahre) bis zu Fischers Tod heiß diskutiert. Während eine Mischung aus beiden Methoden weit verbreitet gelehrt und angewendet wird, wurden die in der Debatte aufgeworfenen philosophischen Fragen nicht gelöst.

Signifikanzprüfung

Fisher hat Signifikanztests populär gemacht, hauptsächlich in zwei populären und einflussreichen Büchern. Fischers Schreibstil in diesen Büchern war stark an Beispielen und relativ schwach an Erklärungen. In den Büchern fehlten Beweise oder Ableitungen der Signifikanzteststatistik (wodurch die statistische Praxis der statistischen Theorie vorausging). Fischers erklärenderes und philosophischeres Schreiben wurde viel später geschrieben. Es scheint einige Unterschiede zwischen seinen früheren Praktiken und seinen späteren Meinungen zu geben.

Fisher war motiviert, wissenschaftliche experimentelle Ergebnisse ohne den ausdrücklichen Einfluss vorheriger Meinungen zu erhalten. Der Signifikanztest ist eine probabilistische Version von Modus tollens , einer klassischen Form der deduktiven Inferenz. Der Signifikanztest könnte vereinfacht ausgedrückt werden: "Wenn die Beweise mit der Hypothese nicht übereinstimmen, lehnen Sie die Hypothese ab." In der Anwendung wird aus den experimentellen Daten eine Statistik berechnet, eine Wahrscheinlichkeit, diese Statistik zu überschreiten, bestimmt und die Wahrscheinlichkeit mit einem Schwellenwert verglichen. Der Schwellenwert (die numerische Version von "ausreichend diskordant") ist willkürlich (normalerweise durch Konvention festgelegt). Eine übliche Anwendung der Methode ist die Entscheidung, ob eine Behandlung einen meldepflichtigen Effekt hat, basierend auf einem Vergleichsexperiment. Die statistische Signifikanz ist ein Maß für die Wahrscheinlichkeit, die nicht von praktischer Bedeutung ist. Dies kann als Anforderung an das statistische Signal / Rauschen angesehen werden. Die Methode basiert auf der angenommenen Existenz einer imaginären unendlichen Population, die der Nullhypothese entspricht.

Der Signifikanztest erfordert nur eine Hypothese. Das Ergebnis des Tests ist, die Hypothese (oder nicht), eine einfache Zweiteilung, abzulehnen. Der Test unterscheidet zwischen der Wahrheit der Hypothese und der Unzulänglichkeit von Beweisen, um die Hypothese zu widerlegen; Es ist also wie ein Strafverfahren, bei dem die Schuld des Angeklagten anhand einer Nullhypothese beurteilt wird, bei der der Angeklagte bis zum Beweis seiner Schuld als unschuldig gilt.

Hypothesentest

Neyman & Pearson arbeiteten an einem anderen, aber verwandten Problem zusammen - der Auswahl unter konkurrierenden Hypothesen allein auf der Grundlage der experimentellen Beweise. Die am häufigsten zitierte ihrer gemeinsamen Arbeiten stammt aus dem Jahr 1933. Das berühmte Ergebnis dieser Arbeit ist das Neyman-Pearson-Lemma . Das Lemma besagt, dass ein Wahrscheinlichkeitsverhältnis ein hervorragendes Kriterium für die Auswahl einer Hypothese ist (wobei der Vergleichsschwellenwert willkürlich ist). Die Arbeit bewies eine Optimalität des Student-T-Tests (einer der Signifikanztests). Neyman äußerte die Meinung, dass das Testen von Hypothesen eine Verallgemeinerung und Verbesserung des Signifikanztests sei. Die Gründe für ihre Methoden finden sich in ihren gemeinsamen Arbeiten.

Das Testen von Hypothesen erfordert mehrere Hypothesen. Es wird immer eine Hypothese ausgewählt, eine Mehrfachauswahl. Ein Mangel an Beweisen ist keine unmittelbare Überlegung. Die Methode basiert auf der Annahme einer wiederholten Stichprobe derselben Population (die klassische frequentistische Annahme), obwohl diese Annahme von Fisher kritisiert wurde (Rubin, 2020).

Gründe für Meinungsverschiedenheiten

Die Länge des Streits ermöglichte die Debatte über eine Vielzahl von Fragen, die als Grundlage für die Statistik angesehen wurden.

In diesem Austausch erörterte Fisher auch die Anforderungen an die induktive Inferenz, wobei eine spezifische Kritik an Kostenfunktionen fehlerhafte Urteile bestrafte. Neyman konterte, dass Gauß und Laplace sie benutzten. Dieser Argumentationsaustausch fand 15 Jahre nach dem Beginn des Lehrens einer hybriden Theorie statistischer Tests in Lehrbüchern statt.

Fisher und Neyman waren sich über die Grundlagen der Statistik nicht einig (obwohl sie sich vehement gegen die Bayes'sche Sichtweise aussprachen):

• Die Interpretation der Wahrscheinlichkeit
  • Die Meinungsverschiedenheit über Fischers induktives Denken gegenüber Neymans induktivem Verhalten enthielt Elemente der Bayesian / Frequentist-Kluft. Fisher war bereit, seine Meinung auf der Grundlage einer berechneten Wahrscheinlichkeit zu ändern (zu einer vorläufigen Schlussfolgerung zu gelangen), während Neyman eher bereit war, sein beobachtbares Verhalten (eine Entscheidung zu treffen) auf der Grundlage berechneter Kosten zu ändern.
• Die richtige Formulierung wissenschaftlicher Fragen mit besonderem Interesse an der Modellierung
• Ob es sinnvoll ist, eine Hypothese mit geringer Wahrscheinlichkeit abzulehnen, ohne die Wahrscheinlichkeit einer Alternative zu kennen
• Ob eine Hypothese jemals auf der Grundlage von Daten akzeptiert werden könnte
  • In der Mathematik beweisen Abzüge, Gegenbeispiele widerlegen
  • In der popperianischen Wissenschaftsphilosophie werden Fortschritte erzielt, wenn Theorien widerlegt werden
• Subjektivität: Während Fisher und Neyman darum kämpften, die Subjektivität zu minimieren, erkannten beide die Bedeutung eines "guten Urteils" an. Jeder beschuldigte den anderen der Subjektivität.
  • Fisher wählte subjektiv die Nullhypothese.
  • Neyman-Pearson wählte subjektiv das Auswahlkriterium (das nicht auf eine Wahrscheinlichkeit beschränkt war).
  • Beide subjektiv bestimmten numerischen Schwellenwerte.

Fisher und Neyman waren durch Einstellungen und vielleicht Sprache getrennt. Fisher war Wissenschaftler und ein intuitiver Mathematiker. Induktives Denken war natürlich. Neyman war ein strenger Mathematiker. Er war eher von deduktivem Denken als von einer auf einem Experiment basierenden Wahrscheinlichkeitsberechnung überzeugt. Somit gab es einen Konflikt zwischen angewandter und theoretischer, zwischen Wissenschaft und Mathematik.

Verwandte Geschichte

Neyman, der das gleiche Gebäude in England wie Fisher besetzt hatte, nahm 1938 eine Position an der Westküste der Vereinigten Staaten von Amerika an. Sein Umzug beendete effektiv seine Zusammenarbeit mit Pearson und deren Entwicklung von Hypothesentests. Die Weiterentwicklung wurde von anderen fortgesetzt.

Lehrbücher lieferten bis 1940 eine hybride Version von Signifikanz- und Hypothesentests. Keiner der Schulleiter hatte eine bekannte persönliche Beteiligung an der Weiterentwicklung des Hybrids, der heute in der Einführungsstatistik gelehrt wird.

Statistiken entwickelten sich später in verschiedene Richtungen, einschließlich Entscheidungstheorie (und möglicherweise Spieltheorie), Bayes'sche Statistik, explorative Datenanalyse, robuste Statistik und nichtparametrische Statistik. Das Testen von Neyman-Pearson-Hypothesen trug stark zur Entscheidungstheorie bei, die sehr häufig verwendet wird (zum Beispiel bei der statistischen Qualitätskontrolle). Das Testen von Hypothesen ließ sich leicht verallgemeinern, um frühere Wahrscheinlichkeiten zu akzeptieren, die ihm einen Bayes'schen Geschmack verliehen. Das Testen von Neyman-Pearson-Hypothesen ist zu einem abstrakten mathematischen Fach geworden, das in der Postgraduiertenstatistik gelehrt wird, während das meiste, was Studenten unter dem Banner des Hypothesentests beigebracht wird, von Fisher stammt.

Zeitgenössische Meinung

Seit Jahrzehnten sind keine größeren Kämpfe zwischen den beiden klassischen Testschulen ausgebrochen, aber das Scharfschützen geht weiter (möglicherweise ermutigt durch Partisanen anderer Kontroversen). Nach Generationen von Streitigkeiten besteht praktisch keine Chance, dass eine der statistischen Testtheorien in absehbarer Zukunft die andere ersetzen wird.

Die Mischung der beiden konkurrierenden Testschulen kann sehr unterschiedlich gesehen werden - als unvollkommene Vereinigung zweier mathematisch komplementärer Ideen oder als grundlegend fehlerhafte Vereinigung philosophisch inkompatibler Ideen. Fisher genoss einen philosophischen Vorteil, während Neyman & Pearson die strengere Mathematik anwendeten. Das Testen von Hypothesen ist bei einigen Benutzern umstritten , aber die beliebteste Alternative (Konfidenzintervalle) basiert auf derselben Mathematik.

Die Geschichte der Entwicklung ließ das Testen ohne eine einzige zitierfähige maßgebliche Quelle für die Hybridtheorie, die die gängige statistische Praxis widerspiegelt. Die zusammengeführte Terminologie ist ebenfalls etwas inkonsistent. Es gibt starke empirische Belege dafür, dass die Absolventen (und Ausbilder) einer einführenden Statistikklasse die Bedeutung von Hypothesentests nur schwach verstehen.

Zusammenfassung

• Die Interpretation der Wahrscheinlichkeit wurde nicht geklärt (aber die Bezugswahrscheinlichkeit ist eine Waise).
• Keine der Testmethoden wurde abgelehnt. Beide werden häufig für unterschiedliche Zwecke eingesetzt.
• Die Texte haben die beiden Testmethoden unter dem Begriff Hypothesentest zusammengefasst.
  • Mathematiker behaupten (mit einigen Ausnahmen), dass Signifikanztests ein Sonderfall von Hypothesentests sind.
  • Andere behandeln die Probleme und Methoden als unterschiedlich (oder inkompatibel).
• Der Streit hat sich nachteilig auf die statistische Bildung ausgewirkt.

Bayesianische Inferenz versus frequentistische Inferenz

Zwei unterschiedliche Interpretationen der Wahrscheinlichkeit (basierend auf objektiven Beweisen und subjektiven Glaubensgraden) existieren seit langem. Gauß und Laplace hätten vor mehr als 200 Jahren über Alternativen diskutieren können. Infolgedessen haben sich zwei konkurrierende statistische Schulen entwickelt. Die klassische Inferenzstatistik wurde größtenteils im zweiten Viertel des 20. Jahrhunderts entwickelt, ein Großteil davon als Reaktion auf die (Bayes'sche) Wahrscheinlichkeit der Zeit, bei der das umstrittene Prinzip der Gleichgültigkeit zur Ermittlung früherer Wahrscheinlichkeiten herangezogen wurde. Die Rehabilitation der Bayes'schen Folgerung war eine Reaktion auf die Grenzen der frequentistischen Wahrscheinlichkeit. Weitere Reaktionen folgten. Während die philosophischen Interpretationen alt sind, ist die statistische Terminologie nicht. Die aktuellen statistischen Begriffe "Bayesian" und "Frequentist" stabilisierten sich in der zweiten Hälfte des 20. Jahrhunderts. Die (philosophische, mathematische, wissenschaftliche, statistische) Terminologie ist verwirrend: Die "klassische" Interpretation der Wahrscheinlichkeit ist Bayes'sch, während die "klassische" Statistik häufig ist. "Frequentist" hat auch unterschiedliche Interpretationen - anders in der Philosophie als in der Physik.

Die Nuancen philosophischer Wahrscheinlichkeitsinterpretationen werden an anderer Stelle diskutiert. In der Statistik der alternativen Interpretationen ermöglichen die Analyse verschiedenen Daten mit verschiedenen Methoden auf der Basis verschiedene Modelle leicht unterschiedliche Ziele zu erreichen. Jeder statistische Vergleich der konkurrierenden Schulen berücksichtigt pragmatische Kriterien, die über das Philosophische hinausgehen.

Hauptverantwortliche

Zwei Hauptverantwortliche für häufig auftretende (klassische) Methoden waren Fisher und Neyman . Fischers Interpretation der Wahrscheinlichkeit war eigenwillig (aber stark nicht-bayesianisch). Neymans Ansichten waren streng frequentistisch. Drei Hauptverantwortliche für die Bayes'sche statistische Philosophie, Mathematik und Methoden des 20. Jahrhunderts waren de Finetti , Jeffreys und Savage . Savage hat de Finettis Ideen im englischsprachigen Raum populär gemacht und die Bayes'sche Mathematik rigoros gemacht. Im Jahr 1965 brachte Dennis Lindleys zweibändiges Werk "Einführung in Wahrscheinlichkeit und Statistik aus Bayes'scher Sicht" die Bayes'schen Methoden einem breiten Publikum näher. Die Statistik hat in den letzten drei Generationen Fortschritte gemacht. Die "maßgeblichen" Ansichten der frühen Mitwirkenden sind nicht alle aktuell.

Kontrastierende Ansätze

Frequentistische Folgerung

Die häufig auftretende Folgerung ist oben in (Fisher's "Signifikanztest" vs. Neyman-Pearson "Hypothesentest") teilweise und knapp beschrieben. Frequentistische Inferenz kombiniert verschiedene Ansichten. Das Ergebnis kann wissenschaftliche Schlussfolgerungen stützen, operative Entscheidungen treffen und Parameter mit oder ohne Konfidenzintervalle schätzen . Frequentistische Folgerungen basieren ausschließlich auf (einem Satz von) Beweisen.

Bayesianische Folgerung

Eine klassische Häufigkeitsverteilung beschreibt die Wahrscheinlichkeit der Daten. Die Verwendung des Bayes-Theorems ermöglicht ein abstrakteres Konzept - die Wahrscheinlichkeit einer Hypothese (entsprechend einer Theorie) angesichts der Daten. Das Konzept war einst als "inverse Wahrscheinlichkeit" bekannt. Die Bayes'sche Inferenz aktualisiert die Wahrscheinlichkeitsschätzung für eine Hypothese, sobald zusätzliche Beweise vorliegen. Die Bayes'sche Folgerung basiert explizit auf den Beweisen und der vorherigen Meinung, was es ermöglicht, dass sie auf mehreren Beweisreihen basiert.

Vergleiche der Eigenschaften

Frequentisten und Bayesianer verwenden unterschiedliche Wahrscheinlichkeitsmodelle. Frequentisten betrachten Parameter häufig als fest, aber unbekannt, während Bayesianer ähnlichen Parametern Wahrscheinlichkeitsverteilungen zuweisen. Folglich sprechen Bayesianer von Wahrscheinlichkeiten, die für Frequentisten nicht existieren; Ein Bayesianer spricht von der Wahrscheinlichkeit einer Theorie, während ein wahrer Frequentist nur von der Übereinstimmung der Beweise mit der Theorie sprechen kann. Beispiel: Ein Frequentist sagt nicht, dass eine Wahrscheinlichkeit von 95% besteht, dass der wahre Wert eines Parameters innerhalb eines Konfidenzintervalls liegt, sondern dass 95% der Konfidenzintervalle den wahren Wert enthalten.

Strengths

Weaknesses

Mathematische Ergebnisse

Keine Schule ist immun gegen mathematische Kritik und keine akzeptiert sie kampflos. Steins Paradoxon (zum Beispiel) hat gezeigt, dass es subtil ist, eine "flache" oder "nicht informative" vorherige Wahrscheinlichkeitsverteilung in hohen Dimensionen zu finden. Die Bayesianer betrachten dies als Randbereich des Kerns ihrer Philosophie, während sie feststellen, dass der Frequentismus mit Inkonsistenzen, Paradoxien und schlechtem mathematischen Verhalten behaftet ist. Frequentisten können am meisten erklären. Einige der "schlechten" Beispiele sind Extremsituationen - beispielsweise die Schätzung des Gewichts einer Elefantenherde anhand der Messung des Gewichts einer Elefantenherde ("Basus Elefanten"), die keine statistische Schätzung der Variabilität von Gewichten zulässt. Das Wahrscheinlichkeitsprinzip war ein Schlachtfeld.

Statistische Ergebnisse

Beide Schulen haben beeindruckende Ergebnisse bei der Lösung realer Probleme erzielt. Die klassische Statistik hat effektiv die längere Aufzeichnung, da mit mechanischen Taschenrechnern und gedruckten Tabellen mit speziellen statistischen Funktionen zahlreiche Ergebnisse erzielt wurden. Bayesianische Methoden waren sehr erfolgreich bei der Analyse von Informationen, die auf natürliche Weise nacheinander abgetastet werden (Radar und Sonar). Viele Bayes'sche Methoden und einige neuere frequentistische Methoden (wie der Bootstrap) erfordern die Rechenleistung, die erst in den letzten Jahrzehnten allgemein verfügbar war. Es gibt eine aktive Diskussion über die Kombination von Bayes'schen und frequentistischen Methoden, aber es werden Vorbehalte gegen die Bedeutung der Ergebnisse und die Verringerung der Vielfalt der Ansätze geäußert.

Philosophische Ergebnisse

Die Bayesianer sind sich im Gegensatz zu den Grenzen des Frequentismus einig, aber philosophisch in zahlreiche Lager unterteilt (empirisch, hierarchisch, objektiv, persönlich, subjektiv), die jeweils unterschiedliche Schwerpunkte haben. Ein (häufig auftretender) Philosoph der Statistik hat in den letzten zwei Generationen einen Rückzug vom statistischen Bereich zu philosophischen Wahrscheinlichkeitsinterpretationen festgestellt . Es besteht die Auffassung, dass Erfolge bei Bayes'schen Anwendungen die unterstützende Philosophie nicht rechtfertigen. Bayesianische Methoden erzeugen oft nützliche Modelle, die nicht für traditionelle Schlussfolgerungen verwendet werden und die der Philosophie wenig zu verdanken haben. Keine der philosophischen Interpretationen der Wahrscheinlichkeit (frequentistisch oder bayesianisch) erscheint robust. Die frequentistische Sichtweise ist zu starr und einschränkend, während die Bayes'sche Sichtweise gleichzeitig objektiv und subjektiv sein kann usw.

Illustrative Zitate

• "Der häufig verwendete Ansatz wird häufig angewendet und liefert allgemein anwendbare, wenn auch manchmal ungeschickte Antworten."
• "Das Beharren auf unvoreingenommenen [frequentistischen] Techniken kann zu negativen (aber unvoreingenommenen) Schätzungen einer Varianz führen; die Verwendung von p-Werten in mehreren Tests kann zu offensichtlichen Widersprüchen führen; herkömmliche 0,95-Konfidenzbereiche können tatsächlich aus der gesamten realen Linie bestehen. Kein Wunder, dass es Mathematikern oft schwer fällt zu glauben, dass konventionelle statistische Methoden ein Zweig der Mathematik sind. "
• "Der Bayesianismus ist eine ordentliche und prinzipielle Philosophie, während der Frequentismus eine Sammlung opportunistischer, individuell optimaler Methoden ist."
• "Bei Problemen mit mehreren Parametern können flache Prioren sehr schlechte Antworten liefern."
• "[Bayes 'Regel] besagt, dass es eine einfache, elegante Möglichkeit gibt, aktuelle Informationen mit früheren Erfahrungen zu kombinieren, um festzustellen, wie viel bekannt ist. Dies impliziert, dass ausreichend gute Daten zuvor unterschiedliche Beobachter zu einer Einigung bringen. Sie nutzen die verfügbaren Informationen in vollem Umfang." Informationen, und es erzeugt Entscheidungen mit der geringstmöglichen Fehlerrate. "
• "In der Bayes'schen Statistik geht es darum, Wahrscheinlichkeitsaussagen zu machen, in der frequentistischen Statistik geht es darum, Wahrscheinlichkeitsaussagen zu bewerten."
• "[S] -Tatistiker werden häufig in eine Umgebung versetzt, die an das Paradoxon von Arrow erinnert, in der wir gebeten werden, informative und unvoreingenommene Schätzungen und Vertrauensaussagen bereitzustellen, die von den Daten und auch von den zugrunde liegenden wahren Parametern abhängig sind." (Dies sind widersprüchliche Anforderungen.)
• "Formale Inferenzaspekte sind oft ein relativ kleiner Teil der statistischen Analyse."
• "Die beiden Philosophien, Bayesian und Frequentist, sind eher orthogonal als antithetisch."
• "Eine Hypothese, die wahr sein könnte, wird zurückgewiesen, weil es nicht gelungen ist, beobachtbare Ergebnisse vorherzusagen, die nicht aufgetreten sind. Dies scheint ein bemerkenswertes Verfahren zu sein."

Zusammenfassung

• Die Bayes'sche Theorie hat einen mathematischen Vorteil
  • Die häufig auftretende Wahrscheinlichkeit hat Existenz- und Konsistenzprobleme
  • Es bleibt jedoch (sehr?) Schwierig, gute Prioritäten für die Anwendung der Bayes'schen Theorie zu finden
• Beide Theorien haben beeindruckende Aufzeichnungen über eine erfolgreiche Anwendung
• Keine der unterstützenden philosophischen Interpretationen der Wahrscheinlichkeit ist robust
• Die Verbindung zwischen Anwendung und Philosophie wird zunehmend skeptisch
• Einige Statistiker empfehlen eine aktive Zusammenarbeit (über einen Waffenstillstand hinaus).

Das Wahrscheinlichkeitsprinzip

Wahrscheinlichkeit ist ein Synonym für Wahrscheinlichkeit im allgemeinen Gebrauch. In Statistiken ist das nicht wahr. Eine Wahrscheinlichkeit bezieht sich auf variable Daten für eine feste Hypothese, während sich eine Wahrscheinlichkeit auf variable Hypothesen für einen festen Datensatz bezieht. Wiederholte Messungen einer festen Länge mit einem Lineal erzeugen eine Reihe von Beobachtungen. Jeder feste Satz von Beobachtungsbedingungen ist mit einer Wahrscheinlichkeitsverteilung verbunden, und jeder Satz von Beobachtungen kann als Stichprobe aus dieser Verteilung interpretiert werden - der häufigeren Sicht der Wahrscheinlichkeit. Alternativ kann eine Reihe von Beobachtungen aus der Abtastung einer beliebigen Anzahl von Verteilungen resultieren (jede ergibt sich aus einer Reihe von Beobachtungsbedingungen). Die probabilistische Beziehung zwischen einer festen Stichprobe und einer variablen Verteilung (resultierend aus einer variablen Hypothese) wird als Wahrscheinlichkeit bezeichnet - eine Bayes'sche Sicht der Wahrscheinlichkeit. Eine Reihe von Längenmessungen kann Messwerte implizieren, die von vorsichtigen, nüchternen, ausgeruhten und motivierten Beobachtern bei guter Beleuchtung vorgenommen wurden.

Eine Wahrscheinlichkeit ist eine Wahrscheinlichkeit (oder nicht) mit einem anderen Namen, die aufgrund der begrenzten häufig vorkommenden Definition der Wahrscheinlichkeit existiert. Likelihood ist ein Konzept, das Fisher seit mehr als 40 Jahren eingeführt und weiterentwickelt hat (obwohl frühere Verweise auf das Konzept existieren und die Unterstützung von Fisher halbherzig war). Das Konzept wurde von Jeffreys akzeptiert und grundlegend geändert . 1962 "bewies" Birnbaum das Wahrscheinlichkeitsprinzip aus Räumlichkeiten, die für die meisten Statistiker akzeptabel waren. Der "Beweis" wurde von Statistikern und Philosophen bestritten. Das Prinzip besagt, dass alle Informationen in einer Stichprobe in der Wahrscheinlichkeitsfunktion enthalten sind , die von Bayesianern (aber nicht von Frequentisten) als gültige Wahrscheinlichkeitsverteilung akzeptiert wird.

Einige (häufig auftretende) Signifikanztests stimmen nicht mit dem Wahrscheinlichkeitsprinzip überein. Die Bayesianer akzeptieren das Prinzip, das mit ihrer Philosophie übereinstimmt (möglicherweise gefördert durch das Unbehagen der Frequentisten). "[D] Der Likelihood-Ansatz ist mit der Bayes'schen statistischen Inferenz in dem Sinne kompatibel, dass die hintere Bayes-Verteilung für einen Parameter nach dem Bayes-Theorem durch Multiplikation der vorherigen Verteilung mit der Likelihood-Funktion ermittelt wird." Frequentisten interpretieren das Prinzip nachteilig für Bayesianer so, dass es keine Bedenken hinsichtlich der Zuverlässigkeit von Beweisen impliziert. "Das Wahrscheinlichkeitsprinzip der Bayes'schen Statistik impliziert, dass Informationen über den Versuchsaufbau, aus dem Beweise gesammelt werden, nicht in die statistische Analyse der Daten einfließen." Viele Bayesianer (zum Beispiel Savage) erkennen diese Implikation als Schwachstelle an.

Das Wahrscheinlichkeitsprinzip ist für beide großen philosophischen Schulen der Statistik zu einer Verlegenheit geworden; Es hat beide eher geschwächt als begünstigt. Die stärksten Befürworter behaupten, dass es eine bessere Grundlage für Statistiken bietet als jede der beiden Schulen. "[L] ikelihood sieht in der Tat sehr gut aus, wenn man es mit diesen [bayesianischen und frequentistischen] Alternativen vergleicht." Zu diesen Unterstützern zählen Statistiker und Wissenschaftsphilosophen. Während die Bayesianer die Bedeutung der Wahrscheinlichkeit für die Berechnung anerkennen, glauben sie, dass die posteriore Wahrscheinlichkeitsverteilung die richtige Grundlage für die Schlussfolgerung ist.

Modellieren

Inferenzstatistiken basieren auf statistischen Modellen . Ein Großteil der klassischen Hypothesentests basierte beispielsweise auf der angenommenen Normalität der Daten. Es wurden robuste und nichtparametrische Statistiken entwickelt, um die Abhängigkeit von dieser Annahme zu verringern. Die Bayes'sche Statistik interpretiert neue Beobachtungen aus der Perspektive des Vorwissens - unter der Annahme einer modellierten Kontinuität zwischen Vergangenheit und Gegenwart. Die Versuchsplanung setzt voraus, dass einige Kenntnisse über diese Faktoren kontrolliert, variiert, randomisiert und beobachtet werden. Statistiker sind sich der Schwierigkeiten beim Nachweis der Kausalität bewusst (eher eine Modellierungsbeschränkung als eine mathematische) und sagen: " Korrelation bedeutet keine Kausalität ".

Bei komplexeren Statistiken werden komplexere Modelle verwendet, häufig mit der Absicht, eine latente Struktur zu finden, die einer Reihe von Variablen zugrunde liegt. Mit zunehmender Komplexität von Modellen und Datensätzen wurden grundlegende Fragen zur Rechtfertigung der Modelle und zur Gültigkeit der daraus gezogenen Schlussfolgerungen aufgeworfen. Das Spektrum widersprüchlicher Meinungen zur Modellierung ist groß.

• Modelle können auf wissenschaftlicher Theorie oder auf Ad-hoc-Datenanalyse basieren. Die Ansätze verwenden unterschiedliche Methoden. Es gibt Befürworter von jedem.
• Modellkomplexität ist ein Kompromiss. Das Akaikean-Informationskriterium und das Bayesian-Informationskriterium sind zwei weniger subjektive Ansätze, um diesen Kompromiss zu erreichen.
• Grundlegende Vorbehalte wurden sogar gegenüber einfachen Regressionsmodellen geäußert , die in den Sozialwissenschaften verwendet werden. Eine lange Liste von Annahmen, die der Gültigkeit eines Modells inhärent sind, wird normalerweise weder erwähnt noch überprüft. Ein günstiger Vergleich zwischen Beobachtungen und Modell wird oft als ausreichend angesehen.
• Die Bayes'sche Statistik konzentriert sich so stark auf die posteriore Wahrscheinlichkeit, dass sie den grundlegenden Vergleich von Beobachtungen und Modell ignoriert.
• Herkömmliche beobachtungsbasierte Modelle reichen nicht aus, um viele wichtige Probleme zu lösen. Ein viel breiterer Bereich von Modellen, einschließlich algorithmischer Modelle, muss verwendet werden. "Wenn das Modell eine schlechte Nachahmung der Natur ist, können die Schlussfolgerungen falsch sein."
• Die Modellierung wird oft schlecht durchgeführt (die falschen Methoden werden verwendet) und schlecht berichtet.

In Ermangelung eines starken philosophischen Konsenses über die statistische Modellierung akzeptieren viele Statistiker die warnenden Worte des Statistikers George Box : " Alle Modelle sind falsch , aber einige sind nützlich. "

Andere Lesart

Für eine kurze Einführung in die Grundlagen der Statistik siehe Stuart, A.; Ord, JK (1994). "Kap. 8 - Wahrscheinlichkeit und statistische Folgerung". Kendalls fortgeschrittene Theorie der Statistik . Vol. I: Verteilungstheorie (6. Aufl.). Edward Arnold.

In seinem Buch Statistik als Principled Argument , Robert P. Abelson artikuliert die Position , dass die Statistiken dienen als standardisiertes Mittel von Streitigkeiten zwischen Wissenschaftlern Einschwingzeit , die sonst jeder der Vorzüge ihrer eigenen Positionen argumentieren könnte ad infinitum . Unter diesem Gesichtspunkt ist Statistik eine Form der Rhetorik; Wie bei allen Mitteln zur Beilegung von Streitigkeiten können statistische Methoden nur dann erfolgreich sein, wenn sich alle Parteien auf den verwendeten Ansatz einigen.

Siehe auch

Fußnoten

Zitate

Verweise

• Aldrich, John (2002). "Wie Wahrscheinlichkeit und Identifizierung Bayesian gingen" (PDF) . Internationale statistische Überprüfung . 70 (1): 79–98. doi : 10.1111 / j.1751-5823.2002.tb00350.x .
• Backe, Andrew (1999). "Das Wahrscheinlichkeitsprinzip und die Zuverlässigkeit von Experimenten". Wissenschaftstheorie . 66 : S354 - S361. doi : 10.1086 / 392737 . S2CID   15822883 .
• Bandyopadhyay, Prasanta; Forster, Malcolm, Hrsg. (2011). Philosophie der Statistik . Handbuch der Wissenschaftstheorie. 7 . Oxford: Nordholland. ISBN   978-0444518620 . Der Text ist eine Sammlung von Aufsätzen.
• Berger, James O. (2003). "Könnten sich Fisher, Jeffreys und Neyman auf Tests geeinigt haben?" . Statistische Wissenschaft . 18 (1): 1–32. doi : 10.1214 / ss / 1056397485 .
• Bernardo, Jose M. (2008). "Kommentar zum Artikel von Gelman" . Bayesianische Analyse . 3 (3): 453. doi : 10.1214 / 08-BA318REJ .
• Birnbaum, A. (1962). "Auf den Grundlagen der statistischen Inferenz". J. Amer. Statist. Assoc . 57 (298): 269–326. doi : 10.1080 / 01621459.1962.10480660 .
• Breiman, Leo (2001). "Statistische Modellierung: Die zwei Kulturen" . Statistische Wissenschaft . 16 (3): 199–231. doi : 10.1214 / ss / 1009213726 .
• Chin, Wynne W. (nd). "Strukturgleichungsmodellierung in der IS-Forschung - Verständnis der LISREL- und PLS-Perspektive" . Archiviert vom Original am 20.07.2011 . Abgerufen am 16.09.2013 . Vorlesungsunterlagen der University of Houston?
• Cox, DR (2005). "Frequentistische und Bayesianische Statistik: eine Kritik". Statistische Probleme in der Teilchenphysik, Astrophysik und Kosmologie . PHYSTAT05. CiteSeerX   10.1.1.173.4608 .
• de Finetti, Bruno (1964). "Voraussicht: seine logischen Gesetze, seine subjektiven Quellen". In Kyburg, HE (Hrsg.). Studien zur subjektiven Wahrscheinlichkeit . ER Raucher. New York: Wiley. S. 93–158. Übersetzung des französischen Originals von 1937 mit späteren Anmerkungen.
• Edwards, AWF (1999). "Wahrscheinlichkeit" . Vorläufige Version eines Artikels für die Internationale Enzyklopädie der Sozial- und Verhaltenswissenschaften.
• Efron, Bradley (2013). "Ein 250-jähriges Argument: Glaube, Verhalten und der Bootstrap" . Bulletin der American Mathematical Society . Neue Serien. 50 (1): 129–146. doi : 10.1090 / s0273-0979-2012-01374-5 .
• Efron, Bradley (1978). "Kontroversen in den Grundlagen der Statistik" (PDF) . The American Mathematical Monthly . 85 (4): 231–246. doi : 10.2307 / 2321163 . JSTOR   2321163 . Archiviert vom Original (PDF) am 14. Juli 2010 . Abgerufen am 1. November 2012 .
• Fienberg, Stephen E. (2006). "Wann wurde die Bayes'sche Folgerung" Bayes'sche "?" . Bayesianische Analyse . 1 (1): 1–40. doi : 10.1214 / 06-ba101 .
• Fisher, RA (1925). Statistische Methoden für Forscher . Edinburgh: Oliver und Boyd.
• Fisher, Ronald A., Sir (1935). Versuchsplanung . Edinburgh: Oliver und Boyd.
• Fisher, R. (1955). "Statistische Methoden und wissenschaftliche Induktion" (PDF) . Journal der Royal Statistical Society, Series B . 17 (1): 69–78.
• Fisher, Ronald A., Sir (1956). Die Logik der wissenschaftlichen Folgerung . Edinburgh: Oliver und Boyd.
• Forster, Malcolm; Sober, Elliott (1994). "Wie man erkennt, wann einfachere, einheitlichere oder weniger ad-hoc-Theorien genauere Vorhersagen liefern". Britisches Journal für Wissenschaftstheorie . 45 (1): 1–36. doi : 10.1093 / bjps / 45.1.1 .
• Forster, Malcolm; Sober, Elliott (2001). "Warum Wahrscheinlichkeit". Wahrscheinlichkeit und Evidenz : 89–99.
• Freedman, David (März 1995). "Einige Probleme bei der Grundlage der Statistik". Grundlagen der Wissenschaft . 1 (1): 19–39. doi : 10.1007 / BF00208723 .
• Gelman, Andrew (2008). "Gegenerwiderung" . Bayesianische Analyse . 3 (3): 467–478. doi : 10.1214 / 08-BA318REJ . - Ein Witz eskalierte zu einer ernsthaften Diskussion der Bayes'schen Probleme durch 5 Autoren (Gelman, Bernardo, Kadane, Senn, Wasserman) auf den Seiten 445-478.
• Gelman, Andrew; Shalizi, Cosma Rohilla (2012). "Philosophie und Praxis der Bayes'schen Statistik" . British Journal of Mathematical and Statistical Psychology . 66 (1): 8–38. arXiv : 1006,3868 . doi : 10.1111 / j.2044-8317.2011.02037.x . PMC   4476974 . PMID   22364575 .
• Gigerenzer, Gerd ; Swijtink, Zeno; Porter, Theodore; Daston, Lothringen; Beatty, John; Kruger, Lorenz (1989). "Teil 3: Die Inferenz-Experten". Das Reich des Zufalls: Wie die Wahrscheinlichkeit die Wissenschaft und den Alltag veränderte . Cambridge University Press. S. 70–122. ISBN   978-0-521-39838-1 .
• Halpin, PF; Stam, HJ (Winter 2006). "Induktive Inferenz oder induktives Verhalten: Fisher und Neyman: Pearson-Ansätze für statistische Tests in der psychologischen Forschung (1940–1960)". Das amerikanische Journal of Psychology . 119 (4): 625–653. doi : 10.2307 / 20445367 . JSTOR   20445367 . PMID   17286092 .
• Hubbard, Raymond; Bayarri, MJ (ca. 2003). " P- Werte sind keine Fehlerwahrscheinlichkeiten" (PDF) . Archiviert vom Original (PDF) am 4. September 2013 . Abgerufen am 3. September 2013 . - Ein Arbeitspapier, das den Unterschied zwischen dem p- Wert von Fisher und der Fehlerrate von Neyman-Pearson Typ I erklärt . ${\ displaystyle \ alpha}$
• Jeffreys, H. (1939). Die Wahrscheinlichkeitstheorie . Oxford University Press.
• Kass (ca. 2012). "Warum hat die Bayes-Herrschaft nicht nur die Aufmerksamkeit so vieler Menschen auf sich gezogen, sondern über viele Jahre hinweg wiederholt zu religiöser Hingabe und Streitsucht geführt?" (PDF) .
• Lehmann, EL (Dezember 1993). "Die Fisher, Neyman-Pearson-Theorien zum Testen von Hypothesen: Eine oder zwei Theorien?" Zeitschrift der American Statistical Association . 88 (424): 1242–1249. doi : 10.1080 / 01621459.1993.10476404 .
• Lehmann, EL (2011). Fisher, Neyman und die Erstellung klassischer Statistiken . New York: Springer. ISBN   978-1441994998 .
• Lehmann, EL; Romano, Joseph P. (2005). Testen statistischer Hypothesen (3. Aufl.). New York: Springer. ISBN   978-0-387-98864-1 .
• Lenhard, Johannes (2006). "Modelle und statistische Inferenz: Die Kontroverse zwischen Fisher und Neyman-Pearson". Br. J. Philos. Sci . 57 : 69–91. doi : 10.1093 / bjps / axi152 .
• Lindley, DV (2000). "Die Philosophie der Statistik". Journal der Royal Statistical Society, Series D . 49 (3): 293–337. doi : 10.1111 / 1467-9884.00238 .
• Little, Roderick J. (2006). "Calibrated Bayes: Eine Bayes / Frequentist-Roadmap". 60 (3). Zitierjournal benötigt |journal= ( Hilfe )
• Louçã, Francisco (2008). "Sollte die größte Kluft in der Statistik sein - wie und warum Fisher sich Neyman und Pearson widersetzte" (PDF) . Das Arbeitspapier enthält zahlreiche Zitate aus den ursprünglichen Streitquellen.
• Mayo, Deborah G. (Februar 2013). "Diskussion: Bayesianische Methoden: Angewandt? Ja. Philosophische Verteidigung? Im Fluss". Der amerikanische Statistiker . 67 (1): 11–15. doi : 10.1080 / 00031305.2012.752410 . S2CID   11215443 .
• Neyman, J . ; Pearson, ES (1. Januar 1933). "Zum Problem der effizientesten Tests statistischer Hypothesen" . Phil. Trans. R. Soc. Lond. A . 231 (694–706): 289–337. Bibcode : 1933RSPTA.231..289N . doi : 10.1098 / rsta.1933.0009 .
• Neyman, J. (1967). Gemeinsame statistische Arbeiten von J. Neyman und ES Pearson . Cambridge University Press.
• Neyman, Jerzy (1956). "Anmerkung zu einem Artikel von Sir Ronald Fisher". Journal der Royal Statistical Society, Series B . 18 (2): 288–294.
• Royall, Richard (1997). Statistische Evidenz: ein Wahrscheinlichkeitsparadigma . Chapman & Hall . ISBN   978-0412044113 .
• Savage, LJ (1972). Grundlagen der Statistik (2. Aufl.).
• Senn, Stephen (2011). "Sie mögen glauben, Sie seien ein Bayesianer, aber Sie liegen wahrscheinlich falsch". RMM . 2 : 48–66.
• Sotos, Ana Elisa Castro; van Hoof, Stijn; van den Noortgate, Wim; Onghena, Patrick (2007). "Missverständnisse der Schüler über statistische Inferenz: Eine Überprüfung der empirischen Evidenz aus der Forschung zur Statistikausbildung" . Rückblick auf die Bildungsforschung . 2 (2): 98–113. doi : 10.1016 / j.edurev.2007.04.001 .
• Stuart, A.; Ord, JK (1994). Kendalls fortgeschrittene Theorie der Statistik . Vol. I: Verteilungstheorie. Edward Arnold.
• Tabachnick, Barbara G.; Fidell, Linda S. (1996). Verwenden multivariater Statistiken (3. Ausgabe). ISBN   978-0-673-99414-1 . Hauptkomponenten sind ein empirischer Ansatz, während Faktoranalyse und Strukturgleichungsmodellierung eher theoretische Ansätze sind. (S. 27)
• Yu, Yue (2009). "Bayesian vs. Frequentist" (PDF) . - Vorlesungsnotizen? Universität von Illinois in Chicago

Weiterführende Literatur

• Barnett, Vic (1999). Vergleichende statistische Inferenz (3. Aufl.). Wiley. ISBN   978-0-471-97643-1 .
• Cox, David R. (2006). Prinzipien der statistischen Inferenz . Cambridge University Press. ISBN   978-0-521-68567-2 .
• Efron, Bradley (1986), "Warum ist nicht jeder ein Bayesianer? (Mit Diskussion)", The American Statistician , 40 (1): 1–11, doi : 10.2307 / 2683105 , JSTOR   2683105 .
• Good, IJ (1988), "Die Schnittstelle zwischen Statistik und Wissenschaftstheorie", Statistical Science , 3 (4): 386–397, doi : 10.1214 / ss / 1177012754 , JSTOR   2245388
• Kadane, JB ; Schervish, MJ; Seidenfeld, T. (1999). Grundlagen der Statistik überdenken . Cambridge University Press. - Bayesian.
• Mayo, Deborah G. (1992), "Hat Pearson die Neyman-Pearson-Philosophie der Statistik abgelehnt?", Synthese , 90 (2): 233–262, doi : 10.1007 / BF00485352 , S2CID   14236921 .

Externe Links

• "Wahrscheinlichkeitsinterpretation" . Stanford Encyclopedia of Philosophy . Palo Alto, Kalifornien: Stanford University.
• "Philosophie der Statistik" . Stanford Encyclopedia of Philosophy . Palo Alto, Kalifornien: Stanford University.