Theorie der großen Abweichungen - Large deviations theory

In der Wahrscheinlichkeitstheorie betrifft die Theorie der großen Abweichungen das asymptotische Verhalten von entfernten Enden von Folgen von Wahrscheinlichkeitsverteilungen. Während einige Grundgedanken der Theorie auf Laplace zurückgeführt werden können, begann die Formalisierung mit der Versicherungsmathematik, nämlich der Ruinentheorie mit Cramér und Lundberg . Eine einheitliche Formalisierung der Theorie der großen Abweichung wurde 1966 in einem Artikel von Varadhan entwickelt . Die Theorie der großen Abweichungen formalisiert die heuristischen Ideen der Konzentration von Maßen und verallgemeinert weitgehend den Begriff der Konvergenz von Wahrscheinlichkeitsmaßen .

Grob gesagt befasst sich die Theorie der großen Abweichungen mit dem exponentiellen Rückgang der Wahrscheinlichkeitsmaße bestimmter Arten von Extrem- oder Schwanzereignissen .

Einführende Beispiele

Ein elementares Beispiel

Betrachten Sie eine Folge unabhängiger Würfe einer fairen Münze. Die möglichen Ergebnisse können Kopf oder Zahl sein. Bezeichnen wir das mögliche Ergebnis des i-ten Versuchs mit , wobei wir head als 1 und tail als 0 kodieren. Bezeichnen wir nun den Mittelwert nach den Versuchen, nämlich ${\displaystyle X_{i}}$${\displaystyle M_{N}}$${\displaystyle N}$

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$.

Dann liegt zwischen 0 und 1. Aus dem Gesetz der großen Zahlen folgt, dass mit wachsendem N die Verteilung von konvergiert gegen (den Erwartungswert eines einzelnen Münzwurfs). ${\displaystyle M_{N}}$${\displaystyle M_{N}}$${\displaystyle 0.5=\operatorname {E} [X]}$

Darüber hinaus folgt aus dem zentralen Grenzwertsatz , dass für große ungefähr normalverteilt ist . Der zentrale Grenzwertsatz kann detailliertere Informationen über das Verhalten liefern als das Gesetz der großen Zahlen. Zum Beispiel können wir ungefähr eine Tail-Wahrscheinlichkeit von , finden , die größer ist als , für einen festen Wert von . Die Näherung durch den zentralen Grenzwertsatz kann jedoch nicht genau sein, wenn sie weit davon entfernt ist, es sei denn, sie ist ausreichend groß. Es liefert auch keine Informationen über die Konvergenz der Tail-Wahrscheinlichkeiten als . Die Theorie der großen Abweichung kann jedoch Antworten auf solche Probleme liefern. ${\displaystyle M_{N}}$${\displaystyle N}$${\displaystyle M_{N}}$${\displaystyle M_{N}}$ ${\displaystyle P(M_{N}>x)}$${\displaystyle M_{N}}$${\displaystyle x}$${\displaystyle N}$${\displaystyle x}$${\displaystyle \operatorname {E} [X_{i}]}$${\displaystyle N}$${\displaystyle N\to\infty}$

Lassen Sie uns diese Aussage präzisieren. Für einen bestimmten Wert , lassen Sie uns den Schwanz Wahrscheinlichkeit berechnen . Definieren ${\displaystyle 0.5<x<1}$${\displaystyle P(M_{N}>x)}$

${\displaystyle I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}}$.

Beachten Sie, dass die Funktion eine konvexe, nichtnegative Funktion ist, die bei Null ist und bei Annäherung an zunimmt . Es ist das Negative der Bernoulli-Entropie mit ; dass es für Münzwürfe geeignet ist, folgt aus der asymptotischen Gleichverteilungseigenschaft, die auf einen Bernoulli-Versuch angewendet wird . Dann kann mit der Chernoff-Ungleichung gezeigt werden, dass . Diese Grenze ist ziemlich scharf in dem Sinne, dass sie nicht durch eine größere Zahl ersetzt werden kann, die eine strikte Ungleichung für alle Positiven ergeben würde . (Die exponentielle Schranke kann jedoch immer noch um einen subexponentiellen Faktor in der Größenordnung von reduziert werden ; dies folgt aus der Stirling-Approximation, die auf den in der Bernoulli-Verteilung auftretenden Binomialkoeffizienten angewendet wird .) Damit erhalten wir folgendes Ergebnis: ${\displaystyle I(x)}$${\displaystyle x={\tfrac {1}{2}}}$${\displaystyle x}$${\displaystyle 1}$${\displaystyle p={\tfrac {1}{2}}}$${\displaystyle P(M_{N}>x)<\exp(-NI(x))}$${\displaystyle I(x)}$${\displaystyle N}$${\displaystyle 1/{\sqrt {N}}}$

${\displaystyle P(M_{N}>x)\approx\exp(-NI(x))}$.

Die Wahrscheinlichkeit fällt exponentiell mit einer von x abhängigen Geschwindigkeit ab . Diese Formel approximiert jede Tail-Wahrscheinlichkeit des Stichprobenmittelwerts von iid-Variablen und gibt seine Konvergenz an, wenn die Anzahl der Stichproben zunimmt. ${\displaystyle P(M_{N}>x)}$${\displaystyle N\to\infty}$

Große Abweichungen für Summen unabhängiger Zufallsvariablen

Im obigen Beispiel des Münzwurfs haben wir explizit angenommen, dass jeder Wurf ein unabhängiger Versuch ist und die Wahrscheinlichkeit, Kopf oder Zahl zu treffen, immer gleich ist.

Lassen Sie werden unabhängig und identisch verteilt (iid) Zufallsvariablen , deren gemeinsame Verteilung erfüllt eine bestimmte Wachstumsbedingungen. Dann gilt folgende Grenze: ${\displaystyle X,X_{1},X_{2},\ldots}$

${\displaystyle \lim_{N\to\infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)}$.

Hier

${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$,

wie vorher.

Die Funktion wird als „ Ratenfunktion “ oder „Cramér-Funktion“ oder manchmal als „Entropiefunktion“ bezeichnet. ${\displaystyle I(\cdot)}$

Die oben genannte Grenze bedeutet, dass für große ,${\displaystyle N}$

${\displaystyle P(M_{N}>x)\approx\exp[-NI(x)]}$,

Dies ist das grundlegende Ergebnis der Theorie der großen Abweichungen.

Wenn wir die Wahrscheinlichkeitsverteilung von kennen , kann ein expliziter Ausdruck für die Ratenfunktion erhalten werden. Dies ist durch eine Legendre-Fenchel-Transformation gegeben . ${\displaystyle X}$

${\displaystyle I(x)=\sup_{\theta >0}[\theta x-\lambda (\theta)]}$,

wo

${\displaystyle \lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]}$

wird als kumulierte Erzeugungsfunktion (CGF) bezeichnet und bezeichnet den mathematischen Erwartungswert . ${\displaystyle \operatorname {E} }$

Folgt einer Normalverteilung , wird die Geschwindigkeitsfunktion zu einer Parabel, deren Spitze im Mittel der Normalverteilung liegt. ${\displaystyle X}$

Wenn es sich um eine Markov-Kette handelt , kann die oben angegebene Variante des Ergebnisses der grundlegenden großen Abweichungen gelten. ${\displaystyle \{X_{i}\}}$

Formale Definition

Bei einem polnischer Raum läßt Sie eine Folge von seinem Borel Wahrscheinlichkeitsmaß auf , läßt eine Folge von positiven reellen Zahlen sein , so dass , und schließlich läßt sein , nach unten halb auf Funktions Die Sequenz wird gesagt , ein zufrieden zu stellen große Abweichung Prinzip mit Geschwindigkeit und Rate , wenn, und nur dann , wenn für jede Borel meßbare Menge ,${\displaystyle {\mathcal{X}}}$${\displaystyle \{\mathbb{P} _{N}\}}$${\displaystyle {\mathcal{X}}}$${\displaystyle \{a_{N}\}}$${\displaystyle \lim_{N}a_{N}=\infty}$${\displaystyle I:{\mathcal {X}}\to [0,\infty ]}$${\displaystyle {\mathcal{X}}.}$${\displaystyle \{\mathbb{P} _{N}\}}$ ${\displaystyle \{a_{n}\}}$ ${\displaystyle I}$ ${\displaystyle E\subset {\mathcal {X}}}$

${\displaystyle -\inf_{x\in E^{\circ }}I(x)\leq \varliminf_{N}a_{N}^{-1}\log(\mathbb{P}_{N }(E))\leq \varlimsup_{N}a_{N}^{-1}\log(\mathbb{P}_{N}(E))\leq -\inf_{x\in {\ überstreichen {E}}}I(x)}$,

wobei und jeweils den Abschluss und das Innere von bezeichnen .${\displaystyle {\overline {E}}}$${\displaystyle E^{\circ}}$${\displaystyle E}$

Kurze Geschichte

Die ersten rigorosen Ergebnisse zu großen Abweichungen sind dem schwedischen Mathematiker Harald Cramér zu verdanken , der sie zur Modellierung des Versicherungsgeschäfts verwendet hat. Aus Sicht einer Versicherungsgesellschaft ist der Verdienst konstant pro Monat (die monatliche Prämie), aber die Schadenfälle kommen zufällig. Damit das Unternehmen über einen bestimmten Zeitraum (am besten viele Monate) erfolgreich ist, sollte der Gesamtverdienst den Gesamtanspruch übersteigen. Um die Prämie zu schätzen, muss man sich also folgende Frage stellen: "Welche Prämie sollen wir so wählen, dass über Monate hinweg der Gesamtschaden kleiner als ?" Dies ist eindeutig dieselbe Frage, die von der Theorie der großen Abweichungen gestellt wird. Cramér hat diese Frage für iid - Zufallsvariablen gelöst , wobei die Geschwindigkeitsfunktion als Potenzreihe ausgedrückt wird . ${\displaystyle q}$${\displaystyle N}$${\displaystyle C=\Sigma X_{i}}$${\displaystyle Nq}$

Eine sehr unvollständige Liste von Mathematikern, die wichtige Fortschritte gemacht haben, würde Petrov , Sanov , SRS Varadhan (der den Abel-Preis für seinen Beitrag zur Theorie gewonnen hat), D. Ruelle , OE Lanford , Amir Dembo und Ofer Zeitouni umfassen .

Anwendungen

Prinzipien großer Abweichungen können effektiv angewendet werden, um Informationen aus einem probabilistischen Modell zu sammeln. So findet die Theorie der großen Abweichungen ihre Anwendung in der Informationstheorie und im Risikomanagement . In der Physik findet man die bekannteste Anwendung der Theorie großer Abweichungen in der Thermodynamik und der statistischen Mechanik (in Verbindung mit der Beziehung der Entropie mit der Geschwindigkeitsfunktion).

Große Abweichungen und Entropie

Die Geschwindigkeitsfunktion hängt mit der Entropie in der statistischen Mechanik zusammen. Dies kann heuristisch wie folgt gesehen werden. In der statistischen Mechanik hängt die Entropie eines bestimmten Makrozustands mit der Anzahl der Mikrozustände zusammen, die diesem Makrozustand entsprechen. In unserem Münzwurf-Beispiel könnte der Mittelwert einen bestimmten Makrozustand bezeichnen. Und die besondere Abfolge von Kopf und Zahl, die zu einem besonderen Wert von führt, bildet einen besonderen Mikrozustand. Grob gesagt hat ein Makrozustand mit einer höheren Anzahl von Mikrozuständen, die ihn hervorbringen, eine höhere Entropie. Und ein Zustand mit höherer Entropie hat eine höhere Chance, in tatsächlichen Experimenten realisiert zu werden. Der Makrozustand mit einem Mittelwert von 1/2 (so viele Köpfe wie Zahlen) hat die höchste Anzahl von Mikrozuständen, die ihn entstehen lassen, und er ist tatsächlich der Zustand mit der höchsten Entropie. Und in den meisten praktischen Situationen werden wir diesen Makrozustand tatsächlich für eine große Anzahl von Versuchen erhalten. Die "Ratenfunktion" misst dagegen die Wahrscheinlichkeit des Auftretens eines bestimmten Makrozustands. Je kleiner die Ratenfunktion, desto höher ist die Wahrscheinlichkeit, dass ein Makrozustand auftritt. Bei unserem Münzwurf ist der Wert der "Kursfunktion" für einen Mittelwert gleich 1/2 Null. Auf diese Weise kann man die "Ratenfunktion" als das Negative der "Entropie" sehen. ${\displaystyle M_{N}}$${\displaystyle M_{N}}$

Es gibt einen Zusammenhang zwischen der "Ratenfunktion" in der Theorie der großen Abweichungen und der Kullback-Leibler-Divergenz , der Zusammenhang wird durch den Satz von Sanov hergestellt (siehe Sanov und Novak, Kap. 14.5).

Im Sonderfall hängen große Abweichungen eng mit dem Konzept der Gromov-Hausdorff-Grenzen zusammen .

Siehe auch

• Prinzip der großen Abweichung
• Cramérs großer Abweichungssatz
• Chernoffs Ungleichung
• Satz von Sanov
• Kontraktionsprinzip (Theorie der großen Abweichungen) , ein Ergebnis darüber, wie die Prinzipien großer Abweichungen „ vorwärts drängen “
• Satz von Freidlin-Wentzell , ein Prinzip der großen Abweichungen für Itō-Diffusionen
• Legendre Transformation , Ensemble-Äquivalenz basiert auf dieser Transformation.
• Laplace-Prinzip , ein Prinzip der großen Abweichungen in R ^d
• Laplaces Methode
• Satz von Schilder , ein Prinzip der großen Abweichungen für die Brownsche Bewegung
• Varadhans Lemma
• Extremwerttheorie
• Große Abweichungen von Gaußschen Zufallsfunktionen

Verweise

Literaturverzeichnis

• Eingeladenes Sonderpapier: Große Abweichungen von SRS Varadhan The Annals of Probability 2008, Vol. 2, No. 36, Nr. 2, 397–419 doi : 10.1214/07-AOP348
• Eine grundlegende Einführung in große Abweichungen: Theorie, Anwendungen, Simulationen , Hugo Touchette, arXiv:1106.4146.
• Entropie, große Abweichungen und statistische Mechanik von RS Ellis, Springer Publication. ISBN  3-540-29059-1
• Große Abweichungen für die Leistungsanalyse von Alan Weiss und Adam Shwartz. Chapman und Hall ISBN  0-412-06311-5
• Techniken und Anwendungen für große Abweichungen von Amir Dembo und Ofer Zeitouni. Springer ISBN  0-387-98406-2
• Zufällige Störungen dynamischer Systeme von MI Freidlin und AD Wentzell. Springer ISBN  0-387-98362-7
• "Große Abweichungen für zweidimensionale Navier-Stokes-Gleichung mit multiplikativem Rauschen", SS Sritharan und P. Sundar, Stochastische Prozesse und ihre Anwendungen, Vol. 2, No. 116 (2006) 1636–1659. [2]
• "Large Deviations for the Stochastic Shell Model of Turbulence", U. Manna, SS Sritharan und P. Sundar, NoDEA Nonlinear Differential Equations Appl. 16 (2009), Nr. 4, 493–521. [3]