Laplaces Methode - Laplace's method

In der Mathematik ist die nach Pierre-Simon Laplace benannte Laplace-Methode eine Technik, die verwendet wird, um Integrale der Form zu approximieren

wobei ist eine zweimal differenzierbare Funktion , M ist eine große Zahl und die Endpunkte a und b könnten möglicherweise unendlich sein. Diese Technik wurde ursprünglich in Laplace (1774) vorgestellt .

In Bayes'schen Statistik , Laplace Näherung bezieht sich auf eine Anwendung des Laplace-Verfahrens eine a posteriori Verteilung approximieren mit einer Gaußschen an dem zentrierten Maximum a posteriori Schätzung .

Die Idee der Laplace-Methode

hat ein globales Maximum bei 0. ist oben für M  = 0,5 und unten für M  = 3 (beide blau) dargestellt. Wenn M wächst, verbessert sich die Approximation dieser Funktion durch eine Gaußsche Funktion (in Rot dargestellt). Diese Beobachtung liegt der Methode von Laplace zugrunde.

Angenommen, die Funktion hat ein eindeutiges globales Maximum bei x 0 . Sei eine Konstante und betrachte die folgenden beiden Funktionen:

Beachten Sie, dass x 0 auch das globale Maximum von und ist . Beobachte nun:

Mit steigendem M wächst das Verhältnis für exponentiell, während sich das Verhältnis für nicht ändert. Somit kommen signifikante Beiträge zum Integral dieser Funktion nur von Punkten x in einer Umgebung von x 0 , die dann geschätzt werden können.

Allgemeine Theorie der Laplace-Methode

Um die Methode zu formulieren und zu motivieren, benötigen wir mehrere Annahmen. Wir nehmen an, dass x 0 kein Endpunkt des Integrationsintervalls ist, dass die Werte nicht sehr nahe an x liegen können, es sei denn, x ist nahe an x 0 , und dass

Wir können nach dem Satz von Taylor um x 0 expandieren ,

wo (siehe: große O-Notation ).

Da ein globales Maximum bei x 0 hat und x 0 kein Endpunkt ist, ist es ein stationärer Punkt , also verschwindet die Ableitung von bei x 0 . Daher kann die Funktion quadratischer Ordnung angenähert werden

für x in der Nähe von x 0 (Rückruf ). Die Annahmen stellen die Genauigkeit der Näherung sicher

(siehe Bild rechts). Dieses letztere Integral ist ein Gauß'sches Integral, wenn die Integrationsgrenzen von −∞ nach +∞ gehen (was angenommen werden kann, weil die Exponentialfunktion sehr schnell weg von x 0 abfällt ) und somit kann es berechnet werden. Wir finden

Eine Verallgemeinerung dieser Methode und Erweiterung auf beliebige Genauigkeit liefert Fog (2008) .

Formale Erklärung und Nachweis

Angenommen, es gibt eine zweimal stetig differenzierbare Funktion und einen eindeutigen Punkt, so dass:

Dann:

Nachweisen

Untere Schranke: Lassen Sie . Da stetig ist, existiert so, dass wenn dann Nach dem Satz von Taylor , für alle

Dann haben wir folgende untere Schranke:

wobei die letzte Gleichheit durch eine Änderung der Variablen erhalten wurde

Denken Sie daran, damit wir die Quadratwurzel ihrer Negation ziehen können.

Teilen wir beide Seiten der obigen Ungleichung durch

und nimm die Grenze, die wir erhalten:

da dies für willkürlich gilt, erhalten wir die untere Schranke:

Beachten Sie, dass dieser Beweis auch funktioniert, wenn oder (oder beides).

Obere Schranke: Der Beweis ähnelt dem der unteren Schranke, es gibt jedoch einige Unannehmlichkeiten. Wir beginnen wieder mit der Auswahl von an, aber damit der Beweis funktioniert, brauchen wir klein genug, damit Dann, wie oben, durch Stetigkeit von und Taylors Satz finden können, dass wenn , dann

Schließlich gibt es nach unseren Annahmen (vorausgesetzt, dass sie endlich sind) einen solchen, dass wenn , dann .

Dann können wir die folgende obere Schranke berechnen:

Teilen wir beide Seiten der obigen Ungleichung durch

und nimm die Grenze, die wir erhalten:

Da willkürlich ist, erhalten wir die obere Schranke:

Und die Kombination dieser mit der unteren Schranke ergibt das Ergebnis.

Beachten Sie, dass der obige Beweis offensichtlich fehlschlägt, wenn oder (oder beides). Um mit diesen Fällen umzugehen, benötigen wir einige zusätzliche Annahmen. Eine hinreichende (nicht notwendige) Annahme ist, dass für

und dass die obige Zahl existiert (beachten Sie, dass dies eine Annahme sein muss, wenn das Intervall unendlich ist). Der Beweis verläuft ansonsten wie oben, jedoch mit einer etwas anderen Approximation der Integrale:

Wenn wir dividieren durch

wir bekommen für diesen Begriff

deren Grenze wie ist . Der Rest des Beweises (die Analyse des interessanten Begriffs) verläuft wie oben.

Die gegebene Bedingung im Fall unendlicher Intervalle ist, wie oben gesagt, ausreichend, aber nicht notwendig. Die Bedingung ist jedoch in vielen, wenn nicht sogar in den meisten Anwendungen erfüllt: Die Bedingung besagt einfach, dass das Integral, das wir untersuchen, wohldefiniert (nicht unendlich) sein muss und dass das Maximum der Funktion bei ein "wahres" Maximum sein muss (die Nummer muss vorhanden sein). Es besteht keine Notwendigkeit zu verlangen, dass das Integral endlich ist, aber es genügt zu verlangen, dass das Integral für einige endlich ist

Diese Methode basiert auf 4 Grundkonzepten wie

Konzepte
1. Relativer Fehler

Die „Approximation“ bezieht sich bei dieser Methode auf den relativen Fehler und nicht auf den absoluten Fehler . Wenn wir also setzen

das Integral kann geschrieben werden als

wo ist eine kleine Zahl wann ist offensichtlich eine große Zahl und der relative Fehler ist

Lassen Sie uns dieses Integral nun in zwei Teile aufteilen: Region und den Rest.

2. um den stationären Punkt, wenn es groß genug ist

Schauen wir uns die Taylor - Entwicklung von um x 0 und übersetzen x zu y , weil wir den Vergleich in y-Raum tun, werden wir bekommen

Beachten Sie, dass da ein stationärer Punkt ist. Aus dieser Gleichung werden Sie sehen, dass die Terme, die höher als die zweite Ableitung in dieser Taylor-Entwicklung sind, in der Größenordnung von unterdrückt werden, so dass sie sich der Gauß-Funktion nähern, wie in Abbildung gezeigt. Außerdem,

Die Zahl mit gleich 1, 2 und 3 und die rote Linie ist die Kurve der Funktion .
3. Je größer ist, desto kleiner ist der Bereich von verwandt

Da wir den Vergleich im y-Raum durchführen, steht fest, welche Ursache ; jedoch umgekehrt proportional zu ist , wird der gewählte Bereich von wird kleiner, wenn er erhöht wird.

4. Wenn das Integral in der Laplace-Methode konvergiert, wird der Beitrag des Bereichs, der nicht um den stationären Punkt der Integration seines relativen Fehlers herum liegt, mit zunehmendem Wert gegen Null gehen .

Wenn wir uns auf das dritte Konzept verlassen, wird sD y , selbst wenn wir ein sehr großes D y wählen , schließlich eine sehr kleine Zahl sein, wenn sie auf eine große Zahl erhöht wird. Wie können wir dann garantieren, dass das Integral des Rests gegen 0 tendiert, wenn es groß genug ist?

Die Grundidee besteht darin, eine Funktion zu finden , bei der das Integral des Willens beim Wachsen gegen Null geht . Denn die Exponentialfunktion von Willen ist immer größer als Null, solange es sich um eine reelle Zahl handelt, und diese Exponentialfunktion ist proportional zum Integral von Will tendiert gegen Null. Wählen Sie der Einfachheit halber als Tangente durch den Punkt wie in der Abbildung gezeigt:

ist durch die beiden durchlaufenden Tangenten gekennzeichnet . Wenn es kleiner wird, wird der Abdeckungsbereich größer.

Wenn das Intervall der Integration dieser Methode endlich ist, werden wir feststellen, dass keine Materie im Restbereich fortgesetzt wird, sie wird immer kleiner als oben gezeigt, wenn sie groß genug ist. Übrigens wird später bewiesen, dass das Integral von wird gegen Null gehen, wenn es groß genug ist.

Wenn das Intervall der Integration dieser Methode unendlich ist und sich immer überschneiden kann. Wenn dies der Fall ist, können wir nicht garantieren, dass das Integral von Willen schließlich gegen Null geht. Zum Beispiel im Falle von Willen immer divergieren. Daher müssen wir fordern, dass für den unendlichen Intervallfall konvergieren kann. Wenn ja, strebt dieses Integral gegen Null, wenn es groß genug ist, und wir können dies als das Kreuz von und wählen

Man könnte sich fragen, warum man nicht als konvergentes Integral wählt ? Lassen Sie mich den Grund an einem Beispiel zeigen. Angenommen, der Rest von ist dann und sein Integral divergiert; jedoch, wenn das Integral von konvergiert. Das Integral einiger Funktionen divergiert also, wenn es keine große Zahl ist, aber sie konvergieren, wenn es groß genug ist.

Basierend auf diesen vier Konzepten können wir den relativen Fehler dieser Laplace-Methode ableiten.

Andere Formulierungen

Die Näherung von Laplace wird manchmal geschrieben als

wo ist positiv.

Wichtig ist, dass die Genauigkeit der Approximation von der Integrationsvariablen abhängt, d. h. davon, was drin bleibt und was in .

Die Ableitung seines relativen Fehlers

Verwenden Sie zunächst das globale Maximum, um diese Ableitung zu vereinfachen. Uns interessiert der relative Fehler, geschrieben als ,

wo

Also, wenn wir lassen

und wir können bekommen

seit .

Beachten Sie für die obere Schranke, dass wir diese Integration somit in 5 Teile mit 3 verschiedenen Typen (a), (b) bzw. (c) aufteilen können. Deswegen,

wo und ähnlich sind, berechnen wir einfach und und sind auch ähnlich, ich rechne einfach .

Denn nach der Übersetzung von erhalten wir

Dies bedeutet, dass er, solange er groß genug ist, gegen Null tendiert.

Für können wir

wo

und sollte in dieser Region das gleiche Vorzeichen haben . Wählen wir als Tangente über den Punkt bei , dh die in der Abbildung gezeigt ist

ist die Tangente durch den Punkt bei .

Aus dieser Zahl können Sie entnehmen, dass die Region, die die obige Ungleichung erfüllt, größer wird , wenn sie kleiner wird oder kleiner wird. Wenn wir also einen geeigneten finden möchten, um das Ganze während des Intervalls von abzudecken , gibt es eine Obergrenze. Da die Integration von einfach ist, möchte ich sie außerdem dazu verwenden, den relativen Fehler abzuschätzen, der dadurch verursacht wird .

Basierend auf der Taylor-Entwicklung erhalten wir

und

und setze sie dann wieder in die Berechnung von ein ; Sie können jedoch feststellen, dass die Reste dieser beiden Erweiterungen beide umgekehrt proportional zur Quadratwurzel von sind. Lassen Sie mich sie weglassen, um die Berechnung zu verschönern. Sie zu behalten ist besser, aber es macht die Formel hässlicher.

Daher tendiert er zu Null, wenn er größer wird, aber vergessen Sie nicht, dass die obere Grenze von bei dieser Berechnung berücksichtigt werden sollte.

Über die Integration in der Nähe von können wir auch den Satz von Taylor verwenden , um sie zu berechnen. Wann

und Sie können feststellen, dass es umgekehrt proportional zur Quadratwurzel von ist . Tatsächlich verhält es sich gleich, wenn eine Konstante ist.

Zusammenfassend wird das Integral in der Nähe des stationären Punktes kleiner, wenn es größer wird, und die restlichen Teile werden gegen Null tendieren, solange es groß genug ist; Wir müssen uns jedoch daran erinnern, dass dies eine obere Grenze hat, die davon abhängt, ob die Funktion immer größer ist als im Ruhebereich. Solange wir jedoch eine finden können, die diese Bedingung erfüllt, kann die obere Schranke von direkt proportional zu gewählt werden, da eine Tangente über den Punkt von at ist . Je größer also, desto größer kann es sein.

Im multivariaten Fall, in dem ein -dimensionaler Vektor und eine Skalarfunktion von ist , wird die Laplace-Approximation normalerweise wie folgt geschrieben:

wobei ist die hessische Matrix von ausgewertet bei und wobei bezeichnet die Matrixdeterminante . Analog zum univariaten Fall muss das Hessische negativ definit sein .

Übrigens bezeichnet der Begriff , obwohl er einen -dimensionalen Vektor bezeichnet, hier ein infinitesimales Volumen , also .

Laplaces Methodenerweiterung: Steilste Abfahrt

In Erweiterungen der Laplace-Methode wird die komplexe Analyse und insbesondere die Integralformel von Cauchy verwendet, um eine Kontur des steilsten Abstiegs für ein (asymptotisch mit großem M ) äquivalentes Integral, ausgedrückt als Linienintegral, zu finden . Insbesondere wenn auf der reellen Linie kein Punkt x 0 existiert, an dem die Ableitung von verschwindet, kann es notwendig sein, die Integrationskontur zu einer optimalen zu verformen, wo die obige Analyse möglich ist. Auch hier besteht die Hauptidee darin, die Berechnung des gegebenen Integrals zumindest asymptotisch auf die eines einfacheren, explizit auswertbaren Integrals zu reduzieren. Siehe das Buch von Erdelyi (1956) für eine einfache Diskussion (wo die Methode als steilste Abfahrten bezeichnet wird ).

Die passende Formulierung für die komplexe z -Ebene ist

für einen Pfad, der durch den Sattelpunkt bei z 0 verläuft . Beachten Sie das explizite Auftreten eines Minuszeichens, um die Richtung der zweiten Ableitung anzuzeigen: Man darf den Modul nicht nehmen. Beachten Sie auch, dass, wenn der Integrand meromorph ist , man möglicherweise Reste hinzufügen muss, die den überquerten Polen entsprechen, während die Kontur verformt wird (siehe zum Beispiel Abschnitt 3 von Okounkovs Aufsatz Symmetrische Funktionen und zufällige Partitionen ).

Weitere Verallgemeinerungen

Eine Erweiterung des steilsten Abstiegs-Verfahrens ist das sogenannte nichtlineare stationäre/steilste Abstieg-Verfahren . Hier müssen anstelle von Integralen asymptotisch Lösungen von Riemann-Hilbert-Faktorisierungsproblemen bewertet werden .

Gegeben eine Kontur C in der komplexen Sphäre , eine auf dieser Kontur definierte Funktion und ein spezieller Punkt, sagen wir unendlich, sucht man eine Funktion M holomorph von der Kontur C entfernt , mit vorgeschriebenem Sprung über C und mit einer gegebenen Normalisierung im Unendlichen. Wenn und damit M eher Matrizen als Skalar ist dies ein Problem , dass in der Regel keine explizite Lösung zugeben.

Dann ist eine asymptotische Auswertung nach dem Vorbild der linearen stationären Phase/steilsten Abstiegsmethode möglich. Die Idee ist, die Lösung des gegebenen Riemann-Hilbert-Problems asymptotisch auf die eines einfacheren, explizit lösbaren Riemann-Hilbert-Problems zu reduzieren. Der Satz von Cauchy wird verwendet, um Verformungen der Sprungkontur zu rechtfertigen.

Die nichtlineare stationäre Phase wurde 1993 von Deift und Zhou eingeführt, basierend auf früheren Arbeiten von Its. Eine (genauer gesagt) nichtlineare Methode des steilsten Abstiegs wurde 2003 von Kamvissis, K. McLaughlin und P. Miller eingeführt, basierend auf früheren Arbeiten von Lax, Levermore, Deift, Venakides und Zhou. Wie im linearen Fall lösen "steilste Abstiegskonturen" ein Min-Max-Problem. Im nichtlinearen Fall erweisen sie sich als "S-Kurven" (in einem anderen Kontext in den 80er Jahren von Stahl, Gonchar und Rakhmanov definiert).

Die nichtlineare stationäre Phase/steilste Abstiegsmethode hat Anwendungen in der Theorie von Solitonengleichungen und integrierbaren Modellen , Zufallsmatrizen und Kombinatorik .

Verallgemeinerung der Laplace-Methode: Median-Punkt-Approximation

In der Verallgemeinerung wird die Auswertung des Integrals gleichgesetzt mit der Bestimmung der Norm der Verteilung mit Dichte

Bezeichnet die kumulative Verteilung , wenn es eine diffeomorphe Gaußsche Verteilung mit Dichte . gibt

die Norm ist gegeben durch

und der entsprechende Diffeomorphismus ist

wobei bezeichnet kumulative Standardnormalverteilung Funktion.

Im Allgemeinen hat jede Verteilung, die zur Gaußschen Verteilung diffeomorph ist, eine Dichte

und der Median- Punkt wird auf den Median der Gaußschen Verteilung abgebildet. Die Anpassung des Logarithmus der Dichtefunktionen und ihrer Ableitungen am Medianpunkt bis zu einer bestimmten Ordnung ergibt ein Gleichungssystem, das die Näherungswerte von und bestimmt .

Die Approximation wurde 2019 von D. Makogon und C. Morais Smith vor allem im Kontext der Verteilungsfunktionsbewertung für ein System wechselwirkender Fermionen eingeführt.

Komplexe Integrale

Für komplexe Integrale in der Form:

mit nehmen wir die Substitution t = iu und die Änderung der Variablen vor , um die bilaterale Laplace-Transformation zu erhalten:

Dann teilen wir g ( c + ix ) in seinen reellen und komplexen Teil auf, wonach wir u = t / i zurückgewinnen . Dies ist nützlich für inverse Laplace-Transformationen , die Perron-Formel und komplexe Integration.

Beispiel: Stirling-Approximation

Die Methode von Laplace kann verwendet werden, um die Stirling-Approximation abzuleiten

für eine große ganze Zahl  N .

Aus der Definition der Gamma-Funktion haben wir

Jetzt ändern wir die Variablen und lassen damit das Setzen Sie diese Werte wieder ein, um zu erhalten

Dieses Integral hat die für das Laplace-Verfahren notwendige Form mit

was doppelt differenzierbar ist:

Das Maximum von liegt bei z 0  = 1, und die zweite Ableitung von hat an dieser Stelle den Wert −1. Daher erhalten wir

Siehe auch

Anmerkungen

Verweise

  • Azevedo-Filho, A.; Shachter, R. (1994), "Laplace's Method Approximations for Probabilistic Inference in Belief Networks with Continuous Variables", in Mantaras, R.; Poole, D. (Hrsg.), Uncertainty in Artificial Intelligence , San Francisco, CA: Morgan Kaufmann , CiteSeerX  10.1.1.91.2064.
  • Deift, P.; Zhou, X. (1993), "Eine Methode des steilsten Abstiegs für oszillierende Riemann-Hilbert-Probleme. Asymptotik für die MKdV-Gleichung", Ann. von Mathe. , 137 (2), S. 295–368, arXiv : math/9201261 , doi : 10.2307/2946540 , JSTOR  2946540.
  • Erdelyi, A. (1956), Asymptotische Expansionen , Dover.
  • Fog, A. (2008), "Calculation Methods for Wallenius' Noncentral Hypergeometric Distribution", Communications in Statistics, Simulation and Computation , 37 (2), S. 258–273, doi : 10.1080/03610910701790269.
  • Laplace, PS (1774), "Mémoires de Mathématique et de Physique, Tome Sixième" [Erinnerungen über die Wahrscheinlichkeit von Ereignisursachen.], Statistical Science , 1 (3): 366–367, JSTOR  2245476
  • Wang, Xiang-Sheng; Wong, Roderick (2007). „Diskrete Analoga der Näherung von Laplace“. Asymptot. Anal . 54 (3–4): 165–180.

Dieser Artikel enthält Material aus der Sattelpunkt-Annäherung auf PlanetMath , das unter der Creative Commons-Lizenz Namensnennung/Weitergabe unter gleichen Bedingungen lizenziert ist .