Punktzahl (Statistik) - Score (statistics)

In der Statistik ist der Score (oder Informant ) der Gradient der Log-Likelihood-Funktion in Bezug auf den Parametervektor . Ausgewertet an einem bestimmten Punkt des Parametervektors zeigt die Bewertung die Steilheit der Log-Likelihood-Funktion und damit die Empfindlichkeit gegenüber infinitesimalen Änderungen der Parameterwerte an. Wenn die Log-Likelihood-Funktion über den Parameterraum stetig ist , verschwindet der Score bei einem lokalen Maximum oder Minimum ; diese Tatsache wird bei der Maximum-Likelihood-Schätzung verwendet , um die Parameterwerte zu finden, die die Likelihood-Funktion maximieren.

Da die Kerbe eine Funktion ist der Beobachtungen , die unterworfen sind Abtastfehler , bietet es sich an einen Statistiktest als bekannten Punktzahl Test in dem der Parameter bei einem bestimmten Wert gehalten wird. Ferner kann das Verhältnis von zwei Wahrscheinlichkeitsfunktionen, die bei zwei unterschiedlichen Parameterwerten bewertet wurden, als ein bestimmtes Integral der Bewertungsfunktion verstanden werden.

Definition

Die Punktzahl ist der Gradient (der Vektor der partiellen Ableitungen ) von dem natürlichen Logarithmus der Wahrscheinlichkeitsfunktion , in Bezug auf ein m - dimensionales Parametervektor . ${\displaystyle\log{\mathcal{L}}(\theta)}$${\displaystyle\theta}$

${\displaystyle s(\theta)\equiv {\frac {\partial\log{\mathcal{L}}(\theta)}{\partial\theta}}}$

Somit ergibt die Differentiation einen Zeilenvektor und zeigt die Sensitivität der Likelihood (ihre durch ihren Wert normierte Ableitung) an. ${\displaystyle (1\mal m)}$

In der älteren Literatur kann sich "lineare Punktzahl" auf die Punktzahl in Bezug auf die infinitesimale Übersetzung einer gegebenen Dichte beziehen. Diese Konvention stammt aus einer Zeit, als der primäre interessierende Parameter der Mittelwert oder Median einer Verteilung war. In diesem Fall wird die Wahrscheinlichkeit einer Beobachtung durch eine Dichte der Form angegeben . Der "lineare Score" ist dann definiert als ${\displaystyle {\mathcal{L}}(\theta;X)=f(X+\theta)}$

${\displaystyle s_{\rm {linear}}={\frac {\partial }{\partial X}}\log f(X)}$

Eigenschaften

Bedeuten

Während die Punktzahl eine Funktion von ist , hängt sie auch von den Beobachtungen ab, bei denen die Wahrscheinlichkeitsfunktion ausgewertet wird, und angesichts des Zufallscharakters der Stichprobe kann man ihren Erwartungswert über den Stichprobenraum ziehen . Unter bestimmten Regularitätsbedingungen der Dichtefunktionen der Zufallsvariablen ist der Erwartungswert des Scores, bewertet am wahren Parameterwert , null. Um dies zu sehen, schreiben Sie die Likelihood-Funktion in eine Wahrscheinlichkeitsdichtefunktion um und bezeichnen Sie den Stichprobenraum . Dann: ${\displaystyle\theta}$${\displaystyle \mathbf{x} =(x_{1},x_{2},\ldots x_{T})}$${\displaystyle\theta}$${\displaystyle {\mathcal{L}}}$ ${\displaystyle {\mathcal{L}}(\theta;x)=f(x;\theta)}$ ${\displaystyle {\mathcal{X}}}$

${\displaystyle {\begin{aligned}\operatorname {E} (s\mid \theta )&=\int _{\mathcal {X}}f(x;\theta ){\frac {\partial }{\partial \theta}}\log {\mathcal{L}}(\theta;x)\,dx\\[6pt]&=\int_{\mathcal{X}}f(x;\theta){\frac { 1}{f(x;\theta)}}{\frac{\partial f(x;\theta)}{\partial\theta}}\,dx=\int_{\mathcal{X}}{\frac {\partial f(x;\theta)}{\partial\theta}}\,dx\end{ausgerichtet}}}$

Die angenommenen Regularitätsbedingungen erlauben den Austausch von Ableitung und Integral (siehe Leibniz-Integralregel ), daher kann der obige Ausdruck umgeschrieben werden als

${\displaystyle {\frac {\partial}{\partial\theta}}\int _{\mathcal{X}}f(x;\theta)\,dx={\frac {\partial}{\partial\theta }}1=0.}$

Es lohnt sich, das obige Ergebnis in Worten zu formulieren: Der Erwartungswert der Punktzahl ist Null. Wenn man also wiederholt aus einer Verteilung Stichproben ziehen und die Punktzahl wiederholt berechnen würde, dann würde der Mittelwert der Punktzahlen asymptotisch gegen Null tendieren .

Abweichung

Die Varianz des Scores kann aus dem obigen Ausdruck für den Erwartungswert abgeleitet werden. ${\displaystyle \operatorname {Var} (s(\theta))=\operatorname {E} (s(\theta)s(\theta)^{\mathsf {T}})}$

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial\theta ^{\mathsf {T}}}}\operatorname {E} (s\mid \theta )\\[6pt] &={\frac{\partial}{\partial\theta^{\mathsf{T}}}}\int _{\mathcal{X}}{\frac{\partial\log{\mathcal{L}}( \theta ;X)}{\partial \theta}}f(x;\theta )\,dx\\[6pt]&=\int _{\mathcal {X}}{\frac {\partial }{\partial \theta^{\mathsf{T}}}}\left\{{\frac{\partial\log{\mathcal{L}}(\theta;X)}{\partial\theta}}f(x;\ theta )\right\}\,dx\\[6pt]&=\int_{\mathcal {X}}\left\{{\frac {\partial^{2}\log {\mathcal {L}}( \theta;X)}{\partial\theta\partial\theta^{\mathsf{T}}}}f(x;\theta)+{\frac{\partial\log{\mathcal{L}}(\ theta ;X)}{\partial \theta}}{\frac {\partial f(x;\theta )}{\partial\theta^{\mathsf {T}}}}\right\}\,dx\\ [6pt]&=\int_{\mathcal{X}}{\frac{\partial^{2}\log{\mathcal{L}}(\theta;X)}{\partial\theta\partial\theta ^{\mathsf {T}}}}f(x;\theta)\,dx+\int _{\mathcal {X}}{\frac {\partial \log {\mathcal {L}}(\theta;X )}{\partial\theta}}{\frac {\partia l {\mathcal{L}}(\theta;X)}{\partial\theta^{\mathsf{T}}}}\,dx\\[6pt]&=\int_{\mathcal{X}} {\frac {\partial^{2}\log{\mathcal{L}}(\theta;X)}{\partial\theta\partial\theta^{\mathsf{T}}}}f(x;\ theta)\,dx+\int_{\mathcal{X}}{\frac{\partial\log{\mathcal{L}}(\theta;X)}{\partial\theta}}{\frac{\partial \log {\mathcal{L}}(\theta ;X)}{\partial \theta^{\mathsf {T}}}}f(x;\theta )\,dx\\[6pt]&=\operatorname {E} \left({\frac {\partial^{2}\log{\mathcal{L}}(\theta;X)}{\partial\theta\partial\theta^{\mathsf{T}}} }\right)+\operatorname {E} \left({\frac {\partial \log {\mathcal {L}}(\theta ;X)}{\partial\theta }}\left[{\frac {\ partiell \log{\mathcal{L}}(\theta;X)}{\partial\theta}}\right]^{\mathsf{T}}\right)\end{aligned}}}$

Daher ist die Varianz des Scores gleich dem negativen Erwartungswert der hessischen Matrix der Log-Likelihood.

${\displaystyle \operatorname {E} (s(\theta)s(\theta)^{\mathsf {T}})=-\operatorname {E} \left({\frac {\partial ^{2}\log {\mathcal{L}}}{\partial\theta\partial\theta^{\mathsf{T}}}}\right)}$

Letzteres ist als Fisher-Information bekannt und geschrieben . Beachten Sie, dass die Fisher-Informationen keine Funktion einer bestimmten Beobachtung sind, da die Zufallsvariable gemittelt wurde. Dieses Informationskonzept ist nützlich, wenn man zwei Methoden zur Beobachtung eines zufälligen Prozesses vergleicht . ${\displaystyle {\mathcal{I}}(\theta)}$${\displaystyle X}$

Beispiele

Bernoulli-Prozess

Betrachten Sie die ersten n Versuche eines Bernoulli-Prozesses und sehen Sie, dass A von ihnen erfolgreich sind und die restlichen B fehlgeschlagen sind, wobei die Erfolgswahrscheinlichkeit  θ ist .

Dann ist die Wahrscheinlichkeit ist ${\displaystyle {\mathcal{L}}}$

${\displaystyle {\mathcal{L}}(\theta ;A,B)={\frac {(A+B)!}{A!B!}}\theta ^{A}(1-\theta)^ {B},}$

so die Partitur s ist

${\displaystyle s={\frac{1}{\mathcal{L}}}{\frac {\partial {\mathcal{L}}}{\partial\theta}}={\frac{A}{\theta }}-{\frac {B}{1-\theta}}.}$

Wir können nun überprüfen, dass die Erwartung des Scores null ist. Feststellung , dass die Erwartung von A ist , n & thgr; und die Erwartung von B ist n (1 -  θ ) [RECALL , dass A und B sind Zufallsvariablen], können wir sehen , dass die Erwartung des s ist

${\displaystyle E(s)={\frac {n\theta }{\theta}}-{\frac {n(1-\theta)}{1-\theta}}=nn=0.}$

Wir können auch die Varianz von . Wir wissen , daß A + B = N (SO B =  n  -  A ) und die Varianz von A ist n & theta; (1 -  θ ) , so dass die Varianz s ist ${\displaystyle s}$

${\displaystyle {\begin{aligned}\operatorname {var} (s)&=\operatorname {var} \left({\frac {A}{\theta }}-{\frac {nA}{1-\theta }}\right)=\operatorname {var} \left(A\left({\frac {1}{\theta }}+{\frac {1}{1-\theta}}\right)\right)\ \&=\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)^{2}\operatorname {var} (A)={\frac {n}{\theta (1-\theta )}}.\end{ausgerichtet}}}$

Binäres Ergebnismodell

Bei Modellen mit binären Ergebnissen ( Y = 1 oder 0) kann das Modell mit dem Logarithmus der Vorhersagen bewertet werden

${\displaystyle S=Y\log(p)+(1-Y)(\log(1-p))}$

wobei p die Wahrscheinlichkeit im zu schätzenden Modell und S die Punktzahl ist.

Anwendungen

Bewertungsalgorithmus

Der Bewertungsalgorithmus ist ein iteratives Verfahren zur numerischen Bestimmung des Maximum-Likelihood- Schätzers .

Score-Test

Beachten Sie, dass dies eine Funktion von und der Beobachtung ist , so dass es sich im Allgemeinen nicht um eine Statistik handelt . Bei bestimmten Anwendungen, wie beispielsweise dem Bewertungstest , wird die Bewertung jedoch mit einem bestimmten Wert von (beispielsweise einem Nullhypothesenwert) bewertet , wobei in diesem Fall das Ergebnis eine Statistik ist. Wenn der eingeschränkte Schätzer nahe dem Maximum der Likelihood-Funktion liegt, sollte sich die Bewertung intuitiv um nicht mehr als den Stichprobenfehler von Null unterscheiden . 1948 bewies CR Rao erstmals, dass das Quadrat des Scores dividiert durch die Informationsmatrix einer asymptotischen χ ² -Verteilung unter der Nullhypothese folgt . ${\displaystyle s}$${\displaystyle\theta}$${\displaystyle \mathbf{x} =(x_{1},x_{2},\ldots x_{T})}$${\displaystyle\theta}$

Beachten Sie außerdem, dass der Likelihood-Ratio-Test gegeben ist durch

${\displaystyle -2\left[\log {\mathcal {L}}(\theta_{0})-\log {\mathcal {L}}({\hat {\theta}})\right]=2 \int_{\theta_{0}}^{\hat{\theta}}{\frac{d\,\log {\mathcal{L}}(\theta)}{d\theta}}\,d \theta=2\int_{\theta_{0}}^{\hat{\theta}}s(\theta)\,d\theta}$

was bedeutet, dass der Likelihood-Ratio-Test als die Fläche unter der Score-Funktion zwischen und verstanden werden kann . ${\displaystyle \theta_{0}}$${\displaystyle {\hat {\theta}}}$

Siehe auch

• Fischerinformationen
• Informationstheorie
• Score-Test
• Bewertungsalgorithmus
• Standard-Score
• Stützkurve

Anmerkungen

Verweise

• Chentsov, NN (2001) [1994], "Informant" , Encyclopedia of Mathematics , EMS Press
• Cox, DR; Hinkley, DV (1974). Theoretische Statistik . Chapman & Halle. ISBN 0-412-12420-3.
• Schervish, Mark J. (1995). Theorie der Statistik . New York: Springer. Abschnitt 2.3.1. ISBN 0-387-94546-6.