Normalverteilung: MLS-Schätzer < math. Statistik < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 11:14 Mi 01.10.2014 | | Autor: | GeMir |
| Aufgabe | | Seien [mm] $X_1, \ldots, X_n \overset{iid}{\sim} N(\mu, \sigma^2), \sigma^2 [/mm] > 0$ unbekannt. Bestimmen Sie den Maximum-Likelihood-Schätzer für [mm] \mu. [/mm] |
Den unbekannten Parameter [mm] $\sigma^2$ [/mm] ersetzen wir durch den erwartungstreuen Schätzer [mm] $\hat{\sigma}^2 [/mm] = [mm] \frac{1}{n-1}\cdot\sum_{i=1}^{n}{(X_i-\bar{X})^2}$ [/mm] (Stichprobenvarianz)
Die Likelihood-Funktion ist gegeben durch (gemeinsame Dichte von $n$ unabhängigen Zufallsvariablen): [mm] $L(\mu [/mm] | [mm] x_1, \ldots, x_n) [/mm] = [mm] \prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}\hat{\sigma}}e^{-\frac{(x_i-\mu)^2}{2\hat{\sigma}^2}}}$
[/mm]
Die Log-Likelihood-Funktion ist dann gegeben durch:
[mm] l(\mu [/mm] | [mm] x_1, \ldots, x_n)&= \sum_{i=1}^{n}{\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}e^{-\frac{(x_i-\mu)^2}{2\hat{\sigma}^2}}\bigg)}\\
[/mm]
= [mm] \sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}\bigg) + \ln\bigg(e^{-\frac{(x_i-\mu)^2}{2\hat{\sigma}^2}}\bigg)\Bigg)}\\
[/mm]
= [mm] \sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}\bigg) - \frac{(x_i-\mu)^2}{2\hat{\sigma}^2}\Bigg)}\\
[/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}\bigg) [/mm] - [mm] \sum_{i=1}^{n}{\frac{(x_i-\mu)^2}{2\hat{\sigma}^2}}\\
[/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}\bigg) [/mm] - [mm] \frac{1}{2\hat{\sigma}^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}\\
[/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}\bigg) [/mm] - [mm] \frac{1}{2\hat{\sigma}^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}
[/mm]
Notwendige Bedingung: [mm] $\frac{\partial l}{\partial\mu} [/mm] = 0$
[mm] \frac{\partial l}{\partial \mu} [/mm] = [mm] \frac{1}{\hat{\sigma}^2}\cdot(n\bar{x}-n\mu)
[/mm]
Also:
[mm] \frac{1}{\hat{\sigma}^2}\cdot(n\bar{x}-n\mu) [/mm] = [mm] 0\\
[/mm]
[mm] n\bar{x}-n\mu [/mm] = [mm] 0\\
[/mm]
[mm] \bar{x}-\mu [/mm] = [mm] 0\\
[/mm]
[mm] \bar{x} [/mm] = [mm] \mu
[/mm]
Hinreichende Bedingung: [mm] $\frac{\partial^2 l}{\partial\mu\partial\mu} \neq [/mm] 0$
[mm] $\frac{\partial^2 l}{\partial\mu\partial\mu} [/mm] &= [mm] -\frac{n}{\hat{\sigma}^2} [/mm] < 0$ für alle [mm] $\mu$
[/mm]
$l$ (und somit $L$) hat ein lokales Maximum an der Stelle [mm] $\mu [/mm] = [mm] \bar{x}$. [/mm] Die zweite Ableitung ist aber für alle [mm] $\mu$ [/mm] kleiner Null und somit ist das gefundene Maximum auch global.
Das heißt, wir erhalten den selben Schätzer, egal, ob die Varianz bekannt ist oder nicht?
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 11:31 Mi 01.10.2014 | | Autor: | luis52 |
> Seien [mm]X_1, \ldots, X_n \overset{iid}{\sim} N(\mu, \sigma^2), \sigma^2 > 0[/mm]
> unbekannt. Bestimmen Sie den Maximum-Likelihood-Schätzer
> für [mm]\mu.[/mm]
>
>
>
> Den unbekannten Parameter [mm]\sigma^2[/mm] ersetzen wir durch den
> erwartungstreuen Schätzer [mm]S^2_x = \frac{1}{n-1}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}[/mm]
Moin, wie das?
>
> Die Likelihood-Funktion ist gegeben durch (gemeinsame
> Dichte von [mm]n[/mm] unabhängigen Zufallsvariablen): [mm]L(\mu | x_1, \ldots, x_n) = \prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}S_x}e^{-\frac{(x_i-\mu)^2}{2S^2_x}}}[/mm]
Die korrekte Funktion ist
[mm]L(\mu | x_1, \ldots, x_n) = \prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}\red{\sigma}}e^{-\frac{(x_i-\mu)^2}{2\red{\sigma}^2}}}[/mm]
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 11:36 Mi 01.10.2014 | | Autor: | GeMir |
[mm] $\sigma^2$ [/mm] ist unbekannt in dem Modell und müsste somit geschätzt werden. Oder?
Der Schätzer ist aber [mm] $\hat{\sigma}^2 [/mm] = [mm] \frac{1}{n-1}\cdot\sum_{i=1}^{n}{(X_i-\bar{X})^2}$ [/mm] (schon korregiert).
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 13:48 Mi 01.10.2014 | | Autor: | luis52 |
> [mm]\sigma^2[/mm] ist unbekannt in dem Modell und müsste somit
> geschätzt werden. Oder?
Korrekt. Aber um [mm] $\hat \mu_{ML}$ [/mm] zu bestimmen musst du $L$ als Funktion von [mm] $\mu$ [/mm] und [mm] $\sigma^2$ [/mm] auffassen und maximieren. Die erste Komponente der Stelle des Optimums ist der gesuchte Schaetzer. Du darfst nicht fuer [mm] $\hat\sigma^2$ [/mm] irgend einen Phantasieschaetzer verwenden.
>
> Der Schätzer ist aber [mm]\hat{\sigma}^2 = \frac{1}{n-1}\cdot\sum_{i=1}^{n}{(X_i-\bar{X})^2}[/mm]
> (schon korregiert).
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 14:54 Mi 01.10.2014 | | Autor: | GeMir |
Danke.
Ich dachte, in Analogie mit Tests, wäre es sinnvoll statt dem unbekannten Parameter den (erwartungstreuen) Schätzer zu nehmen.
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 15:39 Mi 01.10.2014 | | Autor: | luis52 |
> Ich dachte, in Analogie mit Tests, wäre es sinnvoll statt
> dem unbekannten Parameter den (erwartungstreuen) Schätzer
> zu nehmen.
Nope 
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 16:53 Do 02.10.2014 | | Autor: | GeMir |
Eingabefehler: "{" und "}" müssen immer paarweise auftreten, es wurde aber ein Teil ohne Entsprechung gefunden (siehe rote Markierung)
Ok, wenn ich mich nicht verrechnet habe, sieht die (wunderschöne) Hesse-Matrix folgendermaßen aus:
Hess($l$) = $\begin{pmatrix}
-\frac{n}{\sigma^2} & -\frac{1}{(\sigma^2)^2}\sum_{i=1}^{n}{(x_i - \mu)}\\
-\frac{1}{(\sigma^2)^2}\sum_{i=1}^{n}{(x_i - \mu)} & -\frac{3}{2(\sigma^2)^2} + \frac{\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^4}
\end{pmatrix}$
Und damit $l$ ein globales Maximum an der Stelle $\bigg(\bar{x}; \sum_{i=1}^{n}{(x_i - \mu)^2\bigg)$ hat, muss Hess($l$) positiv definit sein.
So weit ok?
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 17:20 Sa 04.10.2014 | | Autor: | matux |
$MATUXTEXT(ueberfaellige_frage)
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 23:39 Sa 04.10.2014 | | Autor: | GeMir |
Die Frage interessiert mich immer noch.
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 22:22 So 05.10.2014 | | Autor: | luis52 |
> Ok, wenn ich mich nicht verrechnet habe, sieht die
> (wunderschöne) Hesse-Matrix folgendermaßen aus:
>
> Hess($l$) = [mm]$\begin{pmatrix}
-\frac{n}{\sigma^2} & -\frac{1}{(\sigma^2)^2}\sum_{i=1}^{n}{(x_i - \mu)}\\
-\frac{1}{(\sigma^2)^2}\sum_{i=1}^{n}{(x_i - \mu)} & -\frac{3}{2(\sigma^2)^2} + \frac{\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^4}
\end{pmatrix}$[/mm]
>
> Und damit [mm]l[/mm] ein globales Maximum an der Stelle
> [mm]\bigg(\bar{x}; \sum_{i=1}^{n}{(x_i - \mu)^2\bigg)[/mm] hat, muss
> Hess([mm]l[/mm]) positiv definit sein.
>
> So weit ok?
Moin, die rechte untere Ecke der Matrix kommt mir nicht koscher vor.
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 22:43 So 05.10.2014 | | Autor: | GeMir |
Stimmt. Jetzt sollte es aber halāl sein:
[mm] \frac{\partial l}{\partial\sigma^2} [/mm] = [mm] \frac{-\sigma^2+n\bar{x^2}-2\mu n\bar{x}+n\mu^2}{2(\sigma^2)^2}
[/mm]
[mm] \frac{\partial l}{\partial\sigma^2 \partial\sigma^2} [/mm] = [mm] \frac{-1(2(\sigma^2)^2)-4\sigma^2(-\sigma^2+n\bar{x^2}-2\mu n\bar{x}+n\mu^2)}{(2(\sigma^2)^2)^2} [/mm] = [mm] \frac{-4(\sigma^2)^2+4(\sigma^2)^2-4\sigma^2n\bar{x^2} + 8\sigma^2\mu n\bar{x} - 4\sigma^2 n \mu^2)}{4(\sigma^2)^4} [/mm] = [mm] \frac{- n(\bar{x^2} - 2\mu \bar{x} + \mu^2)}{(\sigma^2)^3}
[/mm]
Also:
Hess(l) = [mm] $\begin{pmatrix}
\displaystyle-\frac{n}{\sigma^2} & \displaystyle-\frac{n\cdot\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^2}\\
\displaystyle-\frac{n\cdot\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^2} & \displaystyle-\frac{n\cdot\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^3}\\
\end{pmatrix} [/mm] = [mm] -\frac{n}{\sigma^2}\cdot\begin{pmatrix}
1 & \displaystyle\frac{\sum_{i=1}^{n}{(x_i - \mu)^2}}{\sigma^2}\\
\displaystyle\frac{\sum_{i=1}^{n}{(x_i - \mu)^2}}{\sigma^2} & \displaystyle\frac{\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^3}\\
\end{pmatrix}$[/mm]
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 10:03 Mo 06.10.2014 | | Autor: | luis52 |
> Stimmt. Jetzt sollte es aber halāl sein:
Welche Sprache ist das?
>
> [mm]\frac{\partial l}{\partial\sigma^2}[/mm] =
> [mm]\frac{-\sigma^2+n\bar{x^2}-2\mu n\bar{x}+n\mu^2}{2(\sigma^2)^2}[/mm]
![[ok]](/images/smileys/ok.gif "[ok]")
>
> [mm]\frac{\partial l}{\partial\sigma^2 \partial\sigma^2}[/mm] =
> [mm]\frac{-1(2(\sigma^2)^2)-4\sigma^2(-\sigma^2+n\bar{x^2}-2\mu n\bar{x}+n\mu^2)}{(2(\sigma^2)^2)^2}[/mm]
> = [mm]\frac{-4(\sigma^2)^2+4(\sigma^2)^2-4\sigma^2n\bar{x^2} + 8\sigma^2\mu n\bar{x} - 4\sigma^2 n \mu^2)}{4(\sigma^2)^4}[/mm]
> = [mm]\frac{- n(\bar{x^2} - 2\mu \bar{x} + \mu^2)}{(\sigma^2)^3}[/mm]
*Ich* erhalte
[mm] $\frac{1}{2\sigma^4}-\frac{1}{\sigma^6}\sum_{i=1}^{n}(x_i [/mm] - [mm] \mu)^2$
[/mm]
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 12:44 Mo 06.10.2014 | | Autor: | GeMir |
"Halal" ist arabisch und ist dasselbe für Muslime, was "koscher" für Juden ist. So in etwa.
Bei der Quotientenregel habe ich mich gestern wohl verrechnet, jetzt komme ich zu [mm] $$\frac{\sigma^2-2n\sum_{i=1}^{n}{(x_i-\mu)^2}}{2(\sigma^2)^3}$$ [/mm] also dasselbe aber halt mit $n$. [mm] $n\bar{x^2}-2\mu [/mm] n [mm] \bar{x}+n\mu^2 [/mm] = [mm] n\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}$ [/mm] und nicht [mm] $\sum_{i=1}^{n}{(x_i-\mu)^2}$, [/mm] oder?
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 13:30 Mo 06.10.2014 | | Autor: | luis52 |
> jetzt komme ich zu [mm]$n\bar{x^2}-2\mu[/mm] n [mm]\bar{x}+n\mu^2[/mm] = [mm]n\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}$[/mm]
[mm] $n\overline{x^2}=n\cdot\frac{1}{n}\sum x_i^2=\sum x_i^2$. [/mm] Bei dir steht rechts nach Ausmultiplizieren der Klammer [mm] $n\sum x_i^2$.
[/mm]
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 17:17 Mo 06.10.2014 | | Autor: | GeMir |
Ar-r-rgh! Schon wieder dieses "x quer"! Ja, klar :)
|
|
|
|
