Meest aannemelijke schatter vinden

Moderators: ArcherBarry, Fuzzwood

Reageer
Gebruikersavatar
Berichten: 524

Meest aannemelijke schatter vinden

Beste allemaal,

Dagenlang probeer ik de volgende opgave te doen, maar ik kom niet verder.

Gegeven:

Zij
\(X_{1}, ..., X_{n}\)
een rij onafhankelijke stoch. variabelen met
\(p_{\lambda}(x) = \frac{\lambda}{2\sqrt{x}}e^{-\lambda\sqrt{x}}\)
voor
\(x \geq 0\)
met
\(\lambda > 0\)
een onbekende parameter.

Gevraagd:

Bepaal de meest aannemelijke schatter (max. likelihood estimator) voor
\(\lambda\)
.

Nou, allereerst heb ik de log-likelihood-functie opgesteld:
\(\log L(\lambda, x) = \sum\limits_{i=1}^n \log(\lambda)-\log(2\sqrt{x_{i}})-\lambda\sqrt{x_{i}}\)
Dit differentiëren naar
\(\lambda\)
:
\(\frac{\partial\log L(\lambda, x)}{\partial\lambda} = \sum\limits_{i=1}^n \frac{1}{\lambda}-\sqrt{x_{i}}\)
Om de meest aannemelijke schatter te vinden, moet die laatste formule gelijkgesteld worden aan 0. Echter geeft dit geen expliciete oplossing, want er staat een wortel in de som. Anders had ik natuurlijk iets met
\(\overline{x}\)
(x-gemiddeld) gedaan.

Nu kan het dat er een rand-maximum is, maar er is geen indicatorfunctie die van
\(\lambda\)
afhangt.
\(x_{i}\)
kan namelijk alle waardes gelijk aan of groter dan 0 aannemen, ongeacht wat de waarde van de parameter is.

Als ik
\(p_{\lambda}(x)\)
even laat tekenen als grafiekje met verschillende waardes voor
\(\lambda\)
:

http://www.wolframalpha.com/input/?i=plot+...C+x+from+0+to+1

Kun je zien dat er inderdaad een randmaximum is, maar die schiet naar oneindig.

Maar goed, ik zit dus vast.

Alvast bedankt!

- Fruitschaal.

Gebruikersavatar
Berichten: 524

Re: Meest aannemelijke schatter vinden

Ondertussen ben ik er zelf al achtergekomen. Ik dacht veel te moeilijk na.

Het is natuurlijk de kleinst gevonden waarde voor x.
\(x_{(1)}\)
dus.

Hier kan een slot op.

Gebruikersavatar
Berichten: 2.097

Re: Meest aannemelijke schatter vinden

Hoe kom je aan die oplossing?

Als je
\(\sum_{i=1}^n\frac{1}{\lambda}-\sqrt{x_i}=0\)
uitwerkt, kom je toch gewoon uit op
\(\lambda=\frac{n}{\sum_{i=1}^n\sqrt{x_i}}\)
?
"Why must you speak when you have nothing to say?" -Hornblower

Conserve energy: Commute with a Hamiltonian

Gebruikersavatar
Berichten: 524

Re: Meest aannemelijke schatter vinden

Klopt, maar het is de bedoeling dat het een expliciet antwoord oplevert en dat is nu niet het geval (de som uitgewerkt dus). Meestal is er dan sprake van een randmaximum en dat is nu inderdaad het geval als je naar de grafiekjes kijkt (er is geen top te vinden). Dus de meest aannemelijke schatter is de kleinst gevonden waarde van x (en x is groter of gelijk aan 0), want dan is de kansmassafunctie het grootst, waar naar gezocht wordt.

Gebruikersavatar
Berichten: 524

Re: Meest aannemelijke schatter vinden

Hoewel ik me nu bedenk dat dat misschien toch niet klopt. Ik denk dat het slotje nog even moet wachten.

Wat doe ik fout?

Berichten: 7.068

Re: Meest aannemelijke schatter vinden

Ik denk dat het slotje nog even moet wachten.
Terzijde: onderwerpen krijgen geen slotje als de oorspronkelijke vraag beantwoord is.
Wat doe ik fout?
Je doet ergens de aanname dat je slechts 1 x mag gebruiken. Waarom dit zo is, weet ik niet. Dit doe je toch ook niet bij de schatter voor het gemiddelde?
\(\hat{x} = \frac{\sum_{i=1}^n x_i}{n}\)
Waarom denk je dan dat dit niet mag bij de schatter voor labda?
\(\hat{\lambda} = \frac{n}{\sum_{i=1}^n \sqrt{x_i}}\)
Anders gesteld: Waarom denk je dat je niet alle informatie over je proces mag gebruiken die je hebt (= de \(x_1\) t/m \(x_n\))?

Gebruikersavatar
Berichten: 524

Re: Meest aannemelijke schatter vinden

Omdat ik later verder moet rekenen met die meest aannemelijke schatter en er dan een som in een product komt te staan en dat is meestal niet het geval. Daarnaast noteren wij
\(\frac{\sum_{i=1}^n x_i}{n}\)
altijd als
\(\overline{x}\)
waar natuurlijk veel makkelijker mee te rekenen is als je de meest aannemelijke schatter nog gebruikt.

Ik deed de aanname dat
\(\hat{\lambda} = x_{1}\)
. Dit houdt dus in de dat meest aannemelijke schatter gelijk is aan de kleinst gevonden waarde van x. Ik weet nu dat dit niet klopt. Ik heb gewoon naar
\(p_{\lambda}(x) = \frac{\lambda}{2\sqrt{x}}e^{-\lambda\sqrt{x}}\)
gekeken, en ik zag dat
\(p_{\lambda}(x)\)
het grootst was als x klein was, dus ik nam aan dat
\(\hat{\lambda}\)
ook klein moest zijn. En er dus sprake was van een randmaximum was, alleen is dat volgens mij het geval als er een indicatorfunctie in de kansmassafunctie stond is die afhangt van x.

Bijvoorbeeld:
\(1_{[0, \lambda]}(x)\)
, dan weet je dat er sprake is van een randmaximum.

Ik heb nu wat waardes voor x ingevuld (0.2, 1 en 5) en de log-likelihoodfunctie laten tekenen:

http://www.wolframalpha.com/input/?i=%28a%...a+from+0+to+0.8

En ik zie inderdaad dat er een maximum te vinden is. Ik heb gewoon verkeerd gekeken.

Maar goed, dit allemaal terzijde. Ik zal dan verder proberen te rekenen met die som en anders weet ik het ook niet. Bedankt.

Berichten: 7.068

Re: Meest aannemelijke schatter vinden

Omdat ik later verder moet rekenen met die meest aannemelijke schatter
Schatter of schatting?
Ik deed de aanname dat
\(\hat{\lambda} = x_{1}\)
. Dit houdt dus in de dat meest aannemelijke schatter gelijk is aan de kleinst gevonden waarde van x.
Maar dat is niet de meest aannemelijke schatting voor labda. De likelihood is immers groter als je voor labda de volgende schatting kiest:
\(\hat{\lambda} = \frac{n}{\sum_{i=1}^n \sqrt{x_i}}\)
Ik hoop dat je ziet dat dit niet anders is dan bij de sample mean (en daarmee bedoel ik het principe, niet de exacte vorm van de schatter).

Gebruikersavatar
Berichten: 524

Re: Meest aannemelijke schatter vinden

Schatter of schatting?
Daar heb ik altijd moeite mee. Ik moet later de likelihood-ratiostatistiek bepalen, voor het toetsen van nulhypothese
\(H_0: \lambda = \lambda_0\)
Ik hoop dat je ziet dat dit niet anders is dan bij de sample mean (en daarmee bedoel ik het principe, niet de exacte vorm van de schatter).[/quote]Ja, dat heb ik nu ook begrepen. De meest aannemelijke schatter is gewoon
\(\frac{n}{\sum_{i=1}^n \sqrt{x_i}}\)
.

Wat bedoel je met de sample mean?

Berichten: 7.068

Re: Meest aannemelijke schatter vinden

Daar heb ik altijd moeite mee.
Volgens mij is het simpel gezegd dit: De schatter is de methode waarmee je een schatting uitrekent.
Ik moet later de likelihood-ratiostatistiek bepalen, voor het toetsen van nulhypothese
\(H_0: \lambda = \lambda_0\)
tegen de alternatieve hypothese
\(H_1: \lambda \neq \lambda_0\)
.
Ik zie niet direct hoe dat iets te maken heeft met het schatter verhaal. Als ik het me goed herinner is het idee van de likelihood-ratio dat je twee hypotheses vergelijkt.
Wat bedoel je met de sample mean?
sample mean:
\(\overline{x} = \frac{\sum_{i=1}^n x_i}{n}\)

Gebruikersavatar
Berichten: 524

Re: Meest aannemelijke schatter vinden

Dan heb ik de likelihood-ratiostatistiek
\(\lambda_n\)
:
\(\lambda_n = \frac{p_{\hat{\lambda}}(X)}{p_{\hat{\lambda}_0}(X)} = \frac{p_{\lambda = \frac{n}{\sum_{i=1}^n \sqrt{x_i}}}(X)}{p_{\lambda = \lambda_0}(X)}\)
.

Dit brengt mij na invullen en vereenvoudigen op:
\(\lambda_n = (\frac{n}{\sum_{i=1}^n \sqrt{x_i}}})^n * \exp ((\lambda_0 - \frac{n}{\sum_{i=1}^n \sqrt{x_i}}}) * \sum_{j=1}^n \sqrt{x_j}})\)
Ik heb i en j gebruikt om aan te geven welk tellertje tot de meest aannemelijke schatter (i) en welke tot de gehele likelihood-ratiostatistiek behoort (j).

Nu heb ik wat gerekend en dit blijkt te vereenvoudigen tot:
\(\lambda_n = (\frac{n}{\sum_{i=1}^n \sqrt{x_i}}})^n * e^{-n + \lambda_0\sum_{i=1}^n \sqrt{x_i}}\)
Niet dat ik hier nou zo heel blij van word, maar toch. Nu moet je hier iets van een logaritme van nemen en dan moet het op een bepaalde verdeling lijken, maar hoe ik dat moet doen; geen idee.

Berichten: 7.068

Re: Meest aannemelijke schatter vinden

Ik kan je niet helemaal volgen. Bedoel je dit:
\(\Lambda(x) = \frac{p_{\hat{\lambda}}(x)}{p_{\hat{\lambda}_0}(x)} = \frac{\hat{\lambda}}{\lambda_0} \cdot e ^{(\lambda_0 - \hat{\lambda}) \sqrt{x}}\)
en dan:
\(\Lambda_n = \prod_j \Lambda(x_j) = \frac{\hat{\lambda}^n}{\lambda_0^n} \cdot e ^{(\lambda_0 - \hat{\lambda}) \sum_{j=1}^n \sqrt{x_j}} = \frac{\hat{\lambda}^n}{\lambda_0^n} \cdot e ^{(\lambda_0 - \hat{\lambda}) \frac{n}{\hat{\lambda}}} = \frac{\hat{\lambda}^n}{\lambda_0^n} \cdot e ^{(\frac{n \lambda_0}{\hat{\lambda}} - n)}\)
?

Gebruikersavatar
Berichten: 524

Re: Meest aannemelijke schatter vinden

\(\lambda_n(X)\)
is de notatie voor de likelihood-ratiostatistiek in mijn boek. Het lijkt nu wat onduidelijk, omdat de parameter ook
\(\lambda\)
is. Stel dat de paramter
\(\theta\)
of bijvoorbeeld
\(\alpha\)
was, dan zou de notatie voor de likelihood-ratiostatistiek nog steeds
\(\lambda_n(X)\)
zijn ;)
\(\lambda_n(X) = \frac{p_{\lambda = \hat{\lambda}}(X)}{p_{\lambda = \lambda_0}(X)} = \frac{\prod_{i=1}^n \frac{\hat{\lambda}}{2\sqrt{x_i}}e^{-\hat{\lambda}\sqrt{x_i}}}{\prod_{i=1}^n \frac{\lambda_0}{2\sqrt{x_i}}e^{-\lambda_0\sqrt{x_i}}}\)
met
\(\hat{\lambda} = \frac{n}{\sum_{j=1}^n \sqrt{x_j}}\)
.

Ik ben dit momenteel aan het uitwerken, want ik was net een term vergeten, dus het antwoord klopte niet.

Reageer