Likelihoodfunctie

hir

1) Is de betekenis van de likelihoodfunctie, de kans van een bepaalde parameterwaarde van een populatie voor gegeven steekproefwaarden ?

2)Wilt men met de maximum likelihood de schatter voor een parameter zoeken die de grootste kans heeft om bij de gegeven steekproefwaarden te behoren?

3)Hoe komt het dat men de maximale waarde voor L(θ) ook kan vinden door de maximale waarden te zoeken van logL(θ) ? Is de maximale waarde van deze loglikehoodfunctie logL(θ) dan niet steeds oneindig?

ZVdP

1+2) Lijkt me wel.

Je hebt meetresultaten en je stelt een model voorop.

Maximum likelihood estimation geeft je dan (mbv de likelihood functie) de parameters die de grootste kans hebben om de gemeten waarden terug te geven, onder het vooropgestelde model.

Eenvoudig voorbeeldje; een bakker maakt brood met een vast gewicht, maar er is ruis (meetruis+afwijkingen van de bakker) die normaal verdeeld is met een zekere spreiding (dit is het model: vast gewicht + normaal verdeelde ruis).

Maximum likelihood estimatie (MLE) moet je de parameter (gewicht van het brood) teruggeven die de kans op de meetresultaten maximaliseert.

Stel dat je metingen 499g,502g,503g,498g zijn. Dan zal de beste parameter ergens rond 500g liggen, aangezien je weet dat de ruis normaal verdeeld is, en dus weinig kans heeft op grote uitschieters.

Een parameter van 200g bijvoorbeeld zal heel weinig kans hebben om de meetresultaten te reproduceren, aangezien de ruis dan zeer groot geweest zou moeten zijn.

Je kan het effectieve resultaat uitrekenen en je zult vinden dat dit in dit geval gewoon het gemiddelde is van de metingen.

3) Het maximum van log(x) gaat naar oneindig voor x gaande naar oneindig. Maar als L(x) niet naar oneindig gaat, dan zal log(L(x)) ook niet naar oneindig gaan.

Als het max(L(x))=C, dan is max(log(L(x)))=log©, omdat de logaritme en strikt stijgende functie is, zie je dat?

In principe kan je eender welke strikt stijgende functie nemen van de oorpronkelijke functie zonder de ligging van het maximum te wijzigen (de waarde van de functie in dat maximum wijzigt natuurlijk wel).

Vraagje: Zou je ook een strikt dalende functie kunnen toepassen?

Drieske

Aan de uitleg van Zvdp valt eigenlijk niets meer toe te voegen, maar toch nog één detail toevoegen

. Gaande over het nemen de log (ln) van de likelihoodfunctie. De uitleg die Zvdp hierover geeft, is volledig correct. Wat ik er dan nog aan wil toevoegen, is WAAROM men voor exact deze (strikt) stijgende functie kiest. Dit is wegens de mooie eigenschap dat ze van producten, sommen maakt. En sommen zijn numeriek stabieler dan producten (geven minder rap over- of underflow). En zoals je misschien weet, moet in de meeste gevallen de likelihood opgelost worden mbv numerieke benaderingen. Stabielere oplossingen zijn dan altijd leuk meegenomen.

Mocht je niet bekend zijn met deze "leuke" eigenschap van log: klik.

hir

Dus als ik het goed begrijp, geldt max(L(x))=C => max(log(L(x)))=max log©,omdat:

omdat de waarden van L(x) het domein vormen voor de logfunctie die de waarden uit dit domein afbeelden. En als C dan bovengrens is van dit domein, dan zal de maximale functiewaarde bijgevolg log© zijn omdat het domein beperkt is t.e.m. C en men de maximale waarde van een logfunctie vindt door de hoogste waarde uit zijn domein, nl. C, te nemen omdat het een strikt stijgende functie is.

Dus log:]0,C]->R: L(x)->log(L(x))

Dus voor een strikt dalende functie zal men de maximale waarde van deze functie vinden door de kleinste waarde uit haar domein af te beelden.

Dus dan geldt dit ook in de omgekeerde richting nl. max(log(L(x)))=max log© => max(L(x))=C.

Omdat voor log(L(x)) het domein beperkt is, nl. alle waarden die L(x) kan aannemen. We vinden dan de maximale waarde voor (log(L(x)) door de maximale waarde uit het domein van log(L(x))-functie te halen, aangezien het domein dan bestaat uit alle functiewaarden van L(x), is de maximale domeinwaarde de maximale functiewaarde voor L(x) ?

Drieske

hir schreef:Dus als ik het goed begrijp, geldt max(L(x))=C => max(log(L(x)))=max log©,omdat:

omdat de waarden van L(x) het domein vormen voor de logfunctie die de waarden uit dit domein afbeelden. En als C dan bovengrens is van dit domein, dan zal de maximale functiewaarde bijgevolg log© zijn omdat het domein beperkt is t.e.m. C en men de maximale waarde van een logfunctie vindt door de hoogste waarde uit zijn domein, nl. C, te nemen omdat het een strikt stijgende functie is.

Dit stuk van je post, klopt. Maar het is zelfs sterker. Het is een 1-1 relatie. Dus: max(L(x))=C <=> max(log(L(x))) = log(c ). Dit is net het mooie van de log nemen. Anders kon je van je max in de log-functie niet terug naar je "échte" maximum.

Dus voor een strikt dalende functie zal men de maximale waarde van deze functie vinden door de kleinste waarde uit haar domein af te beelden.

Dit stuk, klopt niet. Een dalende functie heeft geen (eindig) max! Wel een ...? Vul zelf aan

.

ZVdP

Dit stuk, klopt niet. Een dalende functie heeft geen (eindig) max! Wel een ...? Vul zelf aan .

Wat hir bedoelde, denk ik, is dat je het maximum van de oorspronkelijke functie vindt door het minimum van de samengestelde functie met de dalende functie te zoeken, wat wel klopt.

(Een dalende functie kan trouwens wel een eindig maximum hebben. Bv e^-x)

Drieske

ZVdP schreef:Wat hir bedoelde, denk ik, is dat je het maximum van de oorspronkelijke functie vindt door het minimum van de samengestelde functie met de dalende functie te zoeken, wat wel klopt.

(Een dalende functie kan trouwens wel een eindig maximum hebben. Bv e^-x)

Idd te rap gelezen van mij

. Excuses dus!

Wetenschapsforum

Laatste berichten

Nieuwsberichten

Likelihoodfunctie

Likelihoodfunctie

Re: Likelihoodfunctie

Re: Likelihoodfunctie

Re: Likelihoodfunctie

Re: Likelihoodfunctie

Re: Likelihoodfunctie

Re: Likelihoodfunctie