Springen naar inhoud

Likelihoodfunctie


  • Log in om te kunnen reageren

#1

hir

    hir


  • >100 berichten
  • 114 berichten
  • Ervaren gebruiker

Geplaatst op 13 april 2011 - 18:42

1) Is de betekenis van de likelihoodfunctie, de kans van een bepaalde parameterwaarde van een populatie voor gegeven steekproefwaarden ?

2)Wilt men met de maximum likelihood de schatter voor een parameter zoeken die de grootste kans heeft om bij de gegeven steekproefwaarden te behoren?

3)Hoe komt het dat men de maximale waarde voor L(θ) ook kan vinden door de maximale waarden te zoeken van logL(θ) ? Is de maximale waarde van deze loglikehoodfunctie logL(θ) dan niet steeds oneindig?

Dit forum kan gratis blijven vanwege banners als deze. Door te registeren zal de onderstaande banner overigens verdwijnen.

#2

ZVdP

    ZVdP


  • >1k berichten
  • 2097 berichten
  • VIP

Geplaatst op 13 april 2011 - 22:50

1+2) Lijkt me wel.
Je hebt meetresultaten en je stelt een model voorop.
Maximum likelihood estimation geeft je dan (mbv de likelihood functie) de parameters die de grootste kans hebben om de gemeten waarden terug te geven, onder het vooropgestelde model.

Eenvoudig voorbeeldje; een bakker maakt brood met een vast gewicht, maar er is ruis (meetruis+afwijkingen van de bakker) die normaal verdeeld is met een zekere spreiding (dit is het model: vast gewicht + normaal verdeelde ruis).
Maximum likelihood estimatie (MLE) moet je de parameter (gewicht van het brood) teruggeven die de kans op de meetresultaten maximaliseert.
Stel dat je metingen 499g,502g,503g,498g zijn. Dan zal de beste parameter ergens rond 500g liggen, aangezien je weet dat de ruis normaal verdeeld is, en dus weinig kans heeft op grote uitschieters.
Een parameter van 200g bijvoorbeeld zal heel weinig kans hebben om de meetresultaten te reproduceren, aangezien de ruis dan zeer groot geweest zou moeten zijn.
Je kan het effectieve resultaat uitrekenen en je zult vinden dat dit in dit geval gewoon het gemiddelde is van de metingen.

3) Het maximum van log(x) gaat naar oneindig voor x gaande naar oneindig. Maar als L(x) niet naar oneindig gaat, dan zal log(L(x)) ook niet naar oneindig gaan.
Als het max(L(x))=C, dan is max(log(L(x)))=log©, omdat de logaritme en strikt stijgende functie is, zie je dat?

In principe kan je eender welke strikt stijgende functie nemen van de oorpronkelijke functie zonder de ligging van het maximum te wijzigen (de waarde van de functie in dat maximum wijzigt natuurlijk wel).
Vraagje: Zou je ook een strikt dalende functie kunnen toepassen?
"Why must you speak when you have nothing to say?" -Hornblower
Conserve energy: Commute with a Hamiltonian

#3

Drieske

    Drieske


  • >5k berichten
  • 10217 berichten
  • Moderator

Geplaatst op 14 april 2011 - 09:14

Aan de uitleg van Zvdp valt eigenlijk niets meer toe te voegen, maar toch nog ťťn detail toevoegen ;). Gaande over het nemen de log (ln) van de likelihoodfunctie. De uitleg die Zvdp hierover geeft, is volledig correct. Wat ik er dan nog aan wil toevoegen, is WAAROM men voor exact deze (strikt) stijgende functie kiest. Dit is wegens de mooie eigenschap dat ze van producten, sommen maakt. En sommen zijn numeriek stabieler dan producten (geven minder rap over- of underflow). En zoals je misschien weet, moet in de meeste gevallen de likelihood opgelost worden mbv numerieke benaderingen. Stabielere oplossingen zijn dan altijd leuk meegenomen.

Mocht je niet bekend zijn met deze "leuke" eigenschap van log: klik.
Zoek je graag naar het meest interessante wetenschapsnieuws? Wij zoeken nog een vrijwilliger voor ons nieuwspostteam.

#4

hir

    hir


  • >100 berichten
  • 114 berichten
  • Ervaren gebruiker

Geplaatst op 16 april 2011 - 22:08

Dus als ik het goed begrijp, geldt max(L(x))=C => max(log(L(x)))=max log©,omdat:

omdat de waarden van L(x) het domein vormen voor de logfunctie die de waarden uit dit domein afbeelden. En als C dan bovengrens is van dit domein, dan zal de maximale functiewaarde bijgevolg log© zijn omdat het domein beperkt is t.e.m. C en men de maximale waarde van een logfunctie vindt door de hoogste waarde uit zijn domein, nl. C, te nemen omdat het een strikt stijgende functie is.

Dus log:]0,C]->R: L(x)->log(L(x))

Dus voor een strikt dalende functie zal men de maximale waarde van deze functie vinden door de kleinste waarde uit haar domein af te beelden.


Dus dan geldt dit ook in de omgekeerde richting nl. max(log(L(x)))=max log© => max(L(x))=C.

Omdat voor log(L(x)) het domein beperkt is, nl. alle waarden die L(x) kan aannemen. We vinden dan de maximale waarde voor (log(L(x)) door de maximale waarde uit het domein van log(L(x))-functie te halen, aangezien het domein dan bestaat uit alle functiewaarden van L(x), is de maximale domeinwaarde de maximale functiewaarde voor L(x) ?

#5

Drieske

    Drieske


  • >5k berichten
  • 10217 berichten
  • Moderator

Geplaatst op 17 april 2011 - 09:54

Dus als ik het goed begrijp, geldt max(L(x))=C => max(log(L(x)))=max log©,omdat:

omdat de waarden van L(x) het domein vormen voor de logfunctie die de waarden uit dit domein afbeelden. En als C dan bovengrens is van dit domein, dan zal de maximale functiewaarde bijgevolg log© zijn omdat het domein beperkt is t.e.m. C en men de maximale waarde van een logfunctie vindt door de hoogste waarde uit zijn domein, nl. C, te nemen omdat het een strikt stijgende functie is.

Dit stuk van je post, klopt. Maar het is zelfs sterker. Het is een 1-1 relatie. Dus: max(L(x))=C <=> max(log(L(x))) = log(c ). Dit is net het mooie van de log nemen. Anders kon je van je max in de log-functie niet terug naar je "ťchte" maximum.

Dus voor een strikt dalende functie zal men de maximale waarde van deze functie vinden door de kleinste waarde uit haar domein af te beelden.

Dit stuk, klopt niet. Een dalende functie heeft geen (eindig) max! Wel een ...? Vul zelf aan ;).
Zoek je graag naar het meest interessante wetenschapsnieuws? Wij zoeken nog een vrijwilliger voor ons nieuwspostteam.

#6

ZVdP

    ZVdP


  • >1k berichten
  • 2097 berichten
  • VIP

Geplaatst op 17 april 2011 - 10:35

Dit stuk, klopt niet. Een dalende functie heeft geen (eindig) max! Wel een ...? Vul zelf aan ;).

Wat hir bedoelde, denk ik, is dat je het maximum van de oorspronkelijke functie vindt door het minimum van de samengestelde functie met de dalende functie te zoeken, wat wel klopt.

(Een dalende functie kan trouwens wel een eindig maximum hebben. Bv e-x)
"Why must you speak when you have nothing to say?" -Hornblower
Conserve energy: Commute with a Hamiltonian

#7

Drieske

    Drieske


  • >5k berichten
  • 10217 berichten
  • Moderator

Geplaatst op 17 april 2011 - 11:29

Wat hir bedoelde, denk ik, is dat je het maximum van de oorspronkelijke functie vindt door het minimum van de samengestelde functie met de dalende functie te zoeken, wat wel klopt.

(Een dalende functie kan trouwens wel een eindig maximum hebben. Bv e-x)

Idd te rap gelezen van mij ;). Excuses dus!
Zoek je graag naar het meest interessante wetenschapsnieuws? Wij zoeken nog een vrijwilliger voor ons nieuwspostteam.





0 gebruiker(s) lezen dit onderwerp

0 leden, 0 bezoekers, 0 anonieme gebruikers

Ook adverteren op onze website? Lees hier meer!

Gesponsorde vacatures

Vacatures