Markov-keten opstellen

Moderators: dirkwb, Xilvo

Reageer
Berichten: 411

Markov-keten opstellen

05-06 1ste zit vraag 5.jpg
05-06 1ste zit vraag 5.jpg (143.8 KiB) 758 keer bekeken
(ii) Volgens mij is de transitiematrix de volgende:

R =
\(\left( \begin{array}{cccc} 0 & 0.5 & 0 & 0.5 \\

0.33 & 0 & 0.33 & 0.33 \\

0 & 0.5 & 0 & 0.5 \\

0.33 & 0.33 & 0.33 & 0 \end{array} \right)\)
(iii) Hier bekom ik dan wel een probleem. Volgens mij komt een 'stationaire verdeling' er op neer dat er steady-state probabiliteiten zijn. En in de les hebben we telkens gezien dat deze steady-state probabiliteiten er enkel zijn wanneer er sprake is van aperiodiciteit. Een 'trucje' die we hierbij hadden is dat het aperdiodiek is wanneer er zelf-transities voorkomen (wanneer je dus twee keer dezelfde toestand kan hebben na elkaar). Hier is expliciet gegeven dat dit niet kan, dus zou ik zeggen dat deze Markov-keten GEEN stationaire verdeling heeft. Echter impliceert de vraagstelling duidelijk dat deze dit wel heeft. Waar ga ik in de fout?

Berichten: 7.068

Re: Markov-keten opstellen

Stel dat s de vector is die de verdeling over de toestanden weergeeft. De som van de elementen van s moet gelijk zijn aan 1. Vb. [0,0.5,0.2,0.3] betekent dat 50% in toestand 2 zit, 20% in toestand 3 en 30% in toestand 4. Om de verdeling in de volgende stap te berekenen kun je nu gewoon het volgende doen:
\(s \cdot R\)
Als er een steady state is dan is er een vector s waarvoor geldt:
\(s \cdot R = s\)


Overigens, als je het probleem wel kunt oplossen als je 'zelftransities' hebt, bekijk het probleem dan per twee stappen (
\(R^2\)
).

Berichten: 264

Re: Markov-keten opstellen

Volgens mij gaat het mis bij de aperiodiciteit. Aperiodiciteit betekent dat er een k bestaat zodat het n*k stapjes moet duren om weer terug te komen in een punt. Zelftransities zorgen er inderdaad voor dat de keten niet aperiodiek is, maar andersom geldt dat niet. Je kunt niet zeggen dat de keten niet-aperiodiek is wanneer er geen zelftransities voorkomen.

Zie ondertussen hierboven voor de stationaire toestanden. Misschien helpt dit ook: http://www.biostat.umn.edu/~sudiptob/pubh8429/MarkovChains7.pdf

Berichten: 411

Re: Markov-keten opstellen

Axioma91 schreef: wo 22 aug 2012, 14:04
Volgens mij gaat het mis bij de aperiodiciteit. Aperiodiciteit betekent dat er een k bestaat zodat het n*k stapjes moet duren om weer terug te komen in een punt. Zelftransities zorgen er inderdaad voor dat de keten niet aperiodiek is, maar andersom geldt dat niet. Je kunt niet zeggen dat de keten niet-aperiodiek is wanneer er geen zelftransities voorkomen.

Zie ondertussen hierboven voor de stationaire toestanden. Misschien helpt dit ook: http://www.biostat.u...rkovChains7.pdf
Volgens mij bedoel je hier 'aperiodiek' in plaats van 'niet aperiodiek', maar je punt is duidelijk en het was inderdaad hier dat ik de fout in ging. Bedankt hiervoor!

Deze Markov-keten is dus wel degelijk aperiodiek, want in 2 stappen kan je van in gelijk welke toestand, naar gelijk welke andere toestand geraken. Bijgevolg vertoont deze keten dus ook steady-state probabiliteiten (is deze conclusie correct?)

Volgens mijn cursus worden de steady-state probabiliteiten gegeven door volgende formule:
\(\pi_j = \sum^m_{k=1} \pi_k p_k_j\)
Toegepast op deze keten en rekening houdend met alle probabiliteiten bekom ik volgend stelsel:
\(\left\{ \begin{array}{ccccccccc}

\pi_1 & = & 0\pi_1 & + & 0.33\pi_2 & + & 0\pi_3 & + & 0.33\pi_4 \\

\pi_2 & = & 0.5\pi_1 & + & 0\pi_2 & + & 0.5\pi_3 & + & 0.33\pi_4 \\

\pi_3 & = & 0\pi_1 & + & 0.33\pi_2 & + & 0\pi_3 & + & 0.33\pi_4 \\

\pi_4 & = & 0.5\pi_1 & + & 0.33\pi_2 & + & 0.5\pi_3 & + & 0\pi_4 \\

\end{array}\right. \)
Als ik dit stelsel probeer op te lossen via mijn grafisch rekentoestel (met de optie rref), dan kom ik niet tot een zinnig antwoord. Maak ik een fout met mijn rekentoestel of is dit stelsel niet het correcte antwoord op de vraag?

Bedankt alvast voor de hulp!

Berichten: 7.068

Re: Markov-keten opstellen

Er is niks mis met het stelsel dus dan gok ik op een fout met je rekentoestel..

Berichten: 411

Re: Markov-keten opstellen

Hmm...nogal beschamend maar ik geraak met mijn rekentoestel niet uit het stelsel..

Je moet toch een 4 x 5 - matrix aanmaken waarbij de 1ste kolom alle waarden van
\(\pi_1\)
aanneemt, kolom 2 alle
\(\pi_2\)
-waarden etc. en dan via rref je stelsel laten uitwerken?

Als ik dat doe, dan bekom ik dit:
\(
\left\{ \begin{array}{ccccccccc}

1 & 0 & 0 & -0.666666 & 0 \\

0 & 1 & 0 & -1 & 0 \\

0 & 0 & 1 & -0.666666 & 0 \\

0 & 0 & 0 & 0 & 0 \\

\end{array}\right.
\)
Ik heb 4 vergelijkingen en 4 onbekenden, dus verwachtte ik om bij elke onbekende een mooie waarde uit te komen. Maar aangezien ik zoiets uit kom, betekent dat dat bepaalde vergelijkingen afhankelijk zijn? (Ik weet dat dit echte basis is, maar het zit jammer genoeg wat ver bij mij..)

Berichten: 7.068

Re: Markov-keten opstellen

Ik heb een andere R (omdat ik liever de R voor de s heb), maar het principe is hetzelfde:
\(R \cdot s = s\)
\(R \cdot s = I s\)
\((R-I) \cdot s = 0\)
Dit zijn echter niet alle vergelijkingen die je hebt. Je weet ook nog dat de toestanden bij elkaar opgeteld 1 moeten zijn, dus:
\(\left( \begin{array}{ccccc} -1 & \frac{1}{3} & 0 & \frac{1}{3} & 0 \\

\frac{1}{2} & -1 & \frac{1}{2} & \frac{1}{3} & 0 \\

0 & \frac{1}{3} & -1 & \frac{1}{3} & 0 \\

\frac{1}{2} & \frac{1}{3} & \frac{1}{2} & -1 & 0 \\

1 & 1 & 1 & 1 & 1 \\

\end{array} \right)\)

Berichten: 411

Re: Markov-keten opstellen

Ik had eerder ook al eens die laatste rij erbij gezet, maar toen kwam ik ook niet uit (waarschijnlijk door een tikfoutje in m'n rekentoestel). Nu is het echter wel gelukt. Voor de verschillende toestanden bekom ik respectievelijk 0.2, 0.3, 0.2 en 0.3.

Bedankt voor de hulp EvilBro en Axioma!

Reageer