[wiskunde] model y_t

Moderators: ArcherBarry, Fuzzwood

Berichten: 758

model y_t

Hallo,

Voor degene die bekend zijn met een AR(1) model. Is gedefinieerd als:
\( y_t = 0.7 \cdot{} y_{t-1} + \epsilon_t \)
,

met
\( \epsilon \sim N(0, \sigma^2) \)
.

Hieruit volgt (dus) dat
\( E[y_t] = 0 \)
... (als je steeds substitueert) hou je alleen maar de begin term met 0,7^k over en de som van epsilons. gezien die allemaal verwachting 0 hebben, isde verwachting ook 0. Mijn vraag is of het kan dat
\( E[y_t] \neq 0 \)
...

Moet dat epsilon verdeeld zijn met (3,sigma^2) bijv? Of mag zoiets niet? Of moet ik een drift toevoegen? (maar dan loopt de functie ookweg...) weet iemand hoe dit te doen?

Gebruikersavatar
Berichten: 2.609

Re: model y_t

Ik ben toevallig zelf juist bezig geweest met linear prediction, in de diepere theorie achter de AR modellen ben ik niet niet geraakt, maar op wikipedia wordt het wel begrijpbaar uitgelegd.

Bij zo'n modellen wordt er ondersteld dat het proces wide-sense stationary is. De statistische eigenschappen veranderen niet met de tijd. Dat geldt als de coëfficiënten bij de vorige samples binnen de eenheidscirkel liggen in het complexe vlak. (Dan is het systeem een stabiel IIR filter.) Voor 0.7 is het dus in orde.

Dat betekent dat
\(E[y_t] = E[y_{t-1}] = µ\)
Als je dan de verwachtingswaarde toepast op de het hele model dan krijg je:
\(E[y_t] = E[0.7 \cdot{} y_{t-1} + \epsilon_t]\)
\(\Leftrightarrow µ = 0.7*µ + 0\)
Dus inderdaad µ = 0

Maar dat geldt dus in de veronderstelling dat het signaal wide sense stationary was, dus zal de verwachtingswaarde nooit verschillend van 0 worden.

Als je het gemiddelde van de ruis verandert, dan zal het gemiddelde van het proces mee veranderen en verschillend worden van 0. (Je kan dat ook bekijken als op wikipedia die c gelijk maken aan dat gemiddelde en dan de ruis weer met gemiddelde 0 beschouwen.)

Berichten: 758

Re: model y_t

dank Xenion. Aanvullend op jouw opmerking (en wikipedia) volgt dan het volgende:
\( y_t = c+ \phi y_{t-1} + e_{t} \)
met c uit R en constant. Voor c = 0 volgt dan wederom het oude model, en is de verwachting van y_t wederom gelijk aan 0. Voor c ongelijk aan 0, krijg je door even door te schrijven een polynoom reeks voor c, en wordt je verwachting als volgt:
\( E[y_t] = \frac{c}{1 - \phi} \)
. Hierin zie je mooi dat voor c=0 het gemiddelde, zoals verwacht, 0 is en dat voor phi waardes dicht tegen 1 , de verwachting heel groot kan worden. Ook dit is logisch, want de c - termen worden dan pas heeeel ver in de terugrecursie klein gemaakt door phi. (omdat deze zo groot is.) Voor hele kleine phi waardes nadert het gemiddelde naar c. Ook logisch, je hebt dan maar in principe 1 keer c (namelijk) de eerste recursie. Stem je hiermee in?

Gebruikersavatar
Berichten: 2.609

Re: model y_t

lucca schreef: wo 26 sep 2012, 23:05
\( E[y_t] = \frac{c}{1 - \phi} \)
. Hierin zie je mooi dat voor c=0 het gemiddelde, zoals verwacht, 0 is en dat voor phi waardes dicht tegen 1 , de verwachting heel groot kan worden. Ook dit is logisch, want de c - termen worden dan pas heeeel ver in de terugrecursie klein gemaakt door phi.
De c-term is in dit geval onbestaande, die is in elke stap van de recursie 0. Er wordt niks klein gemaakt ofzo. Het gemiddelde van het proces blijft hetzelfde.
lucca schreef: wo 26 sep 2012, 23:05
Voor hele kleine phi waardes nadert het gemiddelde naar c. Ook logisch, je hebt dan maar in principe 1 keer c (namelijk) de eerste
Niet helemaal: je hebt bij elke stap een volledige c + nog een kleiner stukje phi*c van de vorige recursie (vermenigvuldigd met phi):
\(y_2 = c+ \phi y_{1} = c+ \phi (c + \phi y_{0})\)
(1-phi) met phi < 1 is een getal in )0,1]

c/(1-phi) zal dus voor kleine waardes van phi een klein beetje groter zijn dan c.

Uit interesse: in welke context ben je hiermee bezig?

Berichten: 758

Re: model y_t

Wat ik bedoel met klein / groot maken is het volgende. Veronderstel het model:
\( y_t = c + \phi \cdot{} y_{t-1} + \epsilon_t \)
als ik nu
\( y_{t-1} \)
substitueer, krijg ik :
\( y_t = c + \phi \cdot{} ( c + \phi \cdot{} y_{t-2} + \epsilon_{t-2} ) + \epsilon_t \)
Dit trucje kan ik k - keer herhalen, en dan verkrijg ik :
\( y_t = c \cdot{} ( 1 + \phi + \phi^2 + ... + \phi^k ) + \sum_{i = 0} ^{k} \phi^i \cdot{} \epsilon_{t-i} + \phi^k \cdot y_{t-k}\)
Neem nu de verwachting over beide kanten, dan krijgen we :
\( E[y_t] = E[c \cdot{} ( 1 + \phi + \phi^2 + ... + \phi^k )] + E[\sum_{i = 0} ^{k} \phi^i \cdot{} \epsilon_{t-i}] + E[\phi^k \cdot y_{t-k}] \)
Gegeven dat de verwachting voor elke epsilon gelijk is (=0, je haalt de verwachting door de som), valt deze term gelijk weg, en verkrijgen we:
\( E[y_t] = E[c \cdot{} ( 1 + \phi + \phi^2 + ... + \phi^k )] + E[\phi^k \cdot y_{t-k}] \)
Voor k groot genoeg zien we, dat -een of andere- start term
\( y_{t-k} \)
weg wordt gevaagd doordat
\( \phi^k \to 0 \)
. en dan kunnen we grofwerk zeggen dat: (Als je veronderstelt dat
\( | \phi | < 1 \)
)
\( E[y_t] = E [ \frac{c}{1 - \phi}] \)
.

Dit is wat ik probeerde te zeggen Xenion. Je ziet nu wel dat voor klein gekozen phi waardes het snel gebeurt dat de c - waardes (verder terug in de tijd) weggevaagd worden. En dat voor groter phi's de c - waardes langer ''groot'' blijven terug in de tijd. Dit correspondeert ook met de laatst gevonden uitdrukking. Stem je hier wel mee in? (PS. eerlijk gezegd snapte ik niet precies je commentaar). En het is voor een vak op school.. :-)

Gebruikersavatar
Berichten: 2.609

Re: model y_t

Ja ok, ik denk dat het wel klopt. Op wikipedia zeggen ze dat die phi kleiner moeten zijn dan 1 omdat de resultaten zouden gelden en jouw uitwerking toont dat aan.
\(1 + \phi + \phi^2 + ... + \phi^k \)
Hier kun je de meetkundige reeks in herkennen. Voor k naar oneindig convergeert deze naar 1/(1-phi) als phi < 1.

De term
\(\phi^k\)
wordt inderdaad verwaarloosbaar klein.

Berichten: 7.068

Re: model y_t

Hallo, Voor degene die bekend zijn met een AR(1) model. Is gedefinieerd als:
\( y_t = 0.7 \cdot{} y_{t-1} + \epsilon_t \)
, met
\( \epsilon \sim N(0, \sigma^2) \)
. Hieruit volgt (dus) dat
\( E[y_t] = 0 \)
...
Dat lijkt mij toch niet. De limiet van t gaat naar oneindig is wel nul, maar voor een specifiek tijdstip hoeft de verwachtingswaarde helemaal niet nul te zijn. Stel dat y_0 = 100, dan is de verwachtingswaarde van y_1 echt geen nul (maar 70).

Gebruikersavatar
Berichten: 2.609

Re: model y_t

De berekening die ik in post #2 zet gaat niet uit van het feit dat de verwachtingswaarde 0 is, maar wel gelijk op elk tijdstip. Uitrekenen levert wel op dat ze 0 moét zijn.

Berichten: 7.068

Re: model y_t

Als de verwachtingswaarde op elk moment gelijk is dan moet deze inderdaad nul zijn, maar waarom zou je er vanuit gaan dat de verwachtingswaarde op elk moment gelijk is?

Gebruikersavatar
Berichten: 2.609

Re: model y_t

In signaalverwerking wordt er wel vaker gewerkt met wide sense stationary processen. Voor transmissie is het beter om geen DC component, dus geen gemiddelde waarde, te hebben.

Berichten: 7.068

Re: model y_t

Dat iets in een bepaald vakgebied gebruikelijk is, is natuurlijk leuk en aardig, maar is er ook een reden om hier te veronderstellen dat je deze aannames mag maken?

Gebruikersavatar
Berichten: 2.609

Re: model y_t

Die eigenschap volgt als de filtercoëfficiënten allemaal binnen de eenheidscirkel vallen. 0.7 in dit voorbeeld is dus in orde. Ik haalde die info gewoon van wikipedia (zie Definition en Example of AR(1)). Om dat te bewijzen kan je naar de uitwerking van TS in bericht #5 kijken.

Berichten: 7.068

Re: model y_t

Ik begin te vermoeden dat ik met Wikipedia aan het praten ben...

Nogmaals, ALS je aanneemt dat y_t bekeken wordt nadat eventuele opstartverschijnselen al voldoende zijn uitgedoofd DAN kun je inderdaad aantonen dat de verwachtingswaarde nul is. Echter, waarom zou je dat hier doen?

Gebruikersavatar
Berichten: 2.609

Re: model y_t

EvilBro schreef: vr 28 sep 2012, 14:41
ALS je aanneemt dat y_t bekeken wordt nadat eventuele opstartverschijnselen al voldoende zijn uitgedoofd DAN kun je inderdaad aantonen dat de verwachtingswaarde nul is.
Aangezien de verwachtingswaarde doorgaans gedefinieerd wordt over de hele tijds-as (of toch een 'voldoende lange tijd' zie ik niet waarom je die veronderstelling niet zou mogen maken.

De vergelijking van het AR model kan je herschrijven als een IIR filter met ruis als input.

ALS alle polen van het IIR filter binnen de eenheidscirkel vallen (stabiel filter), DAN is het proces wide sense stationary (verwachtingswaarde van de output verandert niet in de tijd).

ALS de verwachtingswaarde niet verandert, DAN is ze 0.

TS vraagt of het mogelijk is om verwachtingswaarde verschillend van 0 te hebben en dat kan dus door die constante toe te voegen in het model.

Berichten: 7.068

Re: model y_t

Xenion schreef: vr 28 sep 2012, 18:33
Aangezien de verwachtingswaarde doorgaans gedefinieerd wordt over de hele tijds-as (of toch een 'voldoende lange tijd' zie ik niet waarom je die veronderstelling niet zou mogen maken.
Je kan de verwachtingswaarde van een variabele op een bepaald tijdstip bepalen, maar niet 'over de hele tijds-as'. Ik denk dat je wil zeggen dat je ervan uitgaat dat het systeem steady state heeft bereikt. Alles wat je beweert is juist gegeven dat het systeem deze toestand heeft bereikt. Mijn vraag blijft echter waarom je hier van uitgaat? (of misschien beter: waarom je niet vermeldt dat je deze aanname doet?)

Reageer