Lineaire regressie: kleinste kwadraten methode

Moderators: ArcherBarry, Fuzzwood

Reageer
Berichten: 33

Lineaire regressie: kleinste kwadraten methode

Hallo,

ik ben aan het lezen over lineaire regressie en dan met name de kleinste kwadraten methode. Ik snap hoe de fout wordt berekend, verder snap ik ook hoe ze aan de normal equation komen. Alleen ik ervaar nog wel één probleem met het oplossen ervan.

Hoe los ik het volgende op (alle "bekende" variabelen) zijn ingevuld.

(vraag 1: klopt het dat de operatie tussen de matrices aan de linkerkant een matrixvermenigvuldiging staat?)
\(\left( \begin{array}{cc} 39 & 229.9 \\ 229.9 & 1569.2 \end{array} \right) \left( \begin{array}{c} w_{0} \\ w_{1} \end{array} \right) = \left( \begin{array}{c} 1242.9 \\ 7279.7 \end{array} \right)\)
(vraag 2: ik dacht dat ik dingen van algebra dus naar de overkant halen enzovoorts ook gewoon met matrices kon doen, alleen nu heb ik een probleem hoe doe ik een matrix deling? Als mijn aanpak fout is, kan iemand dan mij vertellen hoe ik dit oplos? ;) )

(vraag 3: mag ik elke waarde in de matrix delen door 1 omdat het toch tot de
\(^{-1}\)
staat?)

Dit is wat ik nu heb:
\(\left( \begin{array}{c} w_{0} \\ w_{1} \end{array} \right) = \left( \begin{array}{c} 1242.9 \\ 7279.7 \end{array} \right) \left( \begin{array}{cc} 39 & 229.9 \\ 229.9 & 1569.2 \end{array} \right)^{-1}\)
Dank jullie wel!

Gebruikersavatar
Berichten: 2.097

Re: Lineaire regressie: kleinste kwadraten methode

Vraag 1: Ja, het is een vermenigvuldiging van 2 matrices

Vraag 2: Je moet opletten bij matrices dat de vermenigvuldiging niet commutatief is:
\(AB\neq BA\)
Daarom moet je opletten bij het overbrengen van een matrix van het ene lid naar het andere:

Stel je hebt volgende vergelijking:
\(AX=CY+D\)
Je wil hieruit X bepalen. Hiervoor moet je linksvermenigvuldigen met A-1
\(A^{-1}AX=A^{-1}(CY+D)\)
\(X=A^{-1}CY+A^{-1}D\)


Vraag 3: neen. De inverse van een matrix is meestal niet zo 'leuk' om uit te rekenen. Gelukkig bestaat er voor 2x2 matrices een versimpelde formule:
\({\left(\begin{array}{2 2}a & b \\ c & d \end{array}\right)}^{-1}=\frac{1}{ad-bc}\left(\begin{array}{2 2}d & -b \\ -c & a \end{array}\right)\)
"Why must you speak when you have nothing to say?" -Hornblower

Conserve energy: Commute with a Hamiltonian

Berichten: 4.246

Re: Lineaire regressie: kleinste kwadraten methode

(vraag 3: mag ik elke waarde in de matrix delen door 1 omdat het toch tot de
\(^{-1}\)
staat?)
Dit laat zien dat je weinig kennis hebt van lineaire algebra. De -1 staat voor inverse. Misschien is het verstandig, gezien je vragen, een cursus lineaire algebra te doen, het boek van Lay is erg duidelijk.
Quitters never win and winners never quit.

Berichten: 33

Re: Lineaire regressie: kleinste kwadraten methode

Oh ik snap het, want als je iets vermenigvuldigd met zijn eigen inverse dan "heft" het zichzelf op, zeg maar aangezien we dan een matrix krijgen met 1nen schuin. Toch?

Dus als ik de inverse bereken daarvan en dan die meest linkse van de rechterkant vermenigvuldig met de andere (ik had ergens wel gelezen dat matrixvermenigvuldiging niet commutatief is) dan krijg ik dus het antwoord voor de w's?

Reageer