Springen naar inhoud

lineaire regresse


  • Log in om te kunnen reageren

#1

stefkeuh

    stefkeuh


  • 0 - 25 berichten
  • 3 berichten
  • Ervaren gebruiker

Geplaatst op 04 januari 2009 - 19:13

heey, :D
ik moet de komende week een project voorstelling geven, en zou de methode van de kleinste kwadraten moeten uitleggen. ik kan dit wel toepassen, maar we mogen geen cijfervoorbeelden geven. zou iemand me plz kunnen helpen om een duidelijke, deftige uitleg in elkaar te kunnen steken ..? ? want ik weet niet zo goed wat ik erover kan vertellen .. :lol:

mercitjes, x

Dit forum kan gratis blijven vanwege banners als deze. Door te registeren zal de onderstaande banner overigens verdwijnen.

#2

woelen

    woelen


  • >1k berichten
  • 3145 berichten
  • Ervaren gebruiker

Geplaatst op 04 januari 2009 - 22:29

Ik weet niet hoe goed je zit in de wiskunde en of je een redelijke basis linaire algebra hebt. Maar wat je doet met de kleinste kwadraten methode is een oplossing zoeken voor een overbepaald stelsel (je hebt meer vergelijkingen dan onbekenden).

Ik doe de aanname dat je uit gaat van een lineair model aTx = b, een voorbeeld is

a1x1 + a2x2 + a3x3 = b

Hier zijn de ai je gemeten systeemgrootheden en de b zijn de metingen van de daarvan afhangende gootheid. Voor iedere meting b heb je een set van systeemgrootheden ai. Hier is x de vector van te bepalen systeemparameters op basis van de metingen en het lineaire model.

Als je al die metingen onder elkaar schrijft krijg je een overbepaald stelsel als je meer metingen dan parameters hebt.

Dit overbepaalde stelsel schrijf ik maar even als

Ax = b

Hier is x de vector van op te lossen waarden voor de systeemparamters, b is een vector van metingen en A is een matrix van metingen, welke meer rijen (het aantal rijen is het aantal metingen) dan kolommen heeft (het aantal kolommen is gelijk aan het aantal systeemgrootheden ai).

In de praktijk heeft zo'n overbepaald stelsel geen enkele oplossing, maar er is wel een oplossing voor het volgende probleem:

Bepaal die x, zodanig dat ||Ax - b|| minimaal is. Om dit minimum te vinden kun je differentieren naar x en zoek je naar dat punt waar de afgeleide in alle richtingen gelijk is aan 0 (waar de gradient gelijk is aan 0). Deze x levert je dan het model op wat de beste fit geeft voor jouw meetresultaten, er van uit gaande dat je alle metingen even zwaar mee laat wegen.

Die norm is een lastige wortel-expressie, maar als ||Ax - b|| minimaal is, dan is (Ax - b)T(Ax - b) ook minimaal (dit is de norm in het kwadraat).

Ga je dit produkt helemaal uitschrijven en nu differentieren, dan kun je komen tot een eenvoudige oplossing:

x = (ATA)-1ATb

Deze oplossing is eenvoudig te berekenen en bijv. uit te programmeren met een computer.

Er bestaan ook nog zgn. gewogen kleinste kwadratenschattingen, waarbij je sommige metingen zwaarder laat mee wegen dan anderen (bijv. omdat je meer vertrouwen hebt in de kwaliteit van die meting). Deze gewogen methoden leiden echter tot vergelijkbare modellen, waarbij er ook nog een weegmatrix in het spel is. De theorie is niet wezenlijk anders.

Als je niet een lineair model hebt, maar een niet-lineair model Fa(x, b) = 0, dan wordt het allemaal een HEEL stuk ingewikkelder dan bovenstaand verhaal. Dan moet je toch echt de wiskundeboeken induiken, het voert te ver om die theorie hier uit te werken.

Veranderd door woelen, 04 januari 2009 - 22:39






0 gebruiker(s) lezen dit onderwerp

0 leden, 0 bezoekers, 0 anonieme gebruikers

Ook adverteren op onze website? Lees hier meer!

Gesponsorde vacatures

Vacatures