Kleinste kwadraten benadering

Moderators: dirkwb, Xilvo

Reageer
Berichten: 19

Kleinste kwadraten benadering

Bij overgedetimineerde stelstels kiest men er meestal voor om de kleinste kwadraten benadering te gebruiken.

Als er bijvoorbeeld metingen zijn gedaan aan de hand van temperatuur en weerstand, zodat R=aT+b en de fout volledig te wijten is aan de onnauwkeurigheid in de weerstand, zou je dus voor elk meetpunt een benadering kunnen opschrijven, namelijk:

r_i = R_i - ( aT_i + b )

waarin r_i het residu is voor ( T_i , R_i )

De minimaliseing van de som van ( r_i )kwadraat definieert vervolgens de 'beste' benadering.

Nu is mijn vraag: Waarom wordt niet gewoon de som van de absolute waardes van ( r_i ) geminimaliseerd, ipv het kwadraat daarvan? Waarom zou dat niet gewoon werken?

Berichten: 7.068

Re: Kleinste kwadraten benadering

Nu is mijn vraag: Waarom wordt niet gewoon de som van de absolute waardes van ( r_i ) geminimaliseerd, ipv het kwadraat daarvan?
Dat kan natuurlijk ook. Het voordeel van het kwadraat is dat grotere afwijkingen zwaarder gestraft worden.

Berichten: 19

Re: Kleinste kwadraten benadering

Dat is inderdaad evident, maar waarom wil je dat grotere afwijkingen zwaarder gestrafd worden?

Gebruikersavatar
Berichten: 824

Re: Kleinste kwadraten benadering

Met absolute waarden werken rekent moeilijker. Wanneer je bv moet gaan minimaliseren, afleiden,...
Be careful whose advice you buy, but be patient with those who supply it.

Gebruikersavatar
Moderator
Berichten: 4.088

Re: Kleinste kwadraten benadering

Jouw voorbeeld (en een hele hoop andere voorbeelden) voldoen aan de voorwaarden van het Gauss–Markov theorema, welke zegt dat dan de schatters die je vindt met de kleinste kwadraten methode de beste, unbiased schatters zijn. Helaas wordt het woord beste niet verder gedefinieerd in dit Wikipedia artikel.

Re: Kleinste kwadraten benadering

Nu is mijn vraag: Waarom wordt niet gewoon de som van de absolute waardes van ( r_i ) geminimaliseerd, ipv het kwadraat daarvan? Waarom zou dat niet gewoon werken?
Dat kan ook en wordt ook wel gedaan.

Dat vergt wel meer werk en het is de vraag of de voordelen opwegen tegen de nadelen.

Doordat de absolute-waarde functie niet differentieerbaar is krijg je wel een bias in de te schatten parameters, die je (zoals physicalattraction al zei), kunt vermijden.

Er is nog een ander belangrijk aspect.

Als je de vergelijking
\(Ax = b\)
met de least-squares methode oplost, ga je er eigenlijk van uit dat de elementen van
\(A\)
benaderingen zijn van exacte data. In de praktijk bestaat ook
\(b\)
uit niet exacte data, en behoor je eigenlijk een "total least squares" uit te voeren. Dat wordt meestal niet gedaan, vanwege gemakszucht, onwetendheid en/of een gebrek aan kennis.

Reageer