'Lagrange multipliers' is een handige term om op te zoeken als je meer over dit onderwerp wilt weten. Alvast een heel duidelijke uitleg kun je hier vinden:
http://www.slimy.com/~steuard/teaching/tut...s/Lagrange.html
Ik zal zelf ook proberen om het hier toe te lichten. Ik doe dit absoluut niet in wiskundig strikte beschrijvingen, maar meer op een manier dat je voor je kunt zien hoe het werkt. Bij mij helpt zo'n beschrijving tenminste vaak.
'f' is de functie waarvan je een extreme waarde zoekt, terwijl je toegestane zoekgebied beperkt wordt door de eis dat 'g' nul moet zijn over dat zoekgebied. Om het visueel voor te stellen: stel dat 'f' een hoogtekaart weergeeft (dus f(x,y) geeft de hoogte op het punt (x,y)), en dat g(x,y) = 0 een of ander pad (een lijn) over dat terrein beschrijft, dat allerlei verschillende hoogtes doorkruist - alsof je een wandeling maakt over een heuvelachtig terrein, waarbij je niet van het pad af mag.
\(\nabla{f}\) geeft voor een of ander punt in het domein van f de vector weer die op dat punt in de richting van de steilste toename ligt: als je zeg maar in die richting loopt (
\(\nabla{f}\) is tenslotte een vector met een x- en y-component) win je per stap het snelste hoogte. Als je die vector telkens opnieuw uitrekent voor je huidige positie, en je blijft in de richting van die vector lopen, dan kom je op een gegeven moment vanzelf op een (lokaal) maximum van 'f' uit. En andersom natuurlijk, als je telkens tegen die vector in loopt kom je uiteindelijk op een (lokaal) minimum van 'f' uit.
Goed, maar nu kunnen we niet zomaar elke kant op lopen die we maar willen: we worden ten slotte in onze keus van richting beperkt door het pad waar we op zitten, en die beperking is in de wiskundige vorm g(x,y) = 0 gegoten. Overal op ons pas is 'g' dus nul. Dat betekent dat
\(\nabla{g}\) altijd
haaks op ons pad staat (zie je waarom?). 'g' kan namelijk van ons pad af allerlei andere waarden aannemen (net als 'f' dat doet), maar we blijfen op een 'hoogtelijn' van 'g' lopen: haaks op de richting van de steilste helling van 'g'.
Als je nu op een bepaald punt staat op het pad (en je niet op een lokaal extremum van 'f' staat), en je kijkt naar
\(\nabla{f}\), dan wijst die in een of andere richting - doorgaans niet precies tangentieel aan het pad, maar ergens het struikgewas in zeg maar. Als je nu het pad afloopt zodanig dat je in ieder geval in de richting van de
component van
\(\nabla{f}\) loopt die
wel tangentieel loopt aan het pad, win je in ieder geval een beetje hoogte, en kom je dichter bij een (lokaal) maximum van je hoogteprofiel langs het pad (de 'f'-waarden waar je langs komt lopen). Zodra je zo'n maximale waarde van 'f' op je pad bereikt, wijst
\(\nabla{f}\) ook haaks van het pad af! Waarom? Als je zo'n maximum bereikt op je pad ga je weer naar beneden als je een stap verder zet, en ga je ook weer naar beneden als je een stap terug zet. Je loopt op dat punt dus heel even langs een hoogtelijn van 'f'! En dan geldt hetzelfde als wat al eerder met 'g' aan de hand was: de richting van de steilste helling staat altijd loodrecht op de hoogtelijnen.
\(\nabla{f}\) en
\(\nabla{g}\) wijzen daar dus dezelfde kant op, of wijzen in tegengestelde richtingen. Welke van die twee situaties je ook hebt, je kunt de ene vector altijd uitdrukken als een of ander getal (positief voor dezelfde kant, negatief voor de tegenovergestelde kant) vermenigvuldigd met de andere vector. Dat getal waar je mee vermenigvuldigt is dus die
\(\lambda\).
Daar komt dat theorema zo'n beetje op neer.
Dan kan de gradient van 'f' immers niet in die richting staan!