"positive" definite matrix

Moderators: dirkwb, Xilvo

Forumregels
(Middelbare) school-achtige vragen naar het forum "Huiswerk en Practica" a.u.b.
Zie eerst de Huiswerkbijsluiter
Reageer

"positive" definite matrix

ik heb ergens gelezen dat een "variance-covariance" matrix bij definitie altijd "positive definite" dient te zijn ... kan iemand mij uitleggen wat dat precies inhoudt en aan welke voorwaarden een matrix dient te voldoen om "positive definite" te zijn? zijn er misschien (enigszins toegankelijke) boeken of artikelen over dit onderwerp?

Gebruikersavatar
Berichten: 5.679

Re: "positive" definite matrix

Een n x n matrix A heet positief definiet als xTAx>0 [vooralle]x[element] :shock: n.

Idem negatief definiet voor <0.

Met [grotergelijk]0 resp. [kleinergelijk]0 heet het trouwens semi-positief (resp. negatief) definiet.

xT is de "getransponeerde" van x: voor een matrix is dat rijen en kolommen verwisselen, voor een vector (opgevat als n x 1 matrix) komt dat neer als het toepassen van de vector als (horizontale) rij i.p.v. een (verticale) kolom.

Als het om een complexe matrix gaat: x moet je dan opvatten als z[element] ;) n en xT wordt z*, de complex geconjugeerde van z, dat is de getransponeerde met alle elementen geconjugeerd. Dus de kolom (1 2+3i) wordt geconjugeerd de rij (1 2-3i).
In theory, there's no difference between theory and practice. In practice, there is.

Re: "positive" definite matrix

Deze vraag heeft uiteraard niet toevallig alles te maken met je vorige vraag, omtrent covariantie. LISREL (LInear Structural RELations) van Jöreskog en Sörbom, controleert voorafgaand aan hun ‘Structural Equation Model(l)ing’ of de betrokken matrix ‘positive definite’ is. In gewoon Nederlands is dat: “Zijn deze covarianties (of correlaties) onderling consistent, sluiten zij elkaar niet uit?”. Bijvoorbeeld, als variabelen A en B elk een correlatie hebben van +1 met C, dan is het onmogelijk dat de correlatie tussen A en B kleiner is dan +1. Als variabelen A en B elk een correlatie hebben van +.50 met C, dan is de correlatie tussen A en B per definitie juist niet exact +1, maar ook niet exact -1; maar ergens daartussenin. Met andere woorden, twee verbanden (covarianties/correlaties, A-C en B-C), bepalen NIET éénduidig een derde (A-B), maar stellen er wel fysieke ‘grenzen’ aan, zowel een onder- als een bovengrens. Worden die fysieke ‘grenzen’ overschreden, dan is de matrix ‘non-definite positive’, en bijvoorbeeld de LISREL software kapt ermee. ‘Non-definitive positive’ kan bijvoorbeeld optreden door ‘pairwise deletion’. Dat houdt in, je berekent de covariantie/correlatie A-C in subgroep 1, B-C in subgroep 2, en A-B in weer een andere subgroep van respondenten.

‘Non-definite positive’ is overigens niet hetzelfde als dat de determinant van een matrix nul is, een ander groot probleem. De determinant ‘kijkt’ of er niet twee (of meer of combinaties van) variabelen zijn, die een lineaire combinatie van elkaar zijn (waarbij 0 afhankelijkheid inhoudt, de matrix is singulier, en <> 0 houdt in dat er geen afhankelijkheid is, de matrix is regulier). Bij een singuliere matrix houdt een programma als LISREL het ook voor gezien, omdat ‘hij’ nu eenmaal door die determinant moet delen ergens, en hoe je door nul moet delen is ook anno 2005 nog niet echt uitgevonden ;-).

Wat mezelf echter interesseert, en ik zou de mening van met name Rogier :shock: daarover zéér op prijs stellen, is wat die onder- en bovengrenzen dan wel zijn. Stel de correlatie tussen A-C is +.45 (of ‘x’), en die tussen B-C is +.20 (of ‘y’). Wat is dan de maximale (‘z(max)’) en wat is dan de minimale correlatie tussen A en B (‘z(min)’)?

En nu hebben we dus een determinant, een index voor ‘positive definite’, maar is er nu ook een index voor elkaar uitsluitende afstanden in een afstandentabel?

Bijvoorbeeld, de afstandenmatrix (wellicht moet je de tabs erbij denken, ik weet niet van tevoren hoe dit er op het net uit komt te zien):

A B C D

A

B 3

C 5 4

D 4 5 3

zou dan consistentie-index 1 krijgen, het zijn 2 driehoeken van 3-4-5, 'ruggelings' tegen elkaar aan, dit is 100% 'mogelijk' in het [ons bekende] twee-dimensionele vlak.

Maar de afstandenmatrix:

A B C D

A

B 3

C 9 4

D 4 5 3

zou dan een véél lagere consistentie-index krijgen, aangezien deze 6 afstanden onderling ‘fysiek’ gewoon niet 'kunnen' (in het twee-dimensionale vlak; er ligt a.h.w. een 'berg' tussen A en C; het zogenaamde residu is 9-5=4). (Met ‘fysiek’ refereer ik aan de ons bekende wereld; abstracte situaties waarin bijvoorbeeld de wortel van -1 wèl bestaat (wortel -1 is ‘i’, irreële getallen) laten we buiten beschouwing [Nú éven níet!]).

Dus, is er een 'consistentie'-index voor iedere denkbare i*i-matrix? Wat is daar, in bijvoorbeeld Excel-termen, dan de 'formule' van? Of: is bewijsbaar dat zo'n consistentie-index niet bestaat?

Ik zou er voor mijn eigen (Excel-) programma om een willekeurige afstandentabel tussen objecten te vertalen in een set coördinaten van die objecten zeer mee zijn geholpen, dus... bij voorbaat dank voor iedere hint.

Re: "positive" definite matrix

vraag heeft inderdaad alles te maken met voorgaande vraag. ik weet niet of je hier iets aan hebt, maar toch ...

één van de voorwaarden voor een symmetrische matrix om (semi) positief definiet te zijn is een determinant >=0. Stel we hebben een 3x3 var - cov matrix: S = ((Sxx, Sxy, Sxz), (Sxy, Syy, Syz), (Sxz, Syz, Szz))

Verder weten we de covariantie tussen: (i) X en Y en (ii) Y en Z. De covariantie tussen X en Z moet dan liggen (vanwege eis dat determinant >=0 moet zijn) tussen:

(Sxy Syz - [(Sxy^2 - Sxx Syy)(Syz^2 - Syy Szz)]^(1/2)) / Syy

en

(Sxy Syz + [(Sxy^2 - Sxx Syy)(Syz^2 - Syy Szz)]^(1/2)) / Syy

Gebruikersavatar
Berichten: 5.679

Re: "positive" definite matrix

Wat mezelf echter interesseert, en ik zou de mening van met name Rogier   :?: daarover zéér op prijs stellen, is wat die onder- en bovengrenzen dan wel zijn. Stel de correlatie tussen A-C is +.45 (of ‘x’), en die tussen B-C is +.20 (of ‘y’). Wat is dan de maximale (‘z(max)’) en wat is dan de minimale correlatie tussen A en B (‘z(min)’)?
Hmm, voor de hand liggende vraag eigenlijk, maar ik had er nog nooit over nagedacht :?:

Intuïtief zou ik zeggen: als x en y beide 0 zijn dan kan z alles zijn, m.a.w. z :shock: [-1,1]. En anders moet z tussen xy en sigma.gif(xy)[.]K(x,y) liggen, waarbij sigma.gif(x) = het teken van x = limh[omlaag]0(x+h)/|x+h| en K(x,y) = min(|x|,|y|) / max(|x|,|y|).

Dus in het voorbeeld met A-C = 0.45 en B-C = 0.20, dan 0.09 ;) A-B ;) 4/9 ;) 0.444...
In theory, there's no difference between theory and practice. In practice, there is.

Reageer