Hoe moet je meten?

enrico

Hallo allemaal.

Ik kijk hier wat rond en ik leer een hoop bij over de psychologie.

Bij sommige onderzoeken zie ik de termen "inzicht in de (eigen) problematiek", "weigering", "ernst vd situatie", en "angst" staan. Dit roept bij mij de vraag op: Hoe kan men dit meten? Het meetresultaat lijkt me erg afhankelijk van de persoon die aan het meten is.

Dit betekent dat het model niet klopt, want iedereen heeft een eigen intepretatie van de gemeten waarden. Daar is niet mee te werken, want de uitkomsten zullen dan ook verschillend zijn.

Een mogelijke oplossing zou kunnen zijn, om beter te bekijken wat die begrippen inhouden. Hier rollen dan weer variabelen uit die beter te meten zijn.

Of zeg ik nu iets doms?

Vriendelijke groet, Enrico

Dido

Goh, ik dacht al... wààr heb ik die vraag nog gehoord! En toen wist ik het natuurlijk weer...

OK, 1 reactie, dan maar. De rest laat ik over aan anderen.

Waar jij op aanstuurt is het belang van de constructvaliditeit. Zorgen dat je het beste meetinstrument kiest en dat je ook correct meet. Er is natuurlijk ook nog de externe en interne validiteit.

En voor hier vind ik het van belang om de externe validiteit te benadrukken: zorgen dat jouw resultaten ook generaliseerbaar zijn, buiten jouw onderzoek om. Een groot verwijt van de 'veldwerkers' (de praktijkvoerende professional) zeg maar, ten aanzien van onderzoekers is dat de externe validiteit te laag is: hun patiënten/ cliënten zijn zodanig geselecteerd waardoor ze helemaal niet meer voldoen aan de manier hoe échte cliënten zijn. Met andere woorden, de praktijkvoerende arts/ psycholoog/... herkent de onderzoekspopulatie helemaal niet meer in z'n eigen populatie (zijn cliënten/ patiënten zijn helemaal niet zo'n voorbeeldcliënten) en dus kan hij niets aanvangen met die onderzoeksresultaten.

Moraal van het verhaal:

constructvaliditeit lijkt mij belangrijk te zijn bij het uitvoeren van onderzoek. Als je die regels te strikt hanteert (constructvaliditeit maximaal) dan boet je heel waarschijnlijk in, in externe validiteit en krijg je mooie steriele resultaten waar niets mee aan te vangen is voor de professional zelf. Leuk voor in de leerboekjes, maar niet om mee te werken. En tenslotte draait het toch er toch om om er iets werkbaars ervan te maken, dacht ik.

Natuurlijk moet ook de praktijkvoerende professional ervoor zorgen dat die niet zomaar met de natte vinger een gok doet naar de meetresultaten. De DSM biedt daar zeker al een heel goed handvat voor. En je kan er van op aan dat dit voor de meesten volstaat.

Mijn besluit:

- voor wat de professional betreft (werkende arts/ psycholoog), werkt het huidig systeem al heel behoorlijk.

- Voor onderzoekers daarentegen is het inderdaad noodzakelijk hun variabelen concreter te operationaliseren en precies te omschrijven wat ze gaan meten, maar dat gebeurt ook. En verder zorgen ze er best ook voor dat ze voldoende veldonderzoek uitvoeren waarbij de constructvaliditeit waarschijnlijk een stuk lager zal zijn, maar de externe validiteit een stuk beter. Als je die vele onderzoeken dan samen legt, bekom je dan misschien iets wat zowel voldoet aan een degelijk onderzoek én bruikbaar is.

Voila, dat was mijn bijdrage aan deze topic. Ik hou het nu voor bekeken.

Dido

enrico

Dank je Dido,

Dat was een vrij heldere uitleg. Dus als ik het goed begrijp resulteert beter meten en meer variabelen meten in uitkomsten die minder op individuele gevallen slaan? En minder goed meten in resultaten die beter werkbaar zijn voor de veldwerkers?

Als dat zo is, dan lijkt het me dat het probleem te complex is. Dit kan je volgens mij alleen oplossen door zowel de onderzoekers als de veldwerkers meer en beter te laten meten.

Het probleem met het 2e geval lijkt me dat een veldwerker-psycholoog niet meer kan zeggen dan: "Als je depressief bent, dan ben je af en toe somber, en af en toe moe". (Ik vergelijk het met de uitspraak: Mensen met Anorexia hebben een laag gewicht). Dit lijkt me niet echt werkbaar. Het zou wel zo kunnen zijn dat sommige mensen er baat bij hebben om dit soort dingen te horen. Dat dient natuurlijk ook onderzocht te worden.

Het 1e geval lijkt me echt beter, en werkbaarder. Alleen, je kunt dan waarschijnlijk niet zoveel mensen per dag helpen.

Ik zit hier overigens niet om iemand vliegen af te vangen, maar om mee te denken met psychologen (studenten). Mischien worden we allemaal wat wijzer. Als ik iets doms zeg dan hoor ik het wel.

Vr.Gr.

Enrico

enrico

Sorry, ik bedoel:

Dus als ik het goed begrijp resulteert beter meten en meer variabelen meten in uitkomsten die meer op individuele gevallen slaan? En minder goed meten in resultaten die beter werkbaar zijn voor de veldwerkers?

Gr.Enrico

Snow white

Enrico,

Ik wil je graag van informatie voorzien. Wat Dido je vertelt over constructvaliditeit is heel terecht en zeer informatief. Zelf kies ik ervoor je op wat meer anekdotische wijze inzicht te bieden in het 'meten van de psyche'.

Het meten van psychologische eigenschappen is inderdaad een vakgebied op zich. Alles begint met een definitie van datgene je wilt meten.

Vergelijk het met hartslag: het meten van de hartslag is vrij goed te doen. Bovendien kan je er vanuit gaan dat je bij iedere persoon hetzelfde ding meet, namelijk de hartslag, en dat je dus ook een normgroep kan gaan gebruiken. Je kan dan niet alleen vaststellen: ''goh deze persoon heeft X slagen per minuut'', maar je kan ook zeggen of dat normaal is voor mensen van zijn leeftijd/geslacht en dergelijke.

Bij de psychologie werkt het net zo. Het eerste probleem is echter dat je moet definieren, zoals gezegd. Hartslag laat zich makkelijker definieren dan bijvoorbeeld persoonlijkheid. Als je echter toch een definitie bedenkt, wordt het al stukken meer tastbaar.

Bijvoorbeeld: we willen weten wat iemands persoonlijkheid is. We kiezen als definitie van persoonlijkheid dat het een profiel is van de mate waarin we scoren op de vijf belangrijkste persoonlijkheidskenmerken die er wereldwijd zijn. Deze defintiie is niet zomaar bedacht, maar gebaseerd op grootschaals onderzoek en de Big Five theorie van persoonlijkheid. Daaruit bleek dat er vijf dimensies zijn van persoonlijkheidseigenschappen die echt de kern raken van 'hoe iemand is':

1)Extraversie (naar buiten gericht, hartelijk, sociabel, dominant, energiek, avonturisme, vrolijkheid)

2) Neuroticisme (emotionele labiliteit, angst, ergernis, depressie, schaamte, impulsiviteit, kwetsbaarheid)

3) Openheid (openstaan voor nieuwe ervaringen, gevoelens, fantasie, esthetiek, waarden, veranderingen)

4) Altruisme (Vriendelijkheid en hulpvaardigheid, vertrouwen, medeleven, inschikkelijkheid)

5) Conscientieusheid (gewetensvolheid, ambitie, volharding, orderlijkheid, zelfdiscipline, doelmatigheid)

Zo, dat is al een stuk beter. We hebben nu een definitie van persoonlijkheid en we hebben een idee over wat we willen meten. Nu moeten we nog een vragenlijst (of andere methode!) bedenken waarmee we ook daadwerkelijk meten wat we willen meten. Oftewel: een vragenlijst die constructvalide is.

Dit doe je door vragenlijsten op te stellen en deze heel vaak te testen. Niet honderd keer, niet duizend keer, maar tienduizenden keren. Tienduizenden mensen vullen de vragenlijsten in en geven feedback op de resultaten. De vragenlijsten worden continu aangescherpt.

Door deze trial & error fase van het ontwerpen van de vragenlijst heb je twee dingen: 1) een vragenlijst die de tand des tijds doorstaan heeft en 2) een normgroep, want de vragenlijst is bij heel veel mensen afgenomen.

Stel, we laten onze persoon nu een persoonlijkheidsvragenlijst invullen. Neem de NEO-PI-R, dit staat voor NEO Factory Inventory Revisited, een veelgebruikte vragenlijst. Onze persoon scoort vergeleken met zijn normgroep voor leeftijd en geslacht:

hoog op extraversie

laag op neuroticisme

hoog op openheid

hoog op altruisme

laag op conscientieusheid

Deze vijf resultaten voegen we samen. Zo ontstaat een profiel van de persoonlijkheid van onze persoon. We weten nu dat onze persoon bestwel outgoing is. Hij is niet snel van streek, redelijk stabiel dus. De persoon staat open voor nieuwe ervaringen en is betrokken bij anderen. Hij heeft er echter moeite mee om zaken op orde te krijgen. (slordig geparafraseerd)

-----

And that is how it's made. Je specificeert wat je wilt meten. Je geeft een definitie. Je maakt een vragenlijst en blijft deze ontwikkelen totdat je het idee hebt te meten wat je wilt meten. Vervolgens verzamel je data uit de populatie zodat je weet hoe je scores kan interpreteren. Daarna is je vragenlijst klaar voor gebruik.

-----

De kritische lezer merkt op dat vragenlijsten niet helemaal waterdicht zijn. In het voorbeeld van net: wie zou niet zeggen dat 'ie een altruistisch persoon is? Mensen zijn sowieso geneigd een ietwat irrealitisch hoog zelfbeeld te hebben. Daar komt nog bij dat mensen een vragenlijst vaak sociaal wenselijk invullen. Natuurlijk zeg je mee te leven met een ander wanneer diens dierbare is overleden, dat zijn de sociale normen in onze maatschappij.

Vragenlijsten zijn daardoor niet altijd de meest directe manier om tot een realistisch beeld te komen. Een methode die steeds populairder is, zijn de impliciete associatie tests (of impliciete attitude tests, de afkorting IAT kan voor beide staan). Hierbij vraag je de persoon niet direct wat hij/zij vindt van een stelling, maar probeer je op een indirecte manier achter die gedachte te komen.

Picture's worth more than a thousand words en daarom kan je hier zelf een IAT doen.

Hopelijk heb je hier wat aan. Mijn doel was om je via een praktijkvoorbeeld aan te geven hoe het werkt. Ik hoop dat dat gelukt is. Vraag gerust door als iets niet duidelijk is, of als je vragen hebt over een specifiek fenomeen en hoe de meting daarvan in zijn werk gaat.

enrico

Hi Snow White,

Thanks, dit is duidelijk. Dus als ik optel (5 hoofdkenmerken met ongeveer 6 sub-kenmerken) dan kom ik uit op zo'n 30 variabelen. Dat is al wat meer dan die 5 van Anorexia. Nu ben ik nog steeds geneigd om elk van die 30 weer onder te verdelen in flink wat subvariabelen, want het lijkt me nog steeds zeer moeilijk meetbaar. Ik neem aan dat per variabele een vragenlijst worden opgesteld. Is dit correct? Dat van die impliciete associatie tests lijkt me prima manier om de invloed van het stellen van vragen te ontwijken.

Wordt deze meting gebruikt voor onderzoek? En, hoe kan het dat de veldwerkers hiermee niet aan de slag kunnen of is dit de meting van de veldwerkers?

Vr. Gr. Enrico

Snow white

Enrico,

De zes subkenmerken zette ik er eigenlijk achter om je een beeld te geven van welke eigenschappen onder de vijf dimensies vallen. Het hadden er net zo goed 20 kunnen zijn, maar ik vond het mooier als het op dezelfde regel stond

Oftewel: pin je er niet op vast.

Het gaat bij persoonlijheid om de vijf schalen (mits je dus met de klassieke versie van de Big Five werkt). Die vijf schalen kan je letterlijk opvatten als schalen: continua. Bij de extravert-schaal kan je het zien alsof helemaal links van de schaal extraversie staat en helemaal rechts van de schaal introversie. De score zegt dan iets over de mate waarin je extravert danwel introvert bent.

Het is niet correct dat er per subvariabele of supervariabele een vraag wordt opgesteld. De ene variabele staat bijvoorbeeld veel meer op de voorgrond dan de andere. Daar komt nog bij dat een persoonlijkheidstest zodanig wordt opgesteld dat men niet direct door heeft waar het over gaat. De variabelen moeten dus op ietwat cryptische wijze benaderd worden, wil je controleren voor dingen als sociale wenselijkheid en luiheid van de geteste.

Impliciete tests zijn inderdaad een goede manier om sommige nadelen van vragenlijsten te ondervangen, zoals ik je zei. Bedenk echter wel dat zij niet ultiem zijn. Zo is er evidentie dat iemand impliciete en iemands expliciete attitude in werkelijkheid twee verschillende werelden zijn. Het is namelijk makkelijk om te zeggen dat, bijvoorbeeld, iemand expliciet zegt niets tegen buitenlanders te hebben maar dat uit een impliciete test blijkt dat zijn reactietijden wijzen op bestaande vooroordelen. Het lag voor de hand om dan te zeggen dat de expliciete attitude slechts gebruikt werd om disciriminatie te verbergen (liegen/sociaal wenselijk antwoorden). De theorie dat impliciete en expliciete cognities twee andere dingen zijn, is echter de moeite waard te verkennen. Deze zou tevens inhouden dat impliciete tests niet zomaar gebruikt kunnen worden als manier van leugendetectie o.i.d.

(de theorie is overigens afkomstig uit een reviewend artikel en op aanvraag zoek ik de referentie, of ik post 'm later nog in dit bericht)

Impliciete tests worden zonder meer gebruikt door onderzoekers, vaak in combinatie met vragenlijsten. Onderzoek is echter wat anders dan psychodiagnostiek. Diagnostici gebruiken minder vaak impliciete tests, hoewel dit een opkomende ontwikkeling is.

Over veldwerkers, ik zie je dit woord meerdere keren gebruiken en ik begrijp niet wie je ermee bedoelt. Als je dat kan specificeren, kan ik je vraag wellicht beantwoorden.

Dido

Over veldwerkers, ik zie je dit woord meerdere keren gebruiken en ik begrijp niet wie je ermee bedoelt. Als je dat kan specificeren, kan ik je vraag wellicht beantwoorden.

Ik beken dat ik deze term hier heb ingevoerd in deze post.

Daarmee doelde ik op de praktijkvoerende psycholoog (bv. psychotherapeut, psycholoog die dagelijks met cliënten werkt,...)

Dido

Snow white

Ah, praktizijns enzo.

Nou - terug naar Enrico gericht, maar voor alle lezers bedoeld -

''hoe kan het dat de veldwerkers hiermee niet aan de slag kunnen of is dit de meting van de veldwerkers?''

Ik begrijp niet goed waar de veronderstelling vandaan komt dat veldwerkers niet met impliciete tests uit de weg kunnen. Het is echter minder gebruikelijk. Sinds iets meer dan 10 jaar worden impliciete tests zoals de IAT gebruikt. Het idee erachter stamt echter uit de cognitieve psychologie en dan met name het netwerkmodel, wat rond 1970/1980 helemaal hip was.

Ik ben geneigd te zeggen dat impliciete tests in de praktijk achterblijven omdat ze nog recent zijn, maar ik weet niet of dat een terechte redenering is.

In de praktijk wordt qua psychodiagnostiek toch voornamelijk met vragenlijsten gewerkt. Impliciete tests komen om de hoek kijken als het iets betreft waarvoor vragenlijsten niet zo handig zijn (bijvoorbeeld reactiesnelheden, ook zonder daar conclusies aan te verbinden) en assessment wordt soms ingezet door bijvoorbeeld de personeelsmedewerker (om te testen of iemand geschikt is voor een baan). Dat zijn zo'n beetje de materialen van de psychodiagnosticus (psycholoog, psychodiagnostisch werker etc. etc.)

Vragenlijsten hebben in de praktijk de voorkeur. T.o.v. assessment is het duidelijk waarom: assessment kost geld, tijd en 'gedoe' terwijl iemand schriftelijk getest kan worden zonder bedrijven daarbij te 'storen'. Bovendien is assessment een momentopname terwijl vragenlijsten zo gemaakt zijn dat zij een indruk bieden over hoe iemand over het algemeen, op langere termijn, is. Dat is in ieder geval het doel.

Bovendien zijn vragenlijsten gedurende vele jaren en met intensieve methoden ontwikkeld, dat geldt thans voor bekende vragenlijsten als de DAT (intelligentie), NEO-FI (persoonlijkheid), BKT (beroepskeuze), UBOS (burn-out) e.d. Hierdoor hebben zij uiteraard een soort positie ingewonnen alszijnde degelijk materiaal om de psyche te meten.

Verder kom ik even niet.

enrico

Hello,

Nee, het heeft niet te maken met de impliciete tests.

Een aantal mails geleden werd gesteld dat:

Een hogere mate van constructvaliditeit en lagere waarde van externe validiteit zal betekenen (maw de praktiserend proffesional kan er niet veel mee aanvangen, want de patienten lijken dan minder op de groep uit de onderzoekspopulatie), en andersom.

Iets anders, een bepaalde vraag stellen of impliciet een bepaalde gedachte achterhalen zullen beiden een zekere constructvaliditeit hebben. Is die te achterhalen?

Vr. Gr. Enrico

Snow white

''Een hogere mate van constructvaliditeit en lagere waarde van externe validiteit zal betekenen ''

Nee hoor, er is geen wetmatigheid die veronderstelt dat hoe sterker (een maat van) de interne validiteit is, dat er dan afbreuk plaatsvindt aan de externe validiteit. Dit kan wel zo zijn, maar het is geen regel. Het is juist zo dat goede interne validiteit (zoals constructvaliditeit van het materiaal) ertoe zal leiden dat je de populatie kan begrijpen.

''Iets anders, een bepaalde vraag stellen of impliciet een bepaalde gedachte achterhalen zullen beiden een zekere constructvaliditeit hebben. Is die te achterhalen?''

Ja, constructvaliditeit kan je uitdrukken in een getal. Of je deelt het op in subsoorten constructvaliditeit en drukt die uit in een getal. Je kan ook kwalificaties gebruiken zoals ''matig, redelijk, sterk'' maar dat is natuurlijk minder solide.

Ik wil hier echter kort over zijn omdat ik niet weet hoe dat in z'n werk gaat. Zo ver ben ik methodologisch gezien nog niet.

enrico

Jo Snow White,

"goede interne validiteit (zoals constructvaliditeit van het materiaal) ertoe zal leiden dat je de populatie kan begrijpen."

Ja dat lijkt mij ook. I'll think about it.

Gr.Ernirco

Dido

Dus als ik het goed begrijp resulteert beter meten en meer variabelen meten in uitkomsten die meer op individuele gevallen slaan? En minder goed meten in resultaten die beter werkbaar zijn voor de veldwerkers?

Inderdaad Enrico, ietwat globaal gesteld, klopt dit wel.

Als voorbeeld, kan ik misschien een sterke overdrijving in beide richtingen gebruiken:

ter info: DSM criteria voor 'anorexia nervosa' (AN) (behoort tot de eetstoornissen, met bv. ook boulemie)

A. Weigering het lichaamsgewicht te handhaven op of boven een voor de leeftijd en lengte minimaal normaal gewicht (bijvoorbeeld gewichtsverlies dat leidt tot het handhaven van het lichaamsgewicht op minder dan 85 procent van het te verwachten gewicht; of het in de periode van groei niet bereiken van het te verwachten gewicht, hetgeen leidt tot een lichaamgewicht van minder dan 85 procent van het te verwachten gewicht).

B. Intense angst in gewicht toe te nemen of dik te worden, terwijl er juist sprake is van ondergewicht.

C. Stoornis in de manier waarop iemand zijn of haar lichaamsgewicht of lichaamsvorm beleeft, onevenredig grote invloed van het lichaamsgewicht of lichaamsvorm op het oordeel over zichzelf of ontkenning van de ernst van het huidige lage lichaamsgewicht.

D. Bij meisjes, na de menarche, amenorroe, dat wil zeggen de afwezigheid van ten minste drie achtereenvolgende cycli. (Een vrouw wordt geacht een amenorroe te hebben als de menstruatie alleen volgt na toediening van hormonen (bijvoorbeeld oestrogenen).

je wil nu onderzoeken of jouw therapie T helpt bij AN.

(1) nastreven van een maximale constructvaliditeit bij AN

Je besluit om jouw onderzoeksgroep heel strikt te houden: jouw onderzoeksgroep beantwoordt aan de volgende criteria:

A. gewichtsverlies met een lichaamsgewicht van precies 80% v/h normale verwachte gewicht. Die 80% is heel strikt, omdat je anders met een andere groep komt te zitten, die mogelijks niets te zien heeft met jouw AN-groep.

B. intense angst: je hebt dit gemeten dmv. een verschil in vochtigheidsgraad thv. de middelvinger van min. 50% én daarbij een verschil in hartfrequentie van min. 50% én een verschil in toename v/d diameter v/d pupil van min. 50% én daarbij de mededeling van de patiënt dat die angstig is.

De verschilconditie is: 'patiënt krijgt te horen dat die zeker niet moet eten als die daar geen zin in heeft'. En dit vergelijk je met de conditie: 'patiënt krijgt te horen dat die straks gans z'n bord moet leegeten.'

C. enz...

Je biedt hen therapie T aan en je gaat na wat de resultaten ervan zijn (dus je gaat na of er een verschil is tussen bovenstaande criteria voor en na therapie T). Bedoeling is natuurlijk dat de patiënt na T betere scores verkrijgt. Je bekomt dan bv. dat jouw groep idd. minder klachten vertoont na T, namelijk een afname van klachten van gemidd. 75%.

Probleem is nu echter dat, omdat jouw onderzoeksgroep zo'n strikt gemeten kenmerken vertoonde (iemand met bv. een lichaamsgewicht van 82% v/h normale verwachte gewicht, kon niet opgenomen worden in de onderzoeksgroep), jouw resultaten bijna niet gegeneraliseerd kunnen worden. Ze gelden dus +/- maar enkel voor die ene onderzoeksgroep. Want, jouw onderzoeksgroep was helemaal niet representatief voor alle patiënten met AN. Aangezien de groep 'alle AN-patiënten' een veel grotere spreiding van DSM-waarden zou vertonen.

Gevolg voor de professional (veldwerker): elke patiënt die hij te zien krijgt, die niet aan die strikte criteria van die bepaalde onderzochte onderzoeksgroep voldoet, kan hij in principe niet helpen. Want, de resultaten (therapie T helpt) gelden niet voor zijn patiënt, want die heeft bv. een gewicht = 70% v/h normale verwachte gewicht.

De enige oplossing voor dit probleem zou dus zijn (als je een max. constructvaliditeit wil behouden): alle mogelijke groepen, in allerlei mogelijke combinaties van DSM criteria gaan samenstellen en die dan elk apart gaan onderzoeken. En daarbij liefst 100 onafhankelijke onderzoeken voor elke mogelijke onderzoeksgroep, want 1 onderzoekje voor die bep. groep zegt natuurlijk niet veel (jouw bekomen resultaat was misschien toevallig).

Enkel dan zou je voor elke patiënt (met gelijk welke DSM-criteria) kunnen weten of therapie T zinvol is. En enkel als de professional over zo'n lijst (van alle mogelijke combinaties van DSM-criteria & de zinvolheid van therapie T) beschikt, kan hij werkelijk weten of therapie T zinvol is bij zijn specifieke patiënt.

Onbegonnen werk natuurlijk (oneindig veel mogelijkheden), én jouw onderzoeksgroepen zijn dan vaak ook te klein om valide resultaten te verkrijgen. Bovendien (heel belangrijk!!!) is de kans heel reëel dat bv. voor alle patiënten met een gewicht tussen 85% - 60% v/h normale verwachte gewicht, het resultaat zou zijn dat therapie T werkt.

Uiteindelijk was het dan dus weinig zinvol dat je al die groepen onderzocht hebt (er nu even van uitgaan dat je dat effectief toch zou kunnen). Want, meten om te meten is leuk, maar dat meten moet ook z'n nut hebben: je wil weten of therapie T werkt. Zeker als blijkt dat therapie T +/- voor alle groepen werkt...

Zo'n (extreem) voorbeeld, toont dus aan dat het voor de professional vaak weinig zinvol is om met zo'n gedetailleerde metingen te werken. De onderzochte populatie is totaal anders dan zijn populatie. En uiteindelijk blijkt dat therapie T toch voor het grootste deel van de patiënten werkt. Hij heeft dus genoeg met enkele criteria, namelijk diegene die hem vertellen wanneer therapie T niet werkt en hij dus iets anders zal moeten doen.

De externe validiteit is dus heel laag van zo'n onderzoek.

(2) nastreven van een maximale ext. validiteit bij AN

Je neemt dan bv. alle patiënten die de professional in een periode van 2 jaar ziet en die aangeven dat ze schrik hebben om te eten, samen in 1 onderzoeksgroep. Daarbij bied je dan therapie T aan.

De kans is dan groot dat jouw resultaat (helpt T wel of niet) uiteindelijk weinig meerwaarde zal bieden:

- De onderzoeksgroep was dan wel een maximale veralgemening: het was echt een afspiegeling van de patiënten met 'schrik om te eten' die een professional in z'n carrière zal te zien krijgen.

- Maar aangezien er daar evengoed mensen tussen zaten met boulemie (met ook schrik om te eten), zelfs mensen die géén boulemie of AN hadden, en mensen met een totaal andere reden voor 'schrik om te eten', is de kans groot dat je weinig resultaten uit jouw onderzoeksgroep zal kunnen trekken. Je hebt geen onderscheid gemaakt tussen al die verschillende patiënten, maar je ziet alleen dat er geen lijn in zit: soms werkt therapie T, soms werkt het helemaal niet.

Dit onderzoek heeft dus een maximale externe validiteit, maar een minimale constructvaliditeit. Op het eerste zicht lijkt dit ideaal voor de professional: zowat elke cliënt die hij ooit zal zien, met 'angst om te eten', was opgenomen in dat ene onderzoek. Maar, de resultaten bleken echter nietszeggend te zijn. Dus daar kan hij ook niets mee doen.

Het ideale was natuurlijk geweest dat bij al die patiënten therapie T werkt! Dan moest hij maar 1 parameter navragen: 'heb je angst om te eten?' en hij weet wat hij dient te doen.

Dit ideale resultaat (1 groep kunnen aflijnen waarvoor je kan zeggen: die therapie T helpt steeds), kan je in theorie ook bereiken. Daarvoor dienen oa. die DSM criteria. Die zouden idealiter een groep kunnen aflijnen, waarvan je weet dat die therapie T hen helpt. Of eventueel voor een bepaalde subgroep van de AN-groep, die je er makkelijk kan uithalen.

MAAR: dit is hoe het ideaal zou kunnen zijn. Die DSM criteria werken al behoorlijk, maar ze zijn zeker voor verfijning vatbaar.

Bovendien moet je weten dat ook bepaalde therapieën weinig specifiek zijn. Met andere woorden: ze werken behoorlijk goed voor zowel cliënten met Boulemie, als voor cliënten met een depressie, als voor cliënten met angstproblemen,... Die therapieën zijn eerder gericht op persoonsverandering (persoonsgericht) en niet op de specifieke symptomen (symptoomgericht). Dus daar zal je met 'vooraf meten' maar weinig meerwaarde bereiken.

Ook dit is een beetje zwart-wit gesteld. In de zin dat die 2 soorten therapieën niet steeds allemaal zo'n mooie resultaten zullen geven. Maar feit is wél dat beide therapie-klassen wel degelijk kunnen zorgen voor verbetering van een cliënt.

Als dat zo is, dan lijkt het me dat het probleem te complex is. Dit kan je volgens mij alleen oplossen door zowel de onderzoekers als de veldwerkers meer en beter te laten meten.

Ja en neen dus, het gaat erom om een evenwicht te vinden tussen die ext. validiteit & de constructvaliditeit. Meten om zomaar te meten (terwijl het niets uitmaakt voor de therapie, want die helpt bijvoorbeeld toch in die subcategorie van 85% - 60% gewicht), geeft geen meerwaarde.

Het probleem met het 2e geval lijkt me dat een veldwerker-psycholoog niet meer kan zeggen dan: "Als je depressief bent, dan ben je af en toe somber, en af en toe moe". (Ik vergelijk het met de uitspraak: Mensen met Anorexia hebben een laag gewicht). Dit lijkt me niet echt werkbaar. Het zou wel zo kunnen zijn dat sommige mensen er baat bij hebben om dit soort dingen te horen. Dat dient natuurlijk ook onderzocht te worden.

Ik weet niet goed wat je hiermee bedoelt, maar misschien is het duidelijk aan de hand van het opgegeven voorbeeld?

Het 1e geval lijkt me echt beter, en werkbaarder. Alleen, je kunt dan waarschijnlijk niet zoveel mensen per dag helpen.

Beide zijn even (on)werkbaar in hun extremen. Dus, dat evenwicht ertussen, is van belang. En het gaat er niet om dat je dan minder mensen per dag kan zien, wél dat je niet wéét wat je hen moet aanbieden als therapie. Omdat de groep waartoe jouw patiënt zou behoren, nooit is onderzocht op die therapie T.

Nogmaals, het zijn heel extreme voorbeelden, tot in het belachelijke doorgetrokken bijna. Maar ze helpen misschien om een beeld te krijgen over de problematiek.

Bovendien moet je 1 heel belangrijk feit in je achterhoofd houden: voor die professional is maar 1 iets van belang: kan therapie T hier helpen, ja of neen (of moet ik een andere therapie geven)...

't Is een hele redenering geweest. Misschien zitten er hier en daar denkfouten in, dus als dat zo is, zeg het gerust.

Dido

Dido

Misschien er nog aan toevoegen dat het soms belangrijk is om vooral een goede constructvaliditeit te hebben, en soms belangrijker om een goede externe validiteit te hebben.

Het ideale zou ook zijn dat je zowel de constructvaliditeit én de externe validiteit én de interne validiteit hoog kan hebben, maar dit is vaak niet mogelijk.

Verder wil ik ook nog kwijt dat ik mezelf niet als een crack beschouw in die materie. Daarvoor dien ik eerst nog wat cursussen af te ronden...

Dido

enrico

Hoi Dido,

Dank voor het antwoord, I'll think about it. Nu ben ik echter aan het werk, dus dat wordt later

Vr. Gr. Enrico

Wetenschapsforum

Laatste berichten

Nieuwsberichten

Hoe moet je meten?

Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?

Re: Hoe moet je meten?