Veel psychologisch onderzoek deugt niet

Miels

Veel psychologische onderzoekers in Nederland beheersen de elementaire statistiek niet.

Daardoor maken zij ernstige statistische fouten in hun onderzoek, op grond waarvan ze uitspraken over de uitkomsten doen die stelliger zijn dan ze kunnen waarmaken.

(...)

Volgens Hoekstra bevat vrijwel elk gepubliceerd wetenschappelijk psychologisch artikel fouten.

Bron: http://www.nu.nl/wetenschap/2091586/veel-p...deugt-niet.html

Dido

'Ze zijn zeer gericht op het zo goed mogelijk presenteren van hun eigen onderzoek. Ze zijn geneigd redelijk zwart-wit te denken en dinger stelliger te beweren dan ze feitelijk kunnen waarmaken.''

Hij vindt daarom dat docenten ook genuanceerder moeten zijn. ''Studenten zijn slim genoeg om te begrijpen dat de waarheid niet zwart-wit is.''

Het zwart-wit stellen, herken ik wel. En daar hoort natuurlijk ook het verheerlijken van bepaalde onderzoeksresultaten bij.

Ik heb het onlangs aangehaald in een andere post, maar het blijft me verbazen hoe bijvoorbeeld psycholgen én psychologie-studenten worden misleid over een ziekte zoals depressie. Deze laatste wordt voorgesteld als een stoornis die heel goed te behandelen is met cognitieve gedragstherapie (CGT). Dit past enerzijds in het verheerlijken dat hedentendage een must is als het gaat over CGT, terwijl uit vele onderzoeken blijkt dat CGT het niet beter doet dan vele andere therapievormen. En anderzijds worden de onderzoeksresultaten, waaruit blijkt dat een depressieve stoornis, ook als die behandeld wordt met CGT en antidepressiva, heel vaak recidiveert, gewoon genegeerd. Ook het gegeven dat mensen vaak restsymptomen blijven behouden, wordt gewoonweg 'vergeten'.

Toch lees je nog heel vaak dat een depressieve stoornis met zo'n 15 à 20 sessies CGT goed te behandelen is... :eusa_whistle:

Ben ik dan een uitzondering die vindt dat die resultaten verre van goed zijn, als mensen binnen de 2 jaar vaak recidiveren? Zo zou men, na 3 episodes meer dan 50% kans hebben om binnen de 2 jaar te hervallen (je moet er heel erg naar zoeken, maar de literatuur spreekt van een recidiefpercentage van +/- 70% binnen de 2 jaar in dat geval)...

De andere therapievormen, die vaak langer duren, worden mede daardoor stiefmoederlijk benaderd, want CGT 'geneest' immers depressie in 15 sessies (al doen die cliënten het na 2 jaar blijkbaar niet meer beter dan niet-behandelde cliënten). ](*,) Dit terwijl de andere therapeutische strekkingen er vaak veel langer over doen, maar mogelijks betere resultaten halen op langere termijn! Tja, dan verkies ik toch die laatste, als inderdaad zou blijken dat ze langduriger resultaten zouden halen...

Een mooi voorbeeld dus van zwart-wit denken dat al wordt ingelepeld van bij het begin van de opleiding...

Of hoe onlangs een studie verscheen waaruit blijkt dat het paradepaardje van de CGT, de dialectische gedragstherapie, het bij complexere stoornissen (Borderline persoonlijkheidsstoornis) niet beter doet dan de gewone psychiatrische zorg (oa. gebaseerd op de hedentendage bijna taboe geworden psychodynamische principes)...

zie: A Randomized Trial of Dialectical Behavior Therapy Versus General Psychiatric Management for Borderline Personality Disorder

Anderzijds is het ook zo dat statistiek vooral van belang is voor een psycholoog die wetenschappelijk onderzoek doet. Vele psychologen hebben echter de statistiek vaak niet eens meer nodig eens ze in het werkveld zijn gestapt. De enige keer dat ze het mogelijks nog wat nodig hebben, is op het moment dat ze een wetenschappelijk artikel doornemen. Maar daarvoor hoef je de statistiek niet tot in detail te beheersen. Als men het natuurlijk essentieel blijft vinden dat psychologen worden opgeleid tot wetenschappelijke onderzoekers, dan dient men inderdaad het statistiekonderwijs te verbeteren.

Maar de meesten willen helemaal geen onderzoeker worden. Het zou dan zelfs jammer zijn dat men tijdens de opleiding nog meer statistiek zou gaan krijgen.

Wat mij betreft, zou men beter investeren in ietwat meer gesprekstechnische vakken, aangezien dit vaak wel belangrijk zal zijn voor de toekomstige job. Als men natuurlijk het onderwijs kan verbeteren, zonder dat het vak statistiek wordt uitgebreid, dan is dit wel verdedigbaar. Al heb ik nu eigenlijk al bedenkingen over het feit dat de statistiek zo'n grote portie inneemt van een psychologie opleiding, terwijl de meesten meer 'deugd' zouden beleven, zoals ik al aanhaalde, aan wat méér vakken rond gesprekstechnieken & omgaan met cliënten.

Dido

anusthesist

Fouten maken is één ding, maar ik weet zeker dat er ook gesjoemeld wordt met de statistiek om resultaten beter te presenteren. Een normale verdelinkje ipv een scheve verdeling hier, een absolute risicoreductie ipv een relatieve risicoreductie daar. De normaalste zaak van de wereld volgens mij...

Vladimir Lenin

Lijkt mij ook, het beste verkochte boek in de Statistiek blijkt immers nog altijd "how to lie with statistics" te zijn.

Dido

Fouten maken is één ding, maar ik weet zeker dat er ook gesjoemeld wordt met de statistiek om resultaten beter te presenteren. Een normale verdelinkje ipv een scheve verdeling hier, een absolute risicoreductie ipv een relatieve risicoreductie daar. De normaalste zaak van de wereld volgens mij...

Vermoedelijk heb je wel gelijk...

Ik las een tijdje geleden een studie van Luborsky & Diguer (1999) waaruit bleek dat er een hoge correlatie bestaat tussen de mate van verschil in therapieverbondenheid & de uitkomst van de studie over de effectiviteit van de therapie in vergelijking met andere therapieën. Het zou gaan om een correlatie van 0.85 en dat zou neerkomen op 69% van de variantie in de resultaten.

This report examines a possible distortion in the results of comparative treatment studies due to the association of the researcher's treatment allegiances with outcomes of those treatments. In eight past reviews a trend appeared for significant associations between the researcher's allegiance and outcomes of treatments compared. In a new review of 29 studies of treatment comparisons, a similar trend appeared. Allegiance ratings were based not only on the usual reprint method, but also on two new methods: ratings by colleagues who knew the researcher well, and self-ratings by the researchers themselves. The two new allegiance methods Interco related only moderately, but each allegiance measure correlated significantly with outcomes of the treatments compared, and when combined, the three measures explained 69% of the variance in outcomes Such an association can distort comparative treatment results. Our report concludes with how the researcher's allegiance may become associated with treatment outcomes and how studies should deal with these associations.

uit: The Researcher's Own Therapy Allegiances: A "Wild Card" in Comparisons of Treatment Efficacy

Elliot bekwam, na onderzoek van 74 studies, tot een correlatie van 0.59 tussen de onderzoeksresultaten & de therapeutische strekking van de hoofdonderzoeker. Na correctie daarvoor bekwam hij een verschil in effectgrootte tussen de verschillende therapievormen van een verwaarloosbare -0.09 tot +0.01.

'Het Dodo Bird' effect blijkt nog steeds veel meer te gelden dan sommigen willen geloven...

Men spreekt van een bias in het interpreteren van de onderzoeksresultaten. Maar de vraag is, zoals Anusthesist terecht stelt, in hoeverre het hier nog om een bias gaat en niet om een bewust rooskleuriger stellen van de eigen onderzoeksresultaten...

Dido

Miels

Maar de vraag is, zoals Anusthesist terecht stelt, in hoeverre het hier nog om een bias gaat en niet om een bewust rooskleuriger stellen van de eigen onderzoeksresultaten...

Soms heb ik het gevoel dat het niet zozeer gaat om het rooskleuriger maken van iets, maar om publiciteit te genereren of dat het simpelweg (eventueel onderbewust) meegaan in de sensatiebelustheid van veel media is.

Zo had ik het pas met wat mensen over dit artikel: Corrigerende tik maakt kinderen minder intelligent. Dit lijkt mij overigens een geval dat media een bericht van een onderzoeker gekleurd hebben gereproduceerd. Dat blijkt alleen al uit de vertaling van de titel:

Corrigerende tik maakt kinderen minder intelligent

Terwijl de originele titel als volgt is:

Children Who Get Spanked Have Lower IQs

De Nederlandse versie suggereert duidelijk een causaal verband, waar de oorspronkelijke titel slechts een correlatie aangeeft. Sterker nog, in de Engelse tekst valt dit te lezen:

One might ask, however, whether children who are spanked tend to come from backgrounds in which education opportunities are less or inherited intelligence lower.

Een passage die voor het gemak in de Nederlandse versie niet voorkomt.

Maar goed, ik dwaal af. Wat ik wil zeggen is dat naar ik vermoed niet alleen journalisten de neiging hebben om (resultaten van) onderzoeken op een dergelijke sensatiebeluste manier uit te drukken.

Benm

Anderzijds is het ook zo dat statistiek vooral van belang is voor een psycholoog die wetenschappelijk onderzoek doet. Vele psychologen hebben echter de statistiek vaak niet eens meer nodig eens ze in het werkveld zijn gestapt. De enige keer dat ze het mogelijks nog wat nodig hebben, is op het moment dat ze een wetenschappelijk artikel doornemen. Maar daarvoor hoef je de statistiek niet tot in detail te beheersen.

Op zich heb je daarin gelijk, mits het peer-review proces van publicaties in de psychologie wel nauwkeurig omgaat met statistiek en conclusies obv gevonden data. Zolang dat het geval is kun je al lezer aannemen dat de gevonden resultaten kloppen, maar OF dit het geval is durf ik niet zo 123 te zeggen.

DePurpereWolf

Met psychologische onderzoeken word natuurlijk gedoeld op onderzoeken die gepubliceert worden in peer-reviewed publicaties.

Ik ben dus ook stellig dat dit komt door een slechte peer-review proces, deze zouden namelijk slechte raporten eruit moeten filteren. In de natuurkunde kun je niet met slechte statistiek aan komen zetten, die sturen ze meteen terug. Ze zouden bij de psychologie ook wat strenger moeten zijn. Je publiceert wat minder, maar het komt het vak ten goede aan integriteit.

Wetenschapsforum

Laatste berichten

Nieuwsberichten

Veel psychologisch onderzoek deugt niet

Veel psychologisch onderzoek deugt niet

Re: Veel psychologisch onderzoek deugt niet

Re: Veel psychologisch onderzoek deugt niet

Re: Veel psychologisch onderzoek deugt niet

Re: Veel psychologisch onderzoek deugt niet

Re: Veel psychologisch onderzoek deugt niet

Re: Veel psychologisch onderzoek deugt niet

Re: Veel psychologisch onderzoek deugt niet