Springen naar inhoud

- - - - -

Veel psychologisch onderzoek deugt niet


  • Log in om te kunnen reageren

#1

Miels

    Miels


  • >5k berichten
  • 14506 berichten
  • Beheer

Geplaatst op 30 september 2009 - 16:36

Veel psychologische onderzoekers in Nederland beheersen de elementaire statistiek niet.

Daardoor maken zij ernstige statistische fouten in hun onderzoek, op grond waarvan ze uitspraken over de uitkomsten doen die stelliger zijn dan ze kunnen waarmaken.

(...)
Volgens Hoekstra bevat vrijwel elk gepubliceerd wetenschappelijk psychologisch artikel fouten.

Bron: http://www.nu.nl/wet...deugt-niet.html

Never be afraid to try something new. Remember, amateurs built the ark. Professionals built the Titanic


Dit forum kan gratis blijven vanwege banners als deze. Door te registeren zal de onderstaande banner overigens verdwijnen.

#2

Dido

    Dido


  • >1k berichten
  • 1814 berichten
  • Moderator

Geplaatst op 30 september 2009 - 17:14

'Ze zijn zeer gericht op het zo goed mogelijk presenteren van hun eigen onderzoek. Ze zijn geneigd redelijk zwart-wit te denken en dinger stelliger te beweren dan ze feitelijk kunnen waarmaken.''
Hij vindt daarom dat docenten ook genuanceerder moeten zijn. ''Studenten zijn slim genoeg om te begrijpen dat de waarheid niet zwart-wit is.''

Het zwart-wit stellen, herken ik wel. En daar hoort natuurlijk ook het verheerlijken van bepaalde onderzoeksresultaten bij.

Ik heb het onlangs aangehaald in een andere post, maar het blijft me verbazen hoe bijvoorbeeld psycholgen ťn psychologie-studenten worden misleid over een ziekte zoals depressie. Deze laatste wordt voorgesteld als een stoornis die heel goed te behandelen is met cognitieve gedragstherapie (CGT). Dit past enerzijds in het verheerlijken dat hedentendage een must is als het gaat over CGT, terwijl uit vele onderzoeken blijkt dat CGT het niet beter doet dan vele andere therapievormen. En anderzijds worden de onderzoeksresultaten, waaruit blijkt dat een depressieve stoornis, ook als die behandeld wordt met CGT en antidepressiva, heel vaak recidiveert, gewoon genegeerd. Ook het gegeven dat mensen vaak restsymptomen blijven behouden, wordt gewoonweg 'vergeten'.
Toch lees je nog heel vaak dat een depressieve stoornis met zo'n 15 ŗ 20 sessies CGT goed te behandelen is... :eusa_whistle:
Ben ik dan een uitzondering die vindt dat die resultaten verre van goed zijn, als mensen binnen de 2 jaar vaak recidiveren? Zo zou men, na 3 episodes meer dan 50% kans hebben om binnen de 2 jaar te hervallen (je moet er heel erg naar zoeken, maar de literatuur spreekt van een recidiefpercentage van +/- 70% binnen de 2 jaar in dat geval)...

De andere therapievormen, die vaak langer duren, worden mede daardoor stiefmoederlijk benaderd, want CGT 'geneest' immers depressie in 15 sessies (al doen die cliŽnten het na 2 jaar blijkbaar niet meer beter dan niet-behandelde cliŽnten). ](*,) Dit terwijl de andere therapeutische strekkingen er vaak veel langer over doen, maar mogelijks betere resultaten halen op langere termijn! Tja, dan verkies ik toch die laatste, als inderdaad zou blijken dat ze langduriger resultaten zouden halen...
Een mooi voorbeeld dus van zwart-wit denken dat al wordt ingelepeld van bij het begin van de opleiding...

Of hoe onlangs een studie verscheen waaruit blijkt dat het paradepaardje van de CGT, de dialectische gedragstherapie, het bij complexere stoornissen (Borderline persoonlijkheidsstoornis) niet beter doet dan de gewone psychiatrische zorg (oa. gebaseerd op de hedentendage bijna taboe geworden psychodynamische principes)...
zie: A Randomized Trial of Dialectical Behavior Therapy Versus General Psychiatric Management for Borderline Personality Disorder

Anderzijds is het ook zo dat statistiek vooral van belang is voor een psycholoog die wetenschappelijk onderzoek doet. Vele psychologen hebben echter de statistiek vaak niet eens meer nodig eens ze in het werkveld zijn gestapt. De enige keer dat ze het mogelijks nog wat nodig hebben, is op het moment dat ze een wetenschappelijk artikel doornemen. Maar daarvoor hoef je de statistiek niet tot in detail te beheersen. Als men het natuurlijk essentieel blijft vinden dat psychologen worden opgeleid tot wetenschappelijke onderzoekers, dan dient men inderdaad het statistiekonderwijs te verbeteren.
Maar de meesten willen helemaal geen onderzoeker worden. Het zou dan zelfs jammer zijn dat men tijdens de opleiding nog meer statistiek zou gaan krijgen.

Wat mij betreft, zou men beter investeren in ietwat meer gesprekstechnische vakken, aangezien dit vaak wel belangrijk zal zijn voor de toekomstige job. Als men natuurlijk het onderwijs kan verbeteren, zonder dat het vak statistiek wordt uitgebreid, dan is dit wel verdedigbaar. Al heb ik nu eigenlijk al bedenkingen over het feit dat de statistiek zo'n grote portie inneemt van een psychologie opleiding, terwijl de meesten meer 'deugd' zouden beleven, zoals ik al aanhaalde, aan wat mťťr vakken rond gesprekstechnieken & omgaan met cliŽnten.

Dido

Veranderd door Dido, 30 september 2009 - 17:24

Ik ben niet jong genoeg om alles te weten...
-Oscar Wilde-

#3

anusthesist

    anusthesist


  • >5k berichten
  • 5819 berichten
  • Ervaren gebruiker

Geplaatst op 30 september 2009 - 18:25

Fouten maken is ťťn ding, maar ik weet zeker dat er ook gesjoemeld wordt met de statistiek om resultaten beter te presenteren. Een normale verdelinkje ipv een scheve verdeling hier, een absolute risicoreductie ipv een relatieve risicoreductie daar. De normaalste zaak van de wereld volgens mij...
That which can be asserted without evidence can be dismissed without evidence.

#4

Vladimir Lenin

    Vladimir Lenin


  • >250 berichten
  • 829 berichten
  • Ervaren gebruiker

Geplaatst op 30 september 2009 - 18:58

Lijkt mij ook, het beste verkochte boek in de Statistiek blijkt immers nog altijd "how to lie with statistics" te zijn.
"Als je niet leeft zoals je denkt, zul je snel gaan denken zoals je leeft."
--Vladimir Lenin-- (Владимир Ильич Ульянов)

#5

Dido

    Dido


  • >1k berichten
  • 1814 berichten
  • Moderator

Geplaatst op 30 september 2009 - 19:56

Fouten maken is ťťn ding, maar ik weet zeker dat er ook gesjoemeld wordt met de statistiek om resultaten beter te presenteren. Een normale verdelinkje ipv een scheve verdeling hier, een absolute risicoreductie ipv een relatieve risicoreductie daar. De normaalste zaak van de wereld volgens mij...

Vermoedelijk heb je wel gelijk...
Ik las een tijdje geleden een studie van Luborsky & Diguer (1999) waaruit bleek dat er een hoge correlatie bestaat tussen de mate van verschil in therapieverbondenheid & de uitkomst van de studie over de effectiviteit van de therapie in vergelijking met andere therapieŽn. Het zou gaan om een correlatie van 0.85 en dat zou neerkomen op 69% van de variantie in de resultaten.

This report examines a possible distortion in the results of comparative treatment studies due to the association of the researcher's treatment allegiances with outcomes of those treatments. In eight past reviews a trend appeared for significant associations between the researcher's allegiance and outcomes of treatments compared. In a new review of 29 studies of treatment comparisons, a similar trend appeared. Allegiance ratings were based not only on the usual reprint method, but also on two new methods: ratings by colleagues who knew the researcher well, and self-ratings by the researchers themselves. The two new allegiance methods Interco related only moderately, but each allegiance measure correlated significantly with outcomes of the treatments compared, and when combined, the three measures explained 69% of the variance in outcomes Such an association can distort comparative treatment results. Our report concludes with how the researcher's allegiance may become associated with treatment outcomes and how studies should deal with these associations.

uit: The Researcher's Own Therapy Allegiances: A "Wild Card" in Comparisons of Treatment Efficacy

Elliot bekwam, na onderzoek van 74 studies, tot een correlatie van 0.59 tussen de onderzoeksresultaten & de therapeutische strekking van de hoofdonderzoeker. Na correctie daarvoor bekwam hij een verschil in effectgrootte tussen de verschillende therapievormen van een verwaarloosbare -0.09 tot +0.01.
'Het Dodo Bird' effect blijkt nog steeds veel meer te gelden dan sommigen willen geloven...

Men spreekt van een bias in het interpreteren van de onderzoeksresultaten. Maar de vraag is, zoals Anusthesist terecht stelt, in hoeverre het hier nog om een bias gaat en niet om een bewust rooskleuriger stellen van de eigen onderzoeksresultaten...

Dido

Veranderd door Dido, 30 september 2009 - 19:58

Ik ben niet jong genoeg om alles te weten...
-Oscar Wilde-

#6

Miels

    Miels


  • >5k berichten
  • 14506 berichten
  • Beheer

Geplaatst op 30 september 2009 - 22:23

Maar de vraag is, zoals Anusthesist terecht stelt, in hoeverre het hier nog om een bias gaat en niet om een bewust rooskleuriger stellen van de eigen onderzoeksresultaten...

Soms heb ik het gevoel dat het niet zozeer gaat om het rooskleuriger maken van iets, maar om publiciteit te genereren of dat het simpelweg (eventueel onderbewust) meegaan in de sensatiebelustheid van veel media is.

Zo had ik het pas met wat mensen over dit artikel: Corrigerende tik maakt kinderen minder intelligent. Dit lijkt mij overigens een geval dat media een bericht van een onderzoeker gekleurd hebben gereproduceerd. Dat blijkt alleen al uit de vertaling van de titel:

Corrigerende tik maakt kinderen minder intelligent

Terwijl de originele titel als volgt is:

Children Who Get Spanked Have Lower IQs
De Nederlandse versie suggereert duidelijk een causaal verband, waar de oorspronkelijke titel slechts een correlatie aangeeft. Sterker nog, in de Engelse tekst valt dit te lezen:

One might ask, however, whether children who are spanked tend to come from backgrounds in which education opportunities are less or inherited intelligence lower.

Een passage die voor het gemak in de Nederlandse versie niet voorkomt.

Maar goed, ik dwaal af. Wat ik wil zeggen is dat naar ik vermoed niet alleen journalisten de neiging hebben om (resultaten van) onderzoeken op een dergelijke sensatiebeluste manier uit te drukken.

Never be afraid to try something new. Remember, amateurs built the ark. Professionals built the Titanic


#7

Benm

    Benm


  • >5k berichten
  • 8792 berichten
  • VIP

Geplaatst op 01 oktober 2009 - 11:18

Anderzijds is het ook zo dat statistiek vooral van belang is voor een psycholoog die wetenschappelijk onderzoek doet. Vele psychologen hebben echter de statistiek vaak niet eens meer nodig eens ze in het werkveld zijn gestapt. De enige keer dat ze het mogelijks nog wat nodig hebben, is op het moment dat ze een wetenschappelijk artikel doornemen. Maar daarvoor hoef je de statistiek niet tot in detail te beheersen.


Op zich heb je daarin gelijk, mits het peer-review proces van publicaties in de psychologie wel nauwkeurig omgaat met statistiek en conclusies obv gevonden data. Zolang dat het geval is kun je al lezer aannemen dat de gevonden resultaten kloppen, maar OF dit het geval is durf ik niet zo 123 te zeggen.
Victory through technology

#8

DePurpereWolf

    DePurpereWolf


  • >5k berichten
  • 9240 berichten
  • VIP

Geplaatst op 04 oktober 2009 - 22:02

Met psychologische onderzoeken word natuurlijk gedoeld op onderzoeken die gepubliceert worden in peer-reviewed publicaties.

Ik ben dus ook stellig dat dit komt door een slechte peer-review proces, deze zouden namelijk slechte raporten eruit moeten filteren. In de natuurkunde kun je niet met slechte statistiek aan komen zetten, die sturen ze meteen terug. Ze zouden bij de psychologie ook wat strenger moeten zijn. Je publiceert wat minder, maar het komt het vak ten goede aan integriteit.





0 gebruiker(s) lezen dit onderwerp

0 leden, 0 bezoekers, 0 anonieme gebruikers

Ook adverteren op onze website? Lees hier meer!

Gesponsorde vacatures

Vacatures