'unpublished results hide the decline effect'

Moderator: Astro

Reageer
Gebruikersavatar
Berichten: 1.820

'unpublished results hide the decline effect'

Een 2-tal dagen geleden verscheen in het tijdschrift 'Nature' een column die ingaat op een ernstig probleem waar wetenschappelijk onderzoek mee te kampen heeft. Ik herken het zeker in de psychologie en vermoedelijk hebben nog veel andere domeinen ermee te maken: het (sterk) dalende effect van onderzoeksresultaten in de tijd...


Neuroskeptic beschreef dit effect als volgt:

Afbeelding


Het komt erop neer dat vele wetenschappelijke bevindingen eerst iets groots lijken aan te tonen, maar dat het effect meer en meer afneemt en uiteindelijk in het niets verdwijnt, naarmate er meer en meer replicaties (= herhalingen) van de studie zijn.


Eén van de belangrijkste redenen is, dat er zoveel verschillende manieren zijn om de data statistisch te analyseren. Daardoor is het makkelijk om steeds weer opnieuw een andere stat. methode uit te proberen totdat je eindelijk eens een positief resultaat vindt dat je dan kan publiceren. Zonder daar dan natuurlijk bij te schrijven in het artikel dat jouw originele stat. toetsen allemaal een negatief resultaat gaven.

Daarbij doet er zich dan nog vaak een positieve publicatiebias voor (= enkel de studies waar de beste positieve effecten werden bekomen, (mogen) worden gepubliceerd, de andere studies die aantonen dat dit effect er niet is, worden niet gepubliceerd).

Zodanig dat je dan uiteindelijk (over alle studies heen) wel een positief resultaat krijgt, maar dan één dat vooral bestaat uit random noise (= resultaat dat enkel gebaseerd is op toevalligheden ed. maar niet op een werkelijk effect van datgene wat je onderzoekt)
The problem is that there are so many ways to statistically analyze any given body of data that it's easy to test and retest it until you find a "positive result" - and then publish that, without saying (or only saying in the small print) that your original tests all came out negative. Combine this with selective publication of only the best data, and other scientific sins, and you can pull positive results out the hat of mere random noise.

Er worden verschillende oplossingen voorgesteld, ook in het Nature artikel:

- de ruwe data publiceren ipv. het eindproduct van de stat. analyses.

- of een andere oplossing die wel vaker genoemd wordt: iedereen die een klinische trial uitvoert, zou voordien moeten registreren wat hij plant te doen en vooral, welke stat. toetsen hij er op los wil laten (net zoals dit nu al gebeurt bij klinische trials voor medicatie en de VS).

Een klinische trial houdt kort gesteld, het volgende in:
Een klinische trial is een wetenschappelijke methode om vast te stellen of een behandeling werkt. Een zo groot mogelijke groep deelnemers met een bepaalde ziekte ondergaat de behandeling, terwijl een tweede groep met dezelfde ziekte een andere behandeling krijgt, of zelfs een onschuldige nepbehandeling (placebo). Door het ziekteverloop in beide groepen te vergelijken, kan een onderzoeker uitspraken doen over de werkzaamheid van de behandeling. ...
...In the Nature article, Jonathan Schooler discusses this and suggests that an open-access repository of findings (meaning raw data rather than the end product of analyses) would be A Good Thing. I agree. However, he seems to think that if we did this, we might still observe the "Decline Effect", and would be able to find out more about it. He even seems to suggest that some kind of weird quantum effect might mean that scientists are actually changing the laws of reality by observing them.

... On my view a raw result repository would not explain the decline effect, but just make it disappear.

... he does cite the fact that we already have a pretty good one for clinical trials of medicines conducted in the USA. Anyone running a clinical trial is required to register it in advance, saying what they're planning to do and crucially, to spell out which statistics they are going to run on the data when it arrives. ...
uit: Neuroskeptic: The Decline And Fall of Effects In Science

en: Schooler, J. (2011). Unpublished results hide the decline effect Nature, 470 (7335), 437-437


Dido
Ik ben niet jong genoeg om alles te weten...
-Oscar Wilde-

Gebruikersavatar
Berichten: 5.609

Re: 'unpublished results hide the decline effect'

Een 2-tal dagen geleden verscheen in het tijdschrift 'Nature' een column die ingaat op een ernstig probleem waar wetenschappelijk onderzoek mee te kampen heeft. Ik herken het zeker in de psychologie en vermoedelijk hebben nog veel andere domeinen ermee te maken: het (sterk) dalende effect van onderzoeksresultaten in de tijd...
Mja, het is iets wat al heel lang geroepen wordt, maar waar ik bij sommige wetenschappen weinig verandering in zie komen... In machine learning, wat basically het automatisch statistisch verwerken is van data, is het al heel lang geweten dat als je tools krachtiger worden en je meer verbanden gaat onderzoeken, je meer verbanden vindt die er helemaal niet zijn, behalve in jouw data. In veel vakgroepen is men zich daar al gelukkig tegen gaan afzetten, zoals met de boterprijs in Bangladesh in de economie. Uit meer data komt meer informatie enkel als je naar evenveel informatie zoekt als in je oorspronkelijke dataset.


Ook op dit forum kun je regelmatig het gruwelijke misbruik van statistiektools zien, mensen die het gebruiken maar geen flauw idee hebben waar het om gaat en wat je er mee mag doen. Crossvalidation heb ik daar nog niet veel zien langs komen. Ik vraag me soms af wat het nut eigenlijk is van het aanleren hoe je met die tools moet werken, als er nauwelijk begrip is van hoe de tools werken.
What it all comes down to, is that I haven't got it all figured out just yet

And I've got one hand in my pocket and the other one is giving the peace sign

-Alanis Morisette-

Gebruikersavatar
Berichten: 5.609

Re: 'unpublished results hide the decline effect'

Voila, het probleem van misbruik van statistiek, duidelijk uitgelegd.


DIT zouden ze eens verplicht moeten geven bij de menswetenschappen:


Afbeelding
What it all comes down to, is that I haven't got it all figured out just yet

And I've got one hand in my pocket and the other one is giving the peace sign

-Alanis Morisette-

Gebruikersavatar
Berichten: 9.240

Re: 'unpublished results hide the decline effect'

die xkcd is inderdaad goed raak. Ook een goed boek hierover is Bad Science, volgens mij alleen in het engels te verkrijgen.

http://www.bol.com/nl/p/engelse-boeken/bad...9824/index.html

Reageer