Neuroskeptic beschreef dit effect als volgt:
Het komt erop neer dat vele wetenschappelijke bevindingen eerst iets groots lijken aan te tonen, maar dat het effect meer en meer afneemt en uiteindelijk in het niets verdwijnt, naarmate er meer en meer replicaties (= herhalingen) van de studie zijn.
Eén van de belangrijkste redenen is, dat er zoveel verschillende manieren zijn om de data statistisch te analyseren. Daardoor is het makkelijk om steeds weer opnieuw een andere stat. methode uit te proberen totdat je eindelijk eens een positief resultaat vindt dat je dan kan publiceren. Zonder daar dan natuurlijk bij te schrijven in het artikel dat jouw originele stat. toetsen allemaal een negatief resultaat gaven.
Daarbij doet er zich dan nog vaak een positieve publicatiebias voor (= enkel de studies waar de beste positieve effecten werden bekomen, (mogen) worden gepubliceerd, de andere studies die aantonen dat dit effect er niet is, worden niet gepubliceerd).
Zodanig dat je dan uiteindelijk (over alle studies heen) wel een positief resultaat krijgt, maar dan één dat vooral bestaat uit random noise (= resultaat dat enkel gebaseerd is op toevalligheden ed. maar niet op een werkelijk effect van datgene wat je onderzoekt)
The problem is that there are so many ways to statistically analyze any given body of data that it's easy to test and retest it until you find a "positive result" - and then publish that, without saying (or only saying in the small print) that your original tests all came out negative. Combine this with selective publication of only the best data, and other scientific sins, and you can pull positive results out the hat of mere random noise.
Er worden verschillende oplossingen voorgesteld, ook in het Nature artikel:
- de ruwe data publiceren ipv. het eindproduct van de stat. analyses.
- of een andere oplossing die wel vaker genoemd wordt: iedereen die een klinische trial uitvoert, zou voordien moeten registreren wat hij plant te doen en vooral, welke stat. toetsen hij er op los wil laten (net zoals dit nu al gebeurt bij klinische trials voor medicatie en de VS).
Een klinische trial houdt kort gesteld, het volgende in:
Een klinische trial is een wetenschappelijke methode om vast te stellen of een behandeling werkt. Een zo groot mogelijke groep deelnemers met een bepaalde ziekte ondergaat de behandeling, terwijl een tweede groep met dezelfde ziekte een andere behandeling krijgt, of zelfs een onschuldige nepbehandeling (placebo). Door het ziekteverloop in beide groepen te vergelijken, kan een onderzoeker uitspraken doen over de werkzaamheid van de behandeling. ...
uit: Neuroskeptic: The Decline And Fall of Effects In Science...In the Nature article, Jonathan Schooler discusses this and suggests that an open-access repository of findings (meaning raw data rather than the end product of analyses) would be A Good Thing. I agree. However, he seems to think that if we did this, we might still observe the "Decline Effect", and would be able to find out more about it. He even seems to suggest that some kind of weird quantum effect might mean that scientists are actually changing the laws of reality by observing them.
... On my view a raw result repository would not explain the decline effect, but just make it disappear.
... he does cite the fact that we already have a pretty good one for clinical trials of medicines conducted in the USA. Anyone running a clinical trial is required to register it in advance, saying what they're planning to do and crucially, to spell out which statistics they are going to run on the data when it arrives. ...
en: Schooler, J. (2011). Unpublished results hide the decline effect Nature, 470 (7335), 437-437
Dido