Veel rotte appels in de mand

Moderator: Rhiannon

Gebruikersavatar
Berichten: 185

Veel rotte appels in de mand

Wetenschappelijk wangedrag minder uitzonderlijk dan u dacht

Lees het volledige artikel...
Bron: Chemisch2weekblad. www.c2w.nl

Gebruikersavatar
Berichten: 9.240

Re: Veel rotte appels in de mand

Gepleit wordt dan ook voor een operatie om de ‘research integrity’ in de VS te repareren. Er zou een cultuurmoeten ontstaan die klokkenluiders beschermt, met ‘zero tolerance’ voor zowel fraudeurs als voor getuigen die de andere kant op kijken.

In hetzelfde nummer weet Nature overigens te melden dat er weer eentje is gepakt. Het Ottawa Health Research Institute in Canada heeft postdoc Kristin Roovers geschorst omdat ze ooit 19 ‘Western blots’ in elkaar heeft gefotoshopt. Twee van haar publicaties zijn al ingetrokken.
Bij de exacte wetenschappen is alles controleerbaar met formules en kan een test (meestal) gedupliceert worden.

Bij de minder exacte wetenschappen zoals gezondheidsstudies waarbij bijvoorbeeld metingen van vele proefpersonen worden samengesteld is de formule vaak niet te achter halen (omdat de dataset niet verkrijgbaar is) en kan je de test ook niet opnieuw uitvoeren.

Neem dus maar aan dat dit in dit gebied veel vaker voor komt.

Denk ook niet dat dit alleen in de USA voor komt, in Europa kunnen ze er ook wat van, resultaten uit hun duim zuigen.

Berichten: 7.068

Re: Veel rotte appels in de mand

Misschien valt dit paper wel in die 9%... :D
Bij de minder exacte wetenschappen zoals gezondheidsstudies waarbij bijvoorbeeld metingen van vele proefpersonen worden samengesteld is de formule vaak niet te achter halen (omdat de dataset niet verkrijgbaar is) en kan je de test ook niet opnieuw uitvoeren.
Que? Ook dat onderzoek is prima te herhalen en ook daarbij moet gelden dat het resultaat statistisch gezien hetzelfde moet zijn.

Gebruikersavatar
Berichten: 9.240

Re: Veel rotte appels in de mand

Stel, je neemt 2000 mensen, legt ze een vragenlijst voor over hun eetgedrag waaruit je dan concludeert dat die mensen te veel koolhydraten eten.

Je kunt vaak niet die mensen de vraag weer stellen, gewoon, omdat je niet in de buurt woont, niet hetzelfde adres, hebben geen zin om het een tweede keer in te vullen.

En ook al kan je dat, hoef het resultaat niet het zelfde te zijn, mensen kunnen hun eetpatroon hebben verandert, verhuist. etc. etc.

Een vragenlijst van 2000 mensen bestaande uit 20 vragen is een vrij groot bestand. Mensen vragen dat data bestand niet op, dus het is makkelijk om van 4%, 5% te maken, ook al kunnen mensen het data bestand opvragen, is het makkelijk om even manueel wat data te veranderen. Niemand kan er achter komen

Berichten: 7.068

Re: Veel rotte appels in de mand

Je kunt vaak niet die mensen de vraag weer stellen, gewoon, omdat je niet in de buurt woont, niet hetzelfde adres, hebben geen zin om het een tweede keer in te vullen.
Of ze geen Large Hadron Collider hebben... er even vanuitgaande dat de resultaten worden gebruikt om algemene uitspraken te doen i.p.v. over een specifieke groep, is dit argument volledig irrelevant. Je hebt dan gewoon een andere groep mensen nodig en die groep kun je wel vinden.
En ook al kan je dat, hoef het resultaat niet het zelfde te zijn, mensen kunnen hun eetpatroon hebben verandert, verhuist. etc. etc.
Nou en? Dan leg je de twee datasets naast elkaar en dan zie je dat ze niet hetzelfde zijn. Als dit invloed heeft op je uiteindelijke conclusie dan was of de eerdere conclusie niet goed of heeft er iemand met de data lopen klooien. Niet anders dan bij het controleren van 'exacte wetenschap' dus.
Een vragenlijst van 2000 mensen bestaande uit 20 vragen is een vrij groot bestand. Mensen vragen dat data bestand niet op, dus het is makkelijk om van 4%, 5% te maken, ook al kunnen mensen het data bestand opvragen, is het makkelijk om even manueel wat data te veranderen. Niemand kan er achter komen
Maar dit geldt voor alle data.

Gebruikersavatar
Berichten: 9.240

Re: Veel rotte appels in de mand

onderzoek aan de lhc kun je in grootte niet vergelijken met een voedselstudie in nederoverheembeeksebommerkonten en verder kan iedereen met een beurs tijd krijgen op de lhc, of dacht jij dat alleen mensen van cern daarmee mogen spelen.

Ook al vergelijk je de twee datasets, en komen ze niet overeen, is dat geen bewijs dat de ene gelogen heeft Daarom zijn er veel sociologische studies die hetzelfde doen, maar in een andere plaats, of iets dergelijks. Im de natuurkunde is het moeilijk fondsen te krijgen voor iets dat meer dan twee keer is gedaan.

Berichten: 7.068

Re: Veel rotte appels in de mand

... en verder kan iedereen met een beurs tijd krijgen op de lhc
En iedereen met een voldoende grote beurs kan een gedegen onderzoek laten doen...
Im de natuurkunde is het moeilijk fondsen te krijgen voor iets dat meer dan twee keer is gedaan.
Dus dan zeg je dus eigenlijk dat iets in de exacte wetenschap moeilijker te controleren is dan in 'minder exacte wetenschap' aangezien je geen geld krijgt om het te controleren? :D

Je bent overigens nu iets anders aan het verdedigen dan de uitspraak waar ik over viel. Je beweerde dat onderzoek van 'minder exacte wetenschappen' niet herhaalbaar is. Je hebt inmiddels zelf al aangedragen dat het onderzoek wel herhaalbaar is (sterker nog: dat er zelfs eerder geld beschikbaar wordt gesteld om dit onderzoek te herhalen).

Gebruikersavatar
Berichten: 9.240

Re: Veel rotte appels in de mand

Ik zal duidelijker moeten zijn zie ik.

Het onderzoek van exacte wetenschappen moet twee keer hetzelfde opleveren, als dat niet het geval is, zal er inderdaad snel geld voor een derde proef mogelijk zijn. Maar er is geen geld voor een proef vaker uit te voeren als al meerdere keren de theorie is aangetoond. We hoeven niet meer de Michelson Morely proef uit te voeren, of het dubbel spleet experiment.

Bij niet-exacte wetenschappen kan een proef vele malen worden herhaalt, maar hoef het niet altijd hetzelfde resultaat op te leveren, daarom zal er ook wel fondsen voor zijn om het te herhalen. Als we nu een studie doen over griep-patronen in Nederland, dan kan dat over 5 jaar weer herhaald worden, of het zelfde jaar al, om te kijken of er geen variabelen in zijn gekropen die niet voor zien waren.

Een nieuw onderzoek in niet-exacte wetenschappen is herhaalbaar, maar de uitkomst hoeft niet hetzelfde te zijn.

Het is dus moeilijk te toetsen of de studie goed is uitgevoerd.

Berichten: 7.068

Re: Veel rotte appels in de mand

Ik zal duidelijker moeten zijn zie ik.
Je bent wat mij betreft duidelijk genoeg. Je hebt het mijn inziens alleen mis.
Het onderzoek van exacte wetenschappen moet twee keer hetzelfde opleveren, als dat niet het geval is, zal er inderdaad snel geld voor een derde proef mogelijk zijn.p
Idem 'minder exact'.
Als we nu een studie doen over griep-patronen in Nederland, dan kan dat over 5 jaar weer herhaald worden, of het zelfde jaar al, om te kijken of er geen variabelen in zijn gekropen die niet voor zien waren.
Idem bij exact onderzoek waarbij specifieke zaken getest worden.


Een nieuw onderzoek in niet-exacte wetenschappen is herhaalbaar, maar de uitkomst hoeft niet hetzelfde te zijn.
Dit klopt niet. De uitkomst moet wel hetzelfde zijn als de uitkomst iets algemeens zegt. Net zoals bij exacte wetenschappen.


Het is dus moeilijk te toetsen of de studie goed is uitgevoerd.
Je kunt niet naar het resultaat kijken om te kijken of de studie goed is uitgevoerd. Je zal naar de onderzoeksopzet moeten kijken.

Gebruikersavatar
Berichten: 9.240

Re: Veel rotte appels in de mand

Je bent wat mij betreft duidelijk genoeg. Je hebt het mijn inziens alleen mis.
Als ik duidelijk genoeg was zou je niet zeggen dat ik het mis heb.
Idem 'minder exact'.
Dat begrijp ik niet, een rapport van een van de exacte wetenschappen hoeft maar enkele malen uit worden gevoerd om als waar te worden aangenomen. Terwijl in de niet-exacte wetenschappen een rapport veel vaker moet worden herhaald, waarbij een tenovergestelde uitkomst van het ene rapport niet meteen betekend dat het andere rapport verkeerd was uitgevoerd. Je kunt dus geen 'algemene' uitspraak doen na 10 rapporten, omdat niet alle rapporten dezelfde uitkomst hebben.
Idem bij exact onderzoek waarbij specifieke zaken getest worden.
Al is er natuurlijk veel minder kans dat een vacuum kamer aan de ene kant van de wereld anders zou werken als een vacuum kamer aan de andere kant van de wereld. In exacte-wetenschappen kan (en moet) je er voor zorgen dat het een gesloten systeem is, bij niet-exacte wetenschappen is dat nu

eenmaal niet altijd mogelijk.
Dit klopt niet. De uitkomst moet wel hetzelfde zijn als de uitkomst iets algemeens zegt. Net zoals bij exacte wetenschappen.
Beweer je nu dus dat een onderzoek van niet-exacte wetenschappen voorspelbaar is? Statistiek is natuurlijk een handig gereedschap, maar het blijft statistiek. Ook al is dit waar wat je zegt, nog steeds kun je niet aantonen dat er gelogen is op een rapport dat niet conform de algemene uitkomst is.
Je kunt niet naar het resultaat kijken om te kijken of de studie goed is uitgevoerd. Je zal naar de onderzoeksopzet moeten kijken.
Ook al is de onderzoeksopzet correct kan er nog steeds met de data gesleuteld zijn, dit is niet te achterhalen. Je kunt de test opnieuw doen, en misschien komt er dan iets anders uit, maar je zal niet genoeg bewijs hebben om aan te tonen dat er gelogen is, of met het databestand geknoeit is.

Berichten: 7.068

Re: Veel rotte appels in de mand

Als ik duidelijk genoeg was zou je niet zeggen dat ik het mis heb.
Drogreden! Je sluit bij voorbaat uit dat je het mis kan hebben...
Dat begrijp ik niet, een rapport van een van de exacte wetenschappen hoeft maar enkele malen uit worden gevoerd om als waar te worden aangenomen. Terwijl in de niet-exacte wetenschappen een rapport veel vaker moet worden herhaald, waarbij een tenovergestelde uitkomst van het ene rapport niet meteen betekend dat het andere rapport verkeerd was uitgevoerd.
Het door jou gedetecteerde verschil is slechts een schijnverschil. Niet-exacte wetenschappen doen uitspraken over zeer complexe, moeilijk isoleerbare situaties. Het is daardoor vaak lastig om het geheel volledig te pakken in een onderzoek. Op het moment dat dit door de onderzoeksopzet wel lukt en dit onderzoek herhaald is, zul je weinig animo vinden om dit onderzoek nog tien keer te herhalen. Net zoals bij exacte wetenschappen dus...

Als twee ogenschijnlijk dezelfde niet-exacte onderzoeken niet hetzelfde aantonen, zal men in eerste instantie gaan kijken naar de gebruikte methoden en datasets om te zien waardoor de verschillen zijn veroorzaakt. Pas als er niet ontdekt kan worden wat er bij een van beide mis gaat, is er echt reden tot meer onderzoek. Net zoals bij exacte wetenschappen dus...
Je kunt dus geen 'algemene' uitspraak doen na 10 rapporten, omdat niet alle rapporten dezelfde uitkomst hebben.
Waarom zou dat noodzakelijk zijn? Als de onderzoeken hetzelfde algemene verschijnsel onderzoeken (dus niet 'henk houdt meer van blauw dan van roze', maar 'jongetjes houden meer van blauw dan van roze') dan verwacht ik een zekere spreiding in de resultaten, maar de algemene conclusie zou statistisch toch wel degelijk te trekken moeten zijn.
In exacte-wetenschappen kan (en moet) je er voor zorgen dat het een gesloten systeem is, bij niet-exacte wetenschappen is dat nu eenmaal niet altijd mogelijk.
Precies, maar dat wil dus niet zeggen dat het onderzoek dan niet herhaalbaar is. De wetenschappelijke methode maakt geen onderscheidt tussen exact en niet-exact, en die opsplitsing is dan ook een kunstmatige.
Beweer je nu dus dat een onderzoek van niet-exacte wetenschappen voorspelbaar is?
In zekere mate wel. Net zoals bij exacte wetenschap.
Statistiek is natuurlijk een handig gereedschap, maar het blijft statistiek.
Exacte wetenschap kan niet bestaan zonder statistiek. Dit geldt natuurlijk ook voor niet-exacte wetenschap. Alle uitspraken die de wetenschap doet zijn statistisch onderbouwt.
Ook al is dit waar wat je zegt, nog steeds kun je niet aantonen dat er gelogen is op een rapport dat niet conform de algemene uitkomst is.
Dat kun je nooit aantonen. Net zoals bij exacte wetenschap. Je kunt het alleen aannemelijk maken. Dit kan ook bij minder exacte wetenschappen.
Ook al is de onderzoeksopzet correct kan er nog steeds met de data gesleuteld zijn, dit is niet te achterhalen.
Idem exacte wetenschap.
Je kunt de test opnieuw doen, en misschien komt er dan iets anders uit, maar je zal niet genoeg bewijs hebben om aan te tonen dat er gelogen is, of met het databestand geknoeit is.
Idem exacte wetenschap.

Gebruikersavatar
Berichten: 9.240

Re: Veel rotte appels in de mand

Er is geen statistiek in het michelson morely experiment, men kan 10 proeven doen, en daar komt exact hetzelfde uit.

je kunt statistiek toepassen aan niet-exacte onderzoeken, maar dan nog steeds kan 1 van de 10 proeven een ander resultaat opleveren.

Je hebt aan de ene kant determinisma, en aan de andere kant statistiek. Die twee zijn niet hetzelfde.

Berichten: 7.068

Re: Veel rotte appels in de mand

Er is geen statistiek in het michelson morely experiment, men kan 10 proeven doen, en daar komt exact hetzelfde uit.
Metingen zonder statistiek? not possible... Ik zou over je 'exact hetzelfde' zeggen: doe maar eens twee keer een proef (belastinglijn bepalen of zo iets simpels). Als je twee keer exact hetzelfde krijgt dan is de kans groot dat je hebt valsgespeeld (want systeem- en meetruis).
je kunt statistiek toepassen aan niet-exacte onderzoeken, maar dan nog steeds kan 1 van de 10 proeven een ander resultaat opleveren.
Kan bij exacte wetenschap ook. Er kan heel veel. Als je echter je onderzoek goed opzet dan is de kans hierop erg klein. Zoals ik al eerder zei: de wetenschappelijke methode maakt geen onderscheid tussen exact en minder exact.

Gebruikersavatar
Berichten: 9.240

Re: Veel rotte appels in de mand

Er zijn genoeg metingen die je kunt doen zonder statistiek als je instrument geen fout heeft. Als je een volt meting doet, dan moet die tot de 6de cijfer nauwkeurig zijn, elke test moet precies hetzelfde opleveren, als dat niet is moet je je voltmeter weggooien en een nieuwe kopen. In exacte wetenschappen hebben we het over fouten van 3 sigma, (99.7% nauwkeurig) of zelfs 6 sigma (99.9999998%)

Dat is het hele verschil, een exacte-wetenschappen meet je een continue variabelen. 1 tot 10. In niet-exacte wetenschappen meet je discrete variabele: slecht, goed; ja, nee.

Het is makkelijk om van een ja een nee te maken, het is niet zo makkelijk om met geijkte apparaten (ISO-9001) onzin te meten. Als iemand met dezelfde opstelling totaal andere metingen maakt, dan moet de eerste inderdaad gaan panikeren, want of hij is enorm dom, of hij heeft vals gespeeld.

Als je de dataset aanpast in een gezondheidsstudie, kan niemand daar achter komen. Ook al zijn er 10 rapporten, 9 daarvan wijzen met 95% nauwkeurigheid nee aan, de eerste wijst ja aan, dan nog steeds is dat geen bewijs dat er is gesleuteld met de data.

De onnauwkeurigheid van een meting met een geijkt apparaat, wat in de 0.5% zit is vele malen beter dan een meting van een persoon. Daarom moet er ook een grote subset van mensen worden gemeten. Het is compleet andere statistiek. Als je 3000 mensen ondervraagd van een groep van 150.000 dan zit daar al inherent een fout aan die groter is dan elk fatsoenlijk instrument voor het doen van een meting.

Ik zeg niet dat de een beter is dan de ander, maar enkel dat de een minder exact is. En het makkelijker is om met de data te knoeien, want je kan er niet achter komen.

Berichten: 7.068

Re: Veel rotte appels in de mand

Er zijn genoeg metingen die je kunt doen zonder statistiek als je instrument geen fout heeft.
Maar die instrumenten bestaan dus niet...
Als je een volt meting doet, dan moet die tot de 6de cijfer nauwkeurig zijn, elke test moet precies hetzelfde opleveren, als dat niet is moet je je voltmeter weggooien en een nieuwe kopen.
Op elke (goede) voltmeter staat de nauwkeurigheid (of die staat in het bijgeleverde boekje). Dat is niet voor niks. En die 'moet tot het 6de cijfer nauwkeurig zijn' slaat niet echt ergens op. Dat hangt puur van de toepassing af of dat 'moet' (laat staan dat het ook nog zinnig is).
In exacte wetenschappen hebben we het over fouten van 3 sigma, (99.7% nauwkeurig) of zelfs 6 sigma (99.9999998%)
Ik geloof niet dat je helemaal snapt dat je met een exact geschoold iemand te maken hebt. Ik ben volledig op de hoogte van foutgrenzen. Dat is ook waarom ik ze aankaart en weet dat je niet zonder statistiek kan...
Dat is het hele verschil, een exacte-wetenschappen meet je een continue variabelen. 1 tot 10. In niet-exacte wetenschappen meet je discrete variabele: slecht, goed; ja, nee.
Zowel in exacte als minder exacte wetenschappen kun je continue danwel discrete variabelen verzinnen die je dan vervolgens gaat onderzoeken.
Het is makkelijk om van een ja een nee te maken, het is niet zo makkelijk om met geijkte apparaten (ISO-9001) onzin te meten.
En je denkt dat de geijktheid van een meetapparaat alle meet- en systeemruis doet verdwijnen?
Als je de dataset aanpast in een gezondheidsstudie, kan niemand daar achter komen.
Jawel, door het experiment te herhalen en daarmee aannemelijk te maken dat er iets mis is. Precies zoals je dat doet bij exacte wetenschap.
Als je 3000 mensen ondervraagd van een groep van 150.000 dan zit daar al inherent een fout aan die groter is dan elk fatsoenlijk instrument voor het doen van een meting.
Nou en? Dat zegt alleen iets over hoe specifiek je kan zijn in je uitspraken gebaseerd op een bepaald onderzoek. Dat zegt niks over de herhaalbaarheid van een onderzoek. Dat herhaalbaarheid aspect is hetgeen je ontkende, weet je nog?

Reageer