Hogere Standaarddeviatie lagere significantie?

Moderators: dirkwb, Xilvo

Reageer
Berichten: 1

Hogere Standaarddeviatie lagere significantie?

Met een online onderzoek heb data verzameld van 700 deelnemers. Hierbij heb ik de reactie tijden getest tussen twee verschillende interfaces.

De deelnemers zijn onderverdeeld in verschillende categorieën met elk verschillende sample groten. (121, 141, 78, 265, 96)

Nu heb ik met behulp van SPSS een Mann-Whitney U test erop los gelaten. Bij alle categorieën zijn de reactie tijden 2x zo snel met de experimentele interface tegenover de controle groep. Nu zijn alle standaarddeviaties hoger dan de Mean van de reactie tijden, wat dus betekend dat de data redelijk verspreid van de Mean ligt.

Als ik alle categorieën samen test dan levert de U test een significant verschil op tussen experimenteel en controle groep. Wanneer ik de categorieën individueel test dan komt er alleen bij de 2 grootste categorieën een significant verschil uit. Terwijl de verschillen in de Mean bij elke categorie ongeveer het zelfde is, lijkt erop dat alleen de 2 grootste categorieën qua samples significantie kan aantonen door dus de hoeveelheid samples.

Klopt het als ik zeg dat door een hoge standaard deviatie er meer samples nodig zijn om significantie te bewijzen? En daarmee: Als de andere categorieën ook net zo veel samples hadden 'misschien' ook wel significant geweest hadden kunnen zijn? En ook: Als ik het experiment beter had opgesteld wat tot een kleinere data spreiding zou leiden. ik dan sneller significantie zou hebben met de zelfde Mean's?

Gebruikersavatar
Berichten: 467

Re: Hogere Standaarddeviatie lagere significantie?

Allereerst: Je hebt het over een non-parametrische Mann-Whitney U test, maar tegelijkertijd praat je over means en SDs. Als je data niet normaal verdeeld is (waar ik vanuit ga, gezien je de MWU gebruikt), kun je beter naar de median en de IQR kijken.

Heb je de frequentie-verdelingen van de verschillende groepen al eens bekeken? Zijn er outliers? Dat zou je eens kunnen checken.

Een grotere sample size geeft je inderdaad meer power en dus een grotere kans dat je een significant effect vind.

Reageer