Dataset met kleine sample size - Welke toetsen en missing value handling

Moderators: dirkwb, Xilvo

Reageer
Berichten: 5

Dataset met kleine sample size - Welke toetsen en missing value handling

Hallo allemaal,
 
 
Voor mijn scriptie dien ik statistische analyses uit te voeren.
Ik heb hiervoor een SPSS dataset met 14 cases - deelnemers aan het onderzoek.
Deze deelnemers hebben 4 gevalideerde vragenlijsten ingevuld. Deze vragenlijsten maken gebruik van Likert-scale items. Van deze vragenlijsten zijn totaalscores te berekenen en subscores van subscales die bepaalde onderwerpen middels bepaalde items uitlichten.
 
De deelnemers hebben de vragenlijsten voor- en na de interventie ingevuld, en het gaat mij om het verschil tussen de scores voor en na.
 
Nu loop ik hierbij tegen de volgende problemen aan....
 
1. Ik heb gelezen dat items met een Likert-scale beschouwd moeten worden als 'Ordinal variables', maar dat de totaal scores, en de scores voor de subschalen beschouwd kunnen worden als 'Scale'. De dataset die ik heb gekregen is echter al deel vooraf ingevuld, en nu zijn sommige subschalen (maar niet alle) gelabeld als 'Nominal'. Dit begrijp ik niet, want deze 'Nominal subscales' zijn ook gewoon de som van een aantal vragen. Deze zouden dan toch ook gelabeld moeten worden als 'Scale'?
 
2. Van een van de vragen mist een aantal data. 3 cases hebben deze vragenlijst in het geheel niet gemaakt (ik weet niet waarom), en van een aantal cases missen een aantal vragen. Nu weet ik inmiddels dat er een aantal manieren zijn om Missing Data te behandelen. Ik heb met mijn scriptiebegeleider afgesproken dat we de 3 cases excluderen, en dat ik de andere missings zal imputeren door de mean van de overige items van die betreffende case te berekenen. Ik kan me echter ook voorstellen dat je de mean van het item kunt berekenen. Op internet lees ik echter dat beide manieren niet het meest elegant zijn, en dat ik eigenlijk Multiple Imputation moet doen. Ik begrijp echter niet hoe dat werkt? Volstaat voor een kleine case size die overwegend t-toetsen (overwegend, zie probleem bij vraag 3.) gebruikt deze vorm van 'Case Mean data imputation', of niet?
 
3. Ik had bedacht - ik ben geen statistisch wonder  :roll: - dat ik een gepaarde t-toets kan gebruiken voor de analyse. Echter, moet ik hiervoor bepalen of mijn data wel normaal genoeg verdeeld zijn. Dat heb ik gedaan met SPSS - en nu meen ik dat ik met een Shapiro-Wilk test kan bepalen of de variabele normaal normaal verdeeld is of niet... Als de Shapiro-Wilk p-waarde kleiner is dan 0,05 is de variabel niet normaal verdeeld.... Als ik dit aanneem - dan is dat het geval bij 2 van mijn variabelen (p= 0,035; p= 0,043).
Wat moet ik hier nu mee? Ik weet dat - zeker bij deze kleine dataset - data nooit normaal verdeeld zijn, maar dat het gaat of je de benadering van de normaal verdeling genoeg vindt of niet.... Moet ik nu voor deze 2 variabelen een andere test, bijvoorbeeld de non-parametrische Wilcoxon Signed Rank toets, gebruiken... Of is er een truc om op een andere wijze aan te nemen dat mijn data normaal verdeeld zijn - ik lees hiervoor iets over 'bootstrappen' data, maar ook dat begrijp ik niet helemaal.
 
 
Alvast bedankt voor de hulp!

Gebruikersavatar
Berichten: 467

Re: Dataset met kleine sample size - Welke toetsen en missing value handling

Die nominal kan je gewoon naar scale zetten.

Met maar 14 proefpersonen zou ik het lekker simpel houden. Imputatie van een missend item met de mean van overige items van die lijst in dit geval de handigste optie. Multiple imputation met dit kleine sample is een beetje teveel van het goede (en waarschijnlijk leidt het ook niet tot een goed imputatie-model). En gewoon lekker een gepaarde t-toets doen...keep it simple.

Gebruikersavatar
Berichten: 8.557

Re: Dataset met kleine sample size - Welke toetsen en missing value handling

Zelf zou ik voor een wilcoxon rangteken toets gaan (Wilcoxon matched pair signed rank test).
 
Als je niet met gepaarde data te maken hebt maakt het niet uit of je een T-toets doet of een Mann-whitney, als er verschil is dan zie je dat naar alle waarschijnlijkheid gewoon terug in je data. lees hier meer. Dit zal voor gepaarde data waarschijnlijk niet veel anders zijn.
"Meep meep meep." Beaker

Berichten: 5

Re: Dataset met kleine sample size - Welke toetsen en missing value handling

Beiden dank voor jullie reacties!
 
Saffron schreef: Die nominal kan je gewoon naar scale zetten.

Met maar 14 proefpersonen zou ik het lekker simpel houden. Imputatie van een missend item met de mean van overige items van die lijst in dit geval de handigste optie. Multiple imputation met dit kleine sample is een beetje teveel van het goede (en waarschijnlijk leidt het ook niet tot een goed imputatie-model). En gewoon lekker een gepaarde t-toets doen...keep it simple.
Oke, ik heb nu alles naar scale gezet... Dat vond ik al logischer.
Missende items ga ik inderdaad imputeren zoals je zei.
Maar als ik een 'simpele' gepaarde t-toets doe, op variabelen die de proeve van normaliteit niet doorstaan hebben, dan staat de aanname van normaliteit die je doet met deze t-toets toch te ver af van de theorie waarop deze gestoeld is (central limit theorem).
Nu zijn er echter ook statistici die beweren dat dat geen klap uitmaakt, omdat de t-test robuust genoeg zou zijn....
Zie deze discussie: https://www.researchgate.net/post/Can_I_use_a_t-test_that_assumes_that_my_data_fit_a_normal_distribution_in_this_case_Or_should_I_use_a_non-parametric_test_Mann_Whitney2
 
 
Wouter_Masselink schreef: Zelf zou ik voor een wilcoxon rangteken toets gaan (Wilcoxon matched pair signed rank test).
 
Als je niet met gepaarde data te maken hebt maakt het niet uit of je een T-toets doet of een Mann-whitney, als er verschil is dan zie je dat naar alle waarschijnlijkheid gewoon terug in je data. lees hier meer. Dit zal voor gepaarde data waarschijnlijk niet veel anders zijn.
Als ik op mijn dataset de Wilcoxon signed rank test loslaat, wordt mijn outcome sterk minder significant... Dat is ook een probleem dat ik tegenkom met het gebruik van nonparametrische testen op kleine sample sizes die net-niet normaal genoeg verdeeld zijn, dat de statistische power afneemt. Bij een grote sample size heeft een Wilcoxon 95% van de statische kracht van de parametrische t-toets, maar dat verschil wordt groter bij kleinere samples.
 
Het commentaar is uiteraard niet bedoelt als kritiek - ik ben heel blij met jullie respons -, maar het dilemma voor mij blijft.
 
Ik denk dat ik voor variabelen die door observatie van: 1. Skewness & Kurtosis, 2. de Q-Q plots, en 3. de Shapiro-Wilk toets als normaal verdeeld kunnen worden beschouwd een gepaarde t-toets ga gebruiken. En dan voor de niet-normaal verdeelde variabelen een Wilcoxon Signed rank toets.
Probleem hierbij - dat waarschijnlijk onoplosbaar zal zijn - is de geringere power van de Q-Q observaties en geringere power van Shapiro-Wilk (al is die voor kleine samples wel beter dan de Smirov-Kolmogorov test) bij kleine sample sizes. Eigenlijk zijn kleine sample sizes gewoon !@$#$. ;)
Meer over dit probleem heb ik hier gevonden: http://stats.stackexchange.com/questions/121852/how-to-choose-between-t-test-or-non-parametric-test-e-g-wilcoxon-in-small-sampl

Gebruikersavatar
Berichten: 8.557

Re: Dataset met kleine sample size - Welke toetsen en missing value handling

Je moet niet te veel focussen op of je data al dan niet normaal verdeeld is. Er zijn veel verschillende redenen om voor een parametrische danwel non-parametrische test te kiezen. http://blog.minitab.com/blog/adventures-in-statistics/choosing-between-a-nonparametric-test-and-a-parametric-test.
"Meep meep meep." Beaker

Reageer