Validiteit

Moderator: Rhiannon

Reageer
Berichten: 5

Validiteit

Hallo,
 
Hopelijk is er iemand die mij kan helpen, ik kom er zelf namelijk niet uit.
Voor mijn thesis ben ik bezig met een validiteitsonderzoek. Mijn scriptiebegeleider heeft een checklist ontwikkeld en vraagt mij (onder andere) de validiteit te berekenen.
Hiervoor wil ik graag de concurrente validiteit (criterium validiteit) bepalen. 
Normaliter zou je dat doen door de resultaten te vergelijken met de resultaten van een soortgelijke valide checklist. Nu is het echter zo dat dit de eerste checklist is van zijn soort, er is dus geen meetinstrument waar ik de resultaten mee kan vergelijken.
 
Het idee is om experts te vragen om hun kennis en expertise te gebruiken. De resultaten die zij geven willen we vergelijken met de resultaten van de checklist om zo de validiteit te bepalen. 
 
Echter kan ik geen literatuur vinden dat dit de juiste manier is. 
 
Weet iemand hoe we dit het beste kunnen aanpakken en welke (soort) literatuur ik het beste kan raadplegen hiervoor?
 
Alvast bedankt!

Gebruikersavatar
Berichten: 967

Re: Validiteit

Als het een nieuwe test is, dan neem ik aan dat er ook een oude is. Als er meerdere oudere tests zijn, is één daarvan de beste voor jouw toets: de gouden standaard. Ik zou die gouden standaard gebruiken om de validiteit van de nieuwe test te toetsen. 
 
Het vergelijken van experts scores en de door jouw ingevulde validiteitstest klinkt in mijn oren meer als inter rater reliability, aangezien je daar dezelfde checklist gebruikt. Bij concurrente validiteit gebruik je een andere checklist, nietwaar?
 
Ik ben niet thuis in de literatuur hieromtrent, dus kan je daar helaas niet mee helpen. Succes met je thesis!
"In biotech moet je soms dingen doen waarvan anderen zeggen dat het onmogelijk is."

Henri A. Termeer (1946-2017)

Berichten: 5

Re: Validiteit

Hoi Beresteyn,
 
Bedankt voor je reactie. 
Het liefst zou ik inderdaad de gouden standaard gebruiken. Echter is er helaas geen oude test waarmee ik het kan vergelijken. Dus dat is niet mogelijk.
 
De checklist is bedoeld om interventies te beoordelen of ze een bepaalde denkwijze juist hebben gehanteerd (hopelijk klinkt dat duidelijk). 
Het idee is dat de experts dezelfde interventies beoordelen op de kwaliteit, maar dan zonder gebruik van die checklist. Ze gebruiken dus hun eigen expertise. 
 
Die expertise wil ik dan gebruiken als een soort van checklist waarmee je de checklist vergelijkt. Dan spreek je wel van validiteit toch?

Gebruikersavatar
Berichten: 967

Re: Validiteit

Ik begrijp uit je verhaal dat je de checklist dus gaat gebruiken voor je onderzoek, maar dan verwacht ik dat die checklist ooit door iemand gepresenteerd of gepubliceerd is. Normaal zou namelijk uit een publicatie moeten blijken dat de checklist een toegevoegde waarde heeft en betrouwbaar is. Is dat bewijs er niet, dan kun je 'm niet zomaar gebruiken en aannemen dat ie klopt. Dat laatste realiseer je je ook, want je wil controleren met behulp van de experts. Ik denk dat je dat wel kunt doen als er geen alternatief is, maar wees nauwkeurig hoe je de beoordeling van de experts presenteert; ik vermoed dat je eerder moet denken aan een 'inter rater reliability' of iets dergelijks in plaats van het presenteren als 'een soort checklist'. Wellicht kan je begeleider daar meer zekerheid over kunnen geven.
"In biotech moet je soms dingen doen waarvan anderen zeggen dat het onmogelijk is."

Henri A. Termeer (1946-2017)

Berichten: 5

Re: Validiteit

Ahh op die manier begrijp ik meer wat je bedoelt. Bedankt! Ik ga eens opzoeken of ik dat ga kunnen gebruiken. 


Berichten: 5

Re: Validiteit

Bedankt voor de artikelen! Door omstandigheden heb ik weinig tijd gehad. Maar ik heb nu het artikel van Reinhoudt gelezen (dat van Sirajudeen et al. ga ik nog lezen).
Ik vraag me alleen af of 'inter-rater reliability' passend is. In het artikel van Reinhoudt hebben ze dit berekend aan de hand van antwoorden op de checklist en deze met elkaar te vergelijken. Ze hebben de resultaten hiervan niet vergeleken met ander materiaal. 
Dat laatste is echter wel het plan. Ik wil namelijk graag de resultaten van de checklist vergelijken met de meningen van experts zonder checklist. 
Maar mogelijk staat daar nog wat meer over in het artikel van Sirajudeen et al. 

Reageer