Ik was al ingehaakt in een ander forum, maar het lijkt me toch zinvol om hier even duidelijk mijn eigen vraag te formuleren. Ik wil graag iets zinnigs zeggen over de betrouwbaarheid van de uitkomsten van een nieuwe onderzoeksmethodiek.
We hebben 2 onderzoeksmethodieken waarmee we een waarde van een object meten. De ene methodiek is zeer vaak getoetst en de uitkomsten hiervan beschouwen we daarom als "de waarheid". Nu wil ik iets kunnen zeggen over de uitkomsten van de andere onderzoeksmethodiek ten opzichte van de eerste methodiek. Het probleem is echter dat we per object maar 1 uitkomst per methodiek hebben. Dus object 1 krijgt een score van methodiek 1 en één van methodiek 2. Vervolgens krijgt object 2 ook een score van beide methodieken. We hebben echter wel de beschikking over honderden objecten, een klein overzicht:
Objectnummer - Uitkomst methodiek 1 (waarheid) - Uitkomst methodiek 2
1 - 15 - 15
2 - 30 - 27
3 - 17 - 18
4 - 17 - 19
5 - 24 - 24
Nu heb ik al wat geprobeerd met een t-toets, maar die kijkt naar het gemiddelde van alle objecten en vergelijkt de gemiddeldes van beide onderzoeksmethoden. In bovenstaand voorbeeld zou die aangeven dat beide groepen exact overeenkomen, terwijl wij toch een aantal metingen niet goed hebben gedaan.
Het enige zinnige wat ik tot nu toe er over weet te zeggen is de meetfout en de relatieve meetfout per object en de gemiddelde relatieve meetfout. Kan ik (zonder meerdere onderzoeken per object) toch iets zeggen over significant verschil bijvoorbeeld?
Laatste berichten
-
23:12
speciale rel. theorie 10
-
22:57
Straatklok loopt 5 minuten voor 11
-
22:57
wig 6
-
22:36
Gravity and gravitation 4
-
22:24
[scheikunde] vraag Chemie - wat is de oplossing? 10
-
19:47
Bruine vlekken op treinaanwijzerbord 10
-
19:44
Vogels in de stad zijn goede klussers 2
-
19:12
Rood laserlicht 3
-
17:30
Herleiden afmetingen vanaf een foto 21
-
16:34
[wiskunde] Prijs Product per KG; Alternatief Inzicht 3
-
13:57
do-re-mi-fa-so vliegtuigen 9
-
13:16
geen minkowski-ruimte toch? Doe ik dit nou fout? 17
-
13:12
[natuurkunde] kroon van koning op Syracuse 10
-
10:15
2013 – Augustus Vraag 3 3
-
24 apr
Vraag 2009 Juli Vraag 5 5
-
24 apr
positie 2
-
24 apr
Schroefdraad berekening 8
-
24 apr
[scheikunde] Kan chloorgas de geleiding van elektriciteit belemmeren? 9
-
23 apr
Weerfrustratie 9
-
23 apr
Kunnen quantum Zonnecellen 190% quantum efficiënt zijn 3
Nieuwsberichten
-
04 mar
Een nieuw soort magnetisme: altermagnetisme
-
31 okt
AI kan via stem diabetes vaststellen 11
-
21 okt
Einstein krijgt wéér gelijk 45
-
07 feb
witter dan wit 20
-
19 jun
irrigatie en de aardas
2 onderzoeksmethodieken vergelijken
-
- Berichten: 467
Re: 2 onderzoeksmethodieken vergelijken
Zoek eens op Bland-Altman plots en ICC (intraclass correlation coefficient).
-
- Berichten: 5
Re: 2 onderzoeksmethodieken vergelijken
Bedankt voor je reactie! Ik heb me er inmiddels in verdiept en ben inmiddels iets verder gekomen.
Ik weet inmiddels gedeeltelijk wat kappa en wat ICC is. Echter weet ik nog niet of dit de juiste methodiek is die ik wil hanteren
Kappa
Ik heb een aantal objecten die gemeten worden op een binaire (of nomiale, of ordinale) schaal. Hiervoor moet ik kappa berekenen.
Stel beide onderzoeksmethodieken meten allebei 1000 objecten op een binaire schaal. Beide hebben perfecte overeenkomst van 900 keer "aanwezig" en 100 keer "niet aanwezig". Als alle 1000 objecten bekeken worden, blijkt ook dat de uitkomst van alle objecten exact overeenkomt. Of te wel, de methodiek 1 meet voor de 1000 objecten steeds precies hetzelfde als methodiek 2.
Als ik de kappa uitreken kom ik op 100% overeenkomst - 81% kansfrequentie - 1% kansfrequentie = 18% overeenkomst.
Ik begrijp de systematiek wel en ook wel waarom ik de kansfrequentie eraf moet halen, maar volgens mij komt dat niet helemaal overeen met mijn bedoeling. Dit zegt iets over de uitkomsten als je alleen weet dat je steekproef 900 van de 1000 keer 'aanwezig' bevat. Echter heb ik meer informatie doordat ik de uitkomst per object ook weet en dus zie dat alles exact overeenkomt.
Ik heb nu wel gekeken hoeveel afwijkende waardes er van de 1000 zijn, stel dit zijn er 10 dan zeg ik dat methodiek in 99% van de gevallen hetzelfde antwoord geeft als methodiek 2 (de waarheid). Volgens mij kan ik hier verder niet veel meer mee of wel?
ICC
Dezelfde kritiek als ik heb op Kappa geldt volgens mij ook voor ICC.
Normale verdeling afwijking:
Het enige wat ik nu heb is per object kijken of het afwijkt en vervolgens aangeven dat de methodiek in x% van de keren overeenkomt. Vervolgens kan ik bij metrische schalen ook nog aangeven hoeveel de gemiddelde afwijking in procenten is. De andere methodieken vind ik nog niet toepasbaar op mijn dataset, aangezien die niet naar de verschillen per object kijkt, maar slechts naar de waarden van de totale dataset.
Zelf heb ik nog bedacht om bij de metrische schaal de afwijking per object te bekijken en te kijken of de afwijking normaal verdeeld is. Indien dit het geval is kan ik kijken of de gemiddelde afwijking kleiner is dan 2x de standaardafwijking. Indien dat het geval is, dan kan ik zeggen dat de afwijking niet significant afwijkt van 0 (geen afwijking). Echter geeft dit volgens mij ook niet de juiste uitkomst. Als je een meetmethode hebt waar heel slordig gemeten wordt, dan vindt je hele grote afwijkingen en wordt de standaardafwijking van de afwijking ook groter en vindt je geen significante verschillen. Heb je een heel precieze meetmethode die perfect meet, maar 0,1 mm te hoog is afgesteld, dan heb je een standaardafwijking van 0 (de afwijking is immers altijd 0,1) en dan wijkt die wel significant af. Dit is dus ook niet de ideale methode. Wat ik dan nog kan bedenken is om naar de verdeling te kijken van de absolute verschillen. Hiermee zorg je ervoor dat een grote negatieve afwijking en een grote positieve afwijking elkaar niet opheffen. Echter weet ik niet hoe ik dan verder moet, aangezien ik dan ineens een halve normale verdeling heb. Iemand nog een idee?
Ik weet inmiddels gedeeltelijk wat kappa en wat ICC is. Echter weet ik nog niet of dit de juiste methodiek is die ik wil hanteren
Kappa
Ik heb een aantal objecten die gemeten worden op een binaire (of nomiale, of ordinale) schaal. Hiervoor moet ik kappa berekenen.
Stel beide onderzoeksmethodieken meten allebei 1000 objecten op een binaire schaal. Beide hebben perfecte overeenkomst van 900 keer "aanwezig" en 100 keer "niet aanwezig". Als alle 1000 objecten bekeken worden, blijkt ook dat de uitkomst van alle objecten exact overeenkomt. Of te wel, de methodiek 1 meet voor de 1000 objecten steeds precies hetzelfde als methodiek 2.
Als ik de kappa uitreken kom ik op 100% overeenkomst - 81% kansfrequentie - 1% kansfrequentie = 18% overeenkomst.
Ik begrijp de systematiek wel en ook wel waarom ik de kansfrequentie eraf moet halen, maar volgens mij komt dat niet helemaal overeen met mijn bedoeling. Dit zegt iets over de uitkomsten als je alleen weet dat je steekproef 900 van de 1000 keer 'aanwezig' bevat. Echter heb ik meer informatie doordat ik de uitkomst per object ook weet en dus zie dat alles exact overeenkomt.
Ik heb nu wel gekeken hoeveel afwijkende waardes er van de 1000 zijn, stel dit zijn er 10 dan zeg ik dat methodiek in 99% van de gevallen hetzelfde antwoord geeft als methodiek 2 (de waarheid). Volgens mij kan ik hier verder niet veel meer mee of wel?
ICC
Dezelfde kritiek als ik heb op Kappa geldt volgens mij ook voor ICC.
Normale verdeling afwijking:
Het enige wat ik nu heb is per object kijken of het afwijkt en vervolgens aangeven dat de methodiek in x% van de keren overeenkomt. Vervolgens kan ik bij metrische schalen ook nog aangeven hoeveel de gemiddelde afwijking in procenten is. De andere methodieken vind ik nog niet toepasbaar op mijn dataset, aangezien die niet naar de verschillen per object kijkt, maar slechts naar de waarden van de totale dataset.
Zelf heb ik nog bedacht om bij de metrische schaal de afwijking per object te bekijken en te kijken of de afwijking normaal verdeeld is. Indien dit het geval is kan ik kijken of de gemiddelde afwijking kleiner is dan 2x de standaardafwijking. Indien dat het geval is, dan kan ik zeggen dat de afwijking niet significant afwijkt van 0 (geen afwijking). Echter geeft dit volgens mij ook niet de juiste uitkomst. Als je een meetmethode hebt waar heel slordig gemeten wordt, dan vindt je hele grote afwijkingen en wordt de standaardafwijking van de afwijking ook groter en vindt je geen significante verschillen. Heb je een heel precieze meetmethode die perfect meet, maar 0,1 mm te hoog is afgesteld, dan heb je een standaardafwijking van 0 (de afwijking is immers altijd 0,1) en dan wijkt die wel significant af. Dit is dus ook niet de ideale methode. Wat ik dan nog kan bedenken is om naar de verdeling te kijken van de absolute verschillen. Hiermee zorg je ervoor dat een grote negatieve afwijking en een grote positieve afwijking elkaar niet opheffen. Echter weet ik niet hoe ik dan verder moet, aangezien ik dan ineens een halve normale verdeling heb. Iemand nog een idee?
-
- Berichten: 467
Re: 2 onderzoeksmethodieken vergelijken
Kappa neemt juist wel exact overeenkomst mee. Wat jij daar berekent is ook niet de kappa.
Kappa=P(agreement)-P(expected)/1-P(expected). Jij hebt alleen het eerste stukje gedaan. Agreement is in de formule de exacte agreement, die je haalt uit de diagonaal van een kruistabel (dus metingen waarbij de twee raters niet hetzelfde raten, telt hij niet mee).
Als ik jou post lees, dan denk ik dat je het in de agreement maten moet zoeken. Ik zou Bland-Altman plotjes doen (meest gebruikt). Verder kan je %absolute agreement geven, correlatie en SEM (standard error of measurement).
Kappa=P(agreement)-P(expected)/1-P(expected). Jij hebt alleen het eerste stukje gedaan. Agreement is in de formule de exacte agreement, die je haalt uit de diagonaal van een kruistabel (dus metingen waarbij de twee raters niet hetzelfde raten, telt hij niet mee).
Als ik jou post lees, dan denk ik dat je het in de agreement maten moet zoeken. Ik zou Bland-Altman plotjes doen (meest gebruikt). Verder kan je %absolute agreement geven, correlatie en SEM (standard error of measurement).
-
- Berichten: 5
Re: 2 onderzoeksmethodieken vergelijken
Ik was inderdaad iets te snel met mijn mening over kappa, ik had het laatste stuk van de uitleg gemist. Ik denk dat kappa inderdaad goed voldoet aan mijn wensen. Klopt het dat ik kappa ook kan gebruiken voor categorische schaal met meer dan 2 variabelen?
Daarnaast heb ik nog een variabele met een metrische schaal, kan ik hiervoor de ICC gebruiken (en is dit mogelijk met de analysis-toolpack in excel)?
In ieder geval bedankt voor je reacties!
Daarnaast heb ik nog een variabele met een metrische schaal, kan ik hiervoor de ICC gebruiken (en is dit mogelijk met de analysis-toolpack in excel)?
In ieder geval bedankt voor je reacties!
