Hallo!
Ik heb een vraagje over een test. Het betreft hier een zogenaamde A/B test op een website. Hierbij worden bezoekers verdeeld over 2 versies van 1 pagina. Door het bezoek te verdelen over 2 versies kan aan het einde bepaald worden welke pagina het beste werkt. Dit laatste wordt bepaald aan de hand van een actie die ze kunnen uitvoeren op de pagina, namelijk het klikken op een linkje.
Ik had in totaal 1283 bezoekers. Deze zijn als volgt verdeeld over de 2 paginas:
Pagina A 595 bezoekers
Pagina B 688 bezoekers
Bij Pagina A is 100 x op het linkje geklikt
Bij Pagina B is 130 x op het linkje geklikt
Nu dacht ik dat pagina B dus beter werkt. Echter ik hoorde dat ik dit niet zo kan zeggen omdat:
Pagina A 595/1283*100 = 46.4% bezoek heeft gehad
Pagina B 688/1283*100 = 53.6% bezoek heeft gehad
.
Het bezoek zou gelijk verdeeld moeten zijn. Echter hoeveel % mag dit van elkaar afwijken om een betrouwbare uitspraak te kunnen doen?
Bedankt voor jullie hulp alvast!
Groetjes,
Jesse
Laatste berichten
-
00:15
[scheikunde] Kan chloorgas de geleiding van elektriciteit belemmeren? 9
-
22:27
positie 1
-
21:15
Weerfrustratie 9
-
18:24
Schroefdraad berekening 5
-
18:08
geen minkowski-ruimte toch? Doe ik dit nou fout? 15
-
14:16
do-re-mi-fa-so vliegtuigen 7
-
14:16
Kunnen quantum Zonnecellen 190% quantum efficiënt zijn 3
-
13:57
De Euro Nederlandse 100 qubit computer komt eraan
-
10:42
projectiel 8
-
10:37
Verschil tussen deze 2 vragen 5
-
09:25
[scheikunde] berekeningen labo vitamine c bepaling 1
-
22 apr
[wiskunde] rode en witte ballen verdelen 8
-
22 apr
Rotatie van het heelal 41
-
22 apr
Muntje opgooien 14
-
21 apr
Reactiviteit silyl enol ethers 1
-
21 apr
Criterium voor vochtretentie
-
21 apr
speciale rel. theorie 5
-
21 apr
Vogels in de stad zijn goede klussers
-
21 apr
Ervaringen met "herontdekkingen" 15
-
20 apr
Herleiden afmetingen vanaf een foto 19
Nieuwsberichten
-
04 mar
Een nieuw soort magnetisme: altermagnetisme
-
31 okt
AI kan via stem diabetes vaststellen 11
-
21 okt
Einstein krijgt wéér gelijk 45
-
07 feb
witter dan wit 20
-
19 jun
irrigatie en de aardas
A/b test --> wanneer betrouwbaar?
-
- Berichten: 7.068
Re: A/b test --> wanneer betrouwbaar?
Elke pagina heeft een onbekende parameter die weergeeft hoe groot de kans is dat een willekeurige bezoeker klikt op de link. Noem deze parameter voor pagina A \(p_A\). Deze parameter ligt aan de basis van een binomiale verdeling. Deze verdeling is echter, door het groot aantal samples, te benaderen met een normale verdeling. De parameter \(p_A\) moet je proberen te bepalen. Hiervoor moet je een schatter gebruiken (=sample mean) en de variantie van die schatter. Hetzelfde kun je doen voor pagina B. Met de gevonden gegevens kun je dan de beide pagina's vergelijken.
-
- Berichten: 339
Re: A/b test --> wanneer betrouwbaar?
Om op wat eenvoudiger niveau op deze vraag in te gaan:Het bezoek zou gelijk verdeeld moeten zijn. Echter hoeveel % mag dit van elkaar afwijken om een betrouwbare uitspraak te kunnen doen?
Het is niet zo erg dat het bezoek niet gelijk verdeeld is MAAR je moet het wel meerekenen.
Een extreem voorbeeld:
pagina A had 100 bezoekers, en er klikten 100 op de link
pagina B had 1100 bezoekers, en er klikten 130 op de link
Welke pagina is dan het beste?
Je moet dus het percentage (of proportie) kliks ten opzichte van het aantal bezoekers berekenen.
Dus in het extreme voorbeeld:
pagina A 100 kliks/100 bezoekers = 100%
pagina B 130 kliks / 1100 bezoekers =11.8%
Als je deze berekening bij jouw getallen doet, wordt het verschil tussen de 2 paginas veel kleiner, maar er blijft verschil. Het verschil is echter niet 'statistisch significant' (heb ik uitgerekend). Dat betekent: het verschil zou nog door toeval veroorzaakt kunnen zijn.
