Springen naar inhoud

A/b test --> wanneer betrouwbaar?


  • Log in om te kunnen reageren

#1

Jesse001

    Jesse001


  • 0 - 25 berichten
  • 1 berichten
  • Gebruiker

Geplaatst op 13 mei 2010 - 01:21

Hallo!

Ik heb een vraagje over een test. Het betreft hier een zogenaamde A/B test op een website. Hierbij worden bezoekers verdeeld over 2 versies van 1 pagina. Door het bezoek te verdelen over 2 versies kan aan het einde bepaald worden welke pagina het beste werkt. Dit laatste wordt bepaald aan de hand van een actie die ze kunnen uitvoeren op de pagina, namelijk het klikken op een linkje.

Ik had in totaal 1283 bezoekers. Deze zijn als volgt verdeeld over de 2 paginaís:
Pagina A 595 bezoekers
Pagina B 688 bezoekers

Bij Pagina A is 100 x op het linkje geklikt
Bij Pagina B is 130 x op het linkje geklikt

Nu dacht ik dat pagina B dus beter werkt. Echter ik hoorde dat ik dit niet zo kan zeggen omdat:

Pagina A 595/1283*100 = 46.4% bezoek heeft gehad
Pagina B 688/1283*100 = 53.6% bezoek heeft gehad
.
Het bezoek zou gelijk verdeeld moeten zijn. Echter hoeveel % mag dit van elkaar afwijken om een betrouwbare uitspraak te kunnen doen?

Bedankt voor jullie hulp alvast!

Groetjes,

Jesse

Dit forum kan gratis blijven vanwege banners als deze. Door te registeren zal de onderstaande banner overigens verdwijnen.

#2

EvilBro

    EvilBro


  • >5k berichten
  • 6703 berichten
  • VIP

Geplaatst op 13 mei 2010 - 11:37

Elke pagina heeft een onbekende parameter die weergeeft hoe groot de kans is dat een willekeurige bezoeker klikt op de link. Noem deze parameter voor pagina A LaTeX . Deze parameter ligt aan de basis van een binomiale verdeling. Deze verdeling is echter, door het groot aantal samples, te benaderen met een normale verdeling. De parameter LaTeX moet je proberen te bepalen. Hiervoor moet je een schatter gebruiken (=sample mean) en de variantie van die schatter. Hetzelfde kun je doen voor pagina B. Met de gevonden gegevens kun je dan de beide pagina's vergelijken.

#3

Gesp

    Gesp


  • >250 berichten
  • 339 berichten
  • Ervaren gebruiker

Geplaatst op 18 mei 2010 - 08:34

Het bezoek zou gelijk verdeeld moeten zijn. Echter hoeveel % mag dit van elkaar afwijken om een betrouwbare uitspraak te kunnen doen?

Om op wat eenvoudiger niveau op deze vraag in te gaan:

Het is niet zo erg dat het bezoek niet gelijk verdeeld is MAAR je moet het wel meerekenen.

Een extreem voorbeeld:
pagina A had 100 bezoekers, en er klikten 100 op de link
pagina B had 1100 bezoekers, en er klikten 130 op de link
Welke pagina is dan het beste?

Je moet dus het percentage (of proportie) kliks ten opzichte van het aantal bezoekers berekenen.
Dus in het extreme voorbeeld:
pagina A 100 kliks/100 bezoekers = 100%
pagina B 130 kliks / 1100 bezoekers =11.8%

Als je deze berekening bij jouw getallen doet, wordt het verschil tussen de 2 paginas veel kleiner, maar er blijft verschil. Het verschil is echter niet 'statistisch significant' (heb ik uitgerekend). Dat betekent: het verschil zou nog door toeval veroorzaakt kunnen zijn.





0 gebruiker(s) lezen dit onderwerp

0 leden, 0 bezoekers, 0 anonieme gebruikers

Ook adverteren op onze website? Lees hier meer!

Gesponsorde vacatures

Vacatures