Deze calculator is gemaakt door CRO specialist Gijs Wierda en gebruikt
Bayesiaanse statistiek om A/B-testresultaten te analyseren. Anders dan traditionele methoden
berekent deze aanpak direct de kans dat een variant beter
presteert, gebaseerd op de verzamelde data en een neutrale prior. De calculator gebruikt een Beta-Binomiaal model met Monte Carlo simulatie voor nauwkeurige resultaten.
Wat zie je in de tabel?
Voor elke variant en elk doel tonen we:
Het conversiepercentage met het absolute aantal conversies
Het relatieve verschil (uplift) ten opzichte van het origineel
De posterior probability dat de variant beter presteert
Kleuren geven de statistische en praktische
significantie aan: groen bij sterke indicaties van
verbetering (>90% ), rood bij risico op verslechtering (< 10%).
Wat betekent kans op verbetering?
De kans op verbetering is de berekende waarschijnlijkheid (posterior probability) dat een
variant beter presteert dan het origineel. Een kans van 50% suggereert geen verschil. Een hoge kans (>90%) geeft een sterke indicatie van
verbetering, maar beslissingen over implementatie
moeten ook de grootte van het effect (uplift) en business context meewegen.
Hoe werkt de calculator?
De calculator gebruikt een Bayesiaans Beta-Binomiaal model met niet-informatieve priors. Voor elke vergelijking worden 100.000 Monte Carlo simulaties uitgevoerd om de posterior
distributies
te berekenen. Dit geeft nauwkeurige resultaten voor zowel kleine als grote steekproeven. Let op:
correlaties tussen verschillende doelen worden niet meegenomen in de berekeningen.
Aandachtspunten bij meerdere varianten
Bij het testen van meerdere varianten of doelen neemt de complexiteit van de analyse toe. Met
meer varianten wordt de onzekerheid in de posterior verdelingen groter bij hetzelfde aantal
bezoekers per variant. Dit betekent dat je
mogelijk meer data nodig hebt om tot dezelfde mate van zekerheid te komen over de effecten.
Overweeg bij veel varianten een getrapte testopzet, waarbij je eerst de meest veelbelovende varianten identificeert.
Verwachte uplift (credible intervals)
Bij elk resultaat tonen we een 95% credible interval voor de uplift. Dit interval geeft aan waar
de werkelijke uplift zich met 95% waarschijnlijkheid bevindt. Bijvoorbeeld, een interval van -2%
tot +8% betekent dat we met 95% zekerheid kunnen zeggen dat de werkelijke uplift tussen deze
waarden ligt. Hoe smaller het interval, hoe preciezer onze schatting. Hover over de uplift om het interval te zien.
Steekproefgrootte bepalen
Het benodigde aantal conversies in een Bayesiaanse analyse hangt af van verschillende factoren:
Je huidige conversiepercentage
De precisie die je wilt bereiken in je posterior verdeling
De grootte van het effect dat je wilt kunnen detecteren met voldoende zekerheid
Je prior kennis en overtuigingen
De steekproefgrootte bepaalt hoe nauw je credible intervals zullen zijn. Hoe meer data, hoe meer
de posterior verdeling gedomineerd wordt door de data in plaats van de prior. Voor praktische
doeleinden kun je simulaties uitvoeren met verschillende steekproefgroottes om te zien wanneer
je de gewenste precisie in je posterior bereikt. Voor veel business cases wil je credible
intervals die nauw genoeg zijn om betekenisvolle business beslissingen te kunnen nemen.
Business case berekening
De business case berekening toont de verwachte omzetimpact van elke variant over 6 of 12 maanden. Deze berekening:
Gebruikt de gemiddelde orderwaarde en het geselecteerde conversiedoel
Extrapoleert de testresultaten naar de gekozen periode
Houdt rekening met het percentage verkeer in de test
Bij meerdere doelen kun je zelf kiezen welk doel wordt gebruikt voor de omzetberekening. Kies
hiervoor het doel dat de daadwerkelijke transacties meet.
Voor elke variant wordt een verwachte omzetrange getoond (hover over het bedrag). Deze range
geeft met 95% aan waar de werkelijke omzetimpact zal liggen. Een smallere range duidt
op een betrouwbaardere voorspelling.
GIJS WIERDA
Freelance CRO specialist inhuren
Hulp nodig met conversie-optimalisatie? Ik help ambitieuze bedrijven al 16 jaar om meer omzet en winst te halen dankzij CRO. En om de concurrentie een stap voor te blijven.
