A/B-testen op je website

Wat een A/B-test is en wat niet

Bij een A/B-test tonen twee versies van een pagina, gelijktijdig en aan willekeurig verdeelde bezoekers, en meet je welke versie beter presteert op een vooraf gekozen doel. Gelijktijdig is de kern: twee versies na elkaar tonen en de resultaten vergelijken is geen A/B-test, want dan meng je het effect van de wijziging met alles wat er in de tussenliggende periode is veranderd, van weer tot een concurrent die iets deed.

Het is ook geen mening peilen. De vraag is niet welke versie mensen mooier vinden, maar welke versie meetbaar beter presteert op het doel dat je vooraf hebt gekozen.

Voordat je test: genoeg bezoekers en een duidelijk doel

Een test heeft genoeg bezoekers en genoeg conversies nodig om een betrouwbaar verschil te kunnen aantonen. Bij weinig verkeer duurt een test die lang dat de resultaten door andere factoren vervuild raken, of het verschil is nooit groot genoeg om statistisch betrouwbaar te zijn.

Bepaal vooraf het doel: meer klikken op een knop, meer toegevoegde producten, meer voltooide bestellingen. Test je op het verkeerde doel, dan kan een variant winnen op de gemeten metriek en toch minder omzet opleveren.

Een goede hypothese in plaats van een gok

De sterkste tests beginnen bij een waarneming, niet bij een smaak. Zie je in je cijfers dat mensen afhaken op een bepaalde stap, dan is dat een aanwijzing voor wat de test moet aanpakken. "Ik denk dat een groenere knop beter werkt" is een gok; "op deze stap haakt veertig procent af, mogelijk omdat onduidelijk is wat er gebeurt na de klik" is een hypothese die je kunt testen.

Schrijf de hypothese op voordat je test, inclusief wat je verwacht en waarom. Dat voorkomt dat je achteraf een verklaring verzint bij welke uitkomst dan ook.

Een variabele per keer

Verander in een test een ding: de knoptekst, de afbeelding, de volgorde van de velden. Verander je meerdere dingen tegelijk, dan weet je bij een winnende variant niet welk onderdeel het verschil maakte, en kun je die kennis dus niet hergebruiken op andere pagina's.

Dat maakt testen langzamer dan in een keer alles aanpassen wat je denkt te kunnen verbeteren. Het is ook de enige manier om na afloop te weten wat je werkelijk hebt geleerd.

Hoe lang een test moet lopen

Lang genoeg om een volledige weekcyclus te dekken, want gedrag op maandag verschilt van gedrag in het weekend, en een test die maar drie dagen loopt, meet dat verschil in plaats van het effect van de wijziging. Twee tot vier weken is voor de meeste sites een redelijke ondergrens.

Stop een test niet zodra het verschil de eerste keer significant lijkt. Vroegtijdig stoppen op basis van een tussenstand is een van de vaakst gemaakte fouten en leidt structureel tot foutieve conclusies.

Wat na een winnende of verliezende test

Een winnende variant voer je door, en je noteert waarom hij won: die kennis is waardevoller dan de test zelf, want hij is te hergebruiken op andere pagina's met een vergelijkbaar probleem. Een verliezende of neutrale test is geen mislukking; hij heeft een aanname weerlegd voordat die aanname geld had gekost.

Houd een logboek van tests bij, ook de verloren. Zonder dat log herhaal je binnen een jaar dezelfde test, omdat niemand meer weet dat hij al is gedaan.

Waar het misgaat

De meest voorkomende fout is te vroeg stoppen. Daarna komt testen zonder genoeg verkeer, waardoor elk resultaat toeval kan zijn. En het testen van triviale dingen, zoals een tint rood versus een andere tint rood, terwijl de winst elders ligt, bijvoorbeeld in de duidelijkheid van het aanbod of het aantal stappen in het proces.

Begin daarom bij de pagina's met het meeste verkeer en het duidelijkste afhaakpunt. Daar levert een test het meest op, ook als hij minder verfijnd is dan een test op een pagina die bijna niemand bezoekt.

Veelgestelde vragen