Een A/B-test met te weinig verkeer bewijst niets, maar kost je wel weken. Hoe je vooraf inschat of testen zin heeft, en wat je doet als het antwoord nee is.

A/B-testen klinkt als de volwassen manier om je website te verbeteren. Bij de meeste sites is het dat niet, omdat er domweg te weinig conversies zijn om een verschil aan te tonen. Dan test je weken en trek je uiteindelijk een conclusie uit toeval.

Waar het misgaat

Een test moet onderscheid kunnen maken tussen een echt verschil en normale schommeling. Hoe kleiner de verbetering die je wilt aantonen, hoe meer waarnemingen je daarvoor nodig hebt. En dat aantal loopt harder op dan mensen verwachten: een verbetering van tien procent aantonen kost een veelvoud van wat een verbetering van vijftig procent kost.

Het probleem is dat de meeste echte verbeteringen klein zijn. Grote sprongen komen zelden van een knop of een kop, maar van een ander aanbod of een andere doelgroep. Precies de kleine winsten die je wilt meten, zijn het duurst om te bewijzen.

Een vuistregel om vooraf in te schatten

Kijk niet naar bezoekers maar naar conversies. Tel hoeveel aanvragen of aankopen je per week binnenkrijgt op de pagina die je wilt testen. Deel dat over twee varianten, en bedenk hoeveel weken je bereid bent te wachten. Kom je daarmee niet in de buurt van enkele honderden conversies per variant, dan gaat een test met een realistische verbetering geen uitsluitsel geven.

Bezoekersaantallen zeggen niets. Het gaat om conversies per variant, en die zijn bijna altijd een fractie van wat mensen denken.

De valkuil van vroeg stoppen

Wie een test dagelijks bekijkt, ziet vroeg of laat een variant voorlopen. Stoppen op dat moment voelt logisch en is de meest gemaakte fout in conversieoptimalisatie. In de eerste dagen schommelt het resultaat sterk, en die schommeling ziet er precies uit als een winnaar. Leg daarom vooraf vast hoe lang je test loopt en hoeveel conversies je afwacht, en houd je daaraan.

Wat je doet als testen geen zin heeft

Dat is geen reden om niets te doen. Het betekent dat je op een andere manier zekerheid haalt.

  • Los eerst op wat aantoonbaar kapot is: foutmeldingen in formulieren, stappen die op mobiel niet werken, verzendkosten die pas in de laatste stap verschijnen. Daar heb je geen test voor nodig.
  • Meet per funnelstap waar mensen afhaken. Een stap waar de helft wegvalt vertelt je meer dan een test op de knopkleur.
  • Voer de verbetering door met een duidelijke voor- en nameting over een gelijke periode, en wees eerlijk dat dat een indicatie is en geen bewijs.
  • Test op de plek met het meeste volume. Vaak is dat de homepage of de checkout, niet de pagina waar de discussie over gaat.
  • Verzamel kwalitatieve signalen: opnames van sessies, vragen aan de klantenservice, wat mensen in het offerteformulier typen.

Een verliezende test is trouwens ook winst. Hij voorkomt dat je een aanname permanent doorvoert, en zegt meestal iets over wat je bezoekers wél belangrijk vinden.