A/B testing

Jedna zmienna naraz

Test ma sens tylko wtedy, gdy wersje różnią się jednym elementem. Zmiana nagłówka, zdjęcia i przycisku jednocześnie pokaże, że wersja B wygrała, ale nie powie dlaczego – a bez tego nie da się wyniku wykorzystać nigdzie indziej.

Wyjątkiem są testy dwóch całkiem różnych koncepcji, gdzie celem jest wybór kierunku, a nie nauka. Wtedy trzeba to jednak nazwać wprost, bo taki test nie daje żadnej wiedzy o mechanizmie.

Kiedy wynik jest wiarygodny

Najczęstszy błąd to przerwanie testu w momencie, w którym jedna wersja prowadzi. Przy małej liczbie obserwacji prowadzenie zmienia się z dnia na dzień, więc decyzja podjęta po dwóch dniach zwykle opisuje przypadek, nie różnicę.

Test powinien też objąć pełny cykl zachowań – zwykle co najmniej tydzień, bo weekend zachowuje się inaczej niż wtorek. I warto z góry ustalić, jaka różnica jest dla nas istotna: poprawa o 0,2% rzadko uzasadnia koszt wdrożenia.

Co warto testować najpierw

Kolejność powinna wynikać z potencjału, nie z łatwości wdrożenia. Największe różnice dają zwykle: sama oferta, nagłówek i obietnica, obraz oraz liczba kroków w formularzu. Kolor przycisku jest najczęściej testowanym i najrzadziej istotnym elementem.

Przy niewielkim ruchu część testów po prostu nie ma sensu – różnica, którą dałoby się wykryć, musiałaby być ogromna. W takiej sytuacji lepiej wprowadzić przemyślaną zmianę i obserwować wynik w czasie niż udawać eksperyment.

Wyniki warto zapisywać, także te negatywne. Lista sprawdzonych hipotez chroni przed testowaniem po raz trzeci tego samego pomysłu i jest jedynym trwałym efektem pracy, który zostaje po zmianie zespołu.