Najczęściej wszystko psuje się w tym samym punkcie: eksperymenty growth startują z przypadkowych pomysłów, bez jasnej kolejności i bez jednej metryki, która rozstrzyga wynik. Growth experiments to uporządkowane testy zmian w produkcie albo w komunikacji z klientem. Liczy się ich mierzalny wpływ na konkretny wskaźnik, nie samo „uruchomienie testu”.
Kiedy nikt nie ocenia hipotez pod kątem potencjału oraz tego, jak łatwo je wdrożyć i na ile są pewne, zespół produkuje ruch zamiast wzrostu. Naprawa zwykle zaczyna się od krótszego backlogu, prostego rankingu i rozliczania wyniku na liczbach, a nie na przeczuciu.
Jak rozpoznać, że testy A/B nie przynoszą przełomu
Najłatwiej złapać ten moment wtedy, gdy zespół regularnie wygrywa testy A/B, a liczby biznesowe stoją w miejscu. Test A/B, czyli porównanie wersji kontrolnej i testowej, ma sens tylko wtedy, gdy zmienia zachowanie użytkownika w miejscu, które naprawdę blokuje wzrost. Sam wzrost kliknięć w CTA jeszcze niczego nie załatwia, jeśli Activation, Retention albo Revenue pozostają bez zmian.
Same testy nie dają żadnej gwarancji. Około 70–80% testów A/B nie przynosi istotnych statystycznie pozytywnych wyników, a według CXL Institute sukces osiąga mniej więcej 1 na 8 testów. Taki rozkład jest normalny; problem zaczyna się dopiero wtedy, gdy przez kolejne sprinty nie umiesz wskazać jednego etapu lejka pirackiego, AARRR, który naprawdę hamuje wzrost.
Lejek AARRR porządkuje drogę klienta na pięć etapów: Acquisition, Activation, Retention, Referral i Revenue. Gdy testy są rozsiane po całym produkcie i nie mają przypisanego jednego etapu, robi się sporo ruchu, ale mało postępu.[2][1]
W praktyce taki rozdźwięk widać od razu. Testujesz nowy układ strony rejestracji, widzisz wzrost kliknięć o 9% i przez chwilę wszystko wygląda dobrze. Czy taki test naprawdę coś zmienił? Dopiero dalej wychodzi prawda: liczba aktywowanych kont stoi w miejscu, a po 7 dniach retencja się nie rusza. Wygrana została na jednym ekranie, nie w biznesie.
Tę granicę między zwykłym testem a eksperymentem nastawionym na wzrost dobrze opisuje osobny poradnik o tym, jak growth experiment różni się od zwykłego testu.
Drugi czytelny sygnał to zbyt szybkie zamykanie wniosków. Growth experiments potrzebują odpowiedniej sample size, czyli minimalnej liczby konwersji potrzebnej do wiarygodnego odczytu, oraz kontroli statistical significance (p<0.05), czyli branżowego progu istotności statystycznej odpowiadającego 95% confidence level.
Gdy zespół ogłasza sukces po dwóch dniach, bo jedna wersja „prowadzi”, a w każdej gałęzi testu ma ledwie kilkanaście konwersji, bardziej zgaduje, niż mierzy. Po 48 godzinach wykres potrafi wyglądać świetnie, a po tygodniu nie zostaje z niego nic. Typowy scenariusz wygląda tak: wariant B daje +14% po 48 godzinach, po tygodniu przewaga znika, a po domknięciu próby okazuje się, że różnica mieści się w szumie. To nie pech — proces testowy nie odróżnia wtedy sygnału od przypadku.[3]
Bywa też prościej: jedna wersja testowa miesza za dużo rzeczy naraz albo kopiuje taktykę z zupełnie innego modelu biznesowego. Kiedy w jednym wariancie zmieniasz nagłówek, formularz, social proof i ofertę, nie dowiesz się, co naprawdę zadziałało.
Podobnie działa przenoszenie gotowych mechanik. Referral z produktu subskrypcyjnego wrzucony do sklepu dlatego, że „gdzieś działał”, może podbić aktywność na ekranie i jednocześnie pogorszyć przychód. Takie wtopy zwykle biorą się nie z braku pracy, tylko z niedopasowanego modelu testowania do firmy i jej etapu rozwoju, a także do ograniczeń zespołu. Ten wątek rozwija tekst o wyborze frameworku growth do firmy i etapu rozwoju.
Jest jeszcze jeden wzorzec, który szybko wychodzi w organizacji: każdy brak wzrostu traktuje się jak porażkę. Growth mindset, czyli podejście nastawione na eksperymenty i wyciąganie wniosków z błędów, po czym poprawia się proces, nie polega na udawaniu, że każdy test był dobry.
Po nieudanej hipotezie powinno zostać coś konkretnego: który etap AARRR nie reaguje, jaki segment użytkowników milczy i czy chodzi o komunikat i ofertę, czy o samo doświadczenie produktu. Gdy po zamknięciu eksperymentu zostaje tylko zdanie „nie zadziałało”, test był za słaby poznawczo. Przy kilkunastu konwersjach w gałęzi taki odczyt po prostu się rozjeżdża.
Dobry eksperyment daje jasny odczyt przyczyny efektu i jest osadzony w jednym etapie lejka. Bez tego kolejne „wygrane” nie ruszają Activation, Retention ani Revenue.
Brak ICE scoringu jako główna blokada skuteczności
Tu blokada bywa banalna. Brak ICE scoringu zmienia backlog hipotez w kolejkę pomysłów, które wygrywają siłą głosu, a nie przewidywanym wpływem. ICE to prosty framework priorytetyzacji oparty na trzech wymiarach, Impact, Confidence i Ease, zwykle ocenianych w skali 1–10.
Gdy zespół nie nadaje takiego wyniku każdej hipotezie przed startem, najczęściej bierze na warsztat rzeczy efektowne, politycznie pilne albo wygodne do pokazania na demo. Czas inżynierów i projektantów, plus analityka, schodzi wtedy na pomysły, które od początku miały słabą pozycję.[4]
Mechanizm tej porażki jest powtarzalny. Bez wspólnej metody oceny dwa pomysły wyglądają podobnie w rozmowie, choć ich potencjał jest skrajnie różny. Hipoteza z Impact 8, Confidence 7 i Ease 6 daje łączny wynik 21, a zmiana z Impact 3, Confidence 5 i Ease 9 kończy z wynikiem 17. Na slajdzie różnica bywa mała, w sprincie oznacza już zupełnie inny stosunek wpływu do kosztu.
Po kilkunastu takich decyzjach w kwartale nie przegrywasz pojedynczych testów, tylko przepalasz przepustowość całego zespołu. Dlatego sensowna praca nad growth zaczyna się przed budową wariantu, ustawieniem VWO czy Optimizely i przed pisaniem eventów do analityki.
Skala potrafi tu mylić. Booking.com i Amazon prowadzą tysiące testów A/B rocznie, ale wcześniej odcedzają hipotezy przez twardy filtr selekcji. W mniejszej firmie brak takiego filtra boli mocniej, bo każdy chybiony eksperyment zabiera większy kawałek dostępnych zasobów.
W zespole 5-osobowym dwa tygodnie na słabą hipotezę czuć od razu. Tego czasu nie odzyskasz w następnym sprincie.
Dobrze widać to na prostym przykładzie z jednego sprintu. Masz trzy hipotezy: zmianę cennika, skrócenie formularza i nowy blok social proof. Bez ICE scoringu często wygrywa pomysł najbardziej „medialny”, czyli nowa prezentacja cen, bo jest widoczna i od razu budzi emocje.
Po przeliczeniu wynik bywa inny. Skrócenie formularza dostaje wyższy łączny score, bo wdrożysz je szybciej, masz mocniejsze dane z nagrań sesji i szybciej zobaczysz realny efekt. Cały proces, od hipotezy do decyzji wdrożeniowej, porządkuje poradnik o projektowaniu i prowadzeniu eksperymentu growth.
ICE nie jest jedynym rozsądnym wyborem. RICE scoring dodaje Reach i Effort, a PIE scoring patrzy na Potential, Importance i Ease; oba modele też korzystają ze skali 1–10, tylko kładą akcent gdzie indziej. ICE przydaje się szczególnie wtedy, gdy trzeba szybko uporządkować backlog i dać wspólny język produktowi i marketingowi, przy wsparciu analityki.
Przy dużym wolumenie ruchu i szerokim portfelu inicjatyw RICE bywa trafniejszy, bo mocniej premiuje zasięg. Ten wybór warto dopasować do etapu firmy i sposobu pracy zespołu (jak wybrać właściwy framework growth dla swojej firmy i etapu rozwoju).[5]
Na końcu zostaje prosta zasada: zanim hipoteza wejdzie do sprintu, musi obronić trzy liczby. W backlogu zostają wtedy tylko hipotezy z policzonym wpływem, pewnością i łatwością.
Źródła
- https://cxl.com/conversion-optimization/learning-from-test-results/
- https://builtin.com/articles/aarrr-1
- https://optimizely.com/insights/blog/statistics-for-the-internet-age-the-story-behind-optimizelys-new-stats-engine/
- https://growthhackers.se/en/knowledgebank/growth-management/hypothesis-generation-and-experiments
- https://gopages.segment.com/rs/667-MPQ-382/images/TS-Content-Ebook-FiveFundamentalsGrowth-10.13.22.pdf
Dorian Zawadzki to redaktor i autor publikacji w serwisie Growthhacker.pl. Specjalizuje się w tematach związanych z marketingiem wzrostu, SEO, content marketingiem i analityką. Tworzy praktyczne materiały, które pomagają lepiej rozumieć narzędzia, strategie i procesy wspierające rozwój biznesu online.
