nav line

5 dôvodov, prečo váš A/B test nefunguje

Spustili ste A/B test, ale ani po dlhšej dobe z neho nevypadol rozumný výsledok. V čom je problém?

Web je pre vás dôležitý predajný kanál, a tak sledujete konverzie a vymýšľate spôsoby, ako ich zlepšiť. V tom prípade pre vás, prípadne pre vašu agentúru pojem A/B test nie je cudzí. Ak je, tak by určite nemal byť. A/B test je veľmi užitočná a v procese zlepšovania konverzií nenahraditeľná vec. Vytváranie hypotéz, ich overovanie a v prípade, že fungujú, nasadenie na web. A čísla rastú.

Toľko teórie. V praxi to samozrejme až tak jednoducho nefunguje. Hlavne, ak čakáte na výsledok testu, ale buď žiadny neprichádza, alebo vám v rozhodovaní veľmi nepomôže. “Kde je chyba?” pýtate sa. Odpoveď vás nepoteší, ale pravdepodobne je chyba vo vás, pretože robíte jednu z vecí, na ktoré by ste si pri A/B teste mali dať pozor.

1. Testovanie nestojí na hypotéze

“Namiesto modrého tlačidla dáme zelené tlačidlo a uvidíme.” Takéto zadanie pre A/B test nie je až tak neobvyklé, a tak, ako v mnohých iných prípadoch, by mala po ňom nasledovať otázka: “Prečo?” Skúste túto otázku položiť sami sebe vždy, keď vymýšľate podobnú zmenu na webe. Prečo by mala byť zelená farba pre tlačidlo lepšia ako modrá? Vysvetlenie by malo brať ohľad na užívateľa, ktorému je jedno, že zelená je vaša obľúbená farba. To, čo potrebujete, je hypotéza. "Stránka obsahuje rôzne modré prvky a zelená farba je v kontraste s nimi viac výrazná ako modrá,” poviete. "Zelená je pozitívna farba a v ľuďoch evokuje posun vpred podobne ako na semafore, ” vyjadrí sa kolega s psychologickými vlohami. Obidve hypotézy sú v poriadku. Nemusia byť stopercentné, potrebujete mať pre nich logický základ a elementárnu znalosť užívateľského správania. A/B test je tu preto, aby vám hypotézu potvrdil, alebo vyvrátil.

Testovať bez hypotézy je ako hádzať šípky do terča. Možno niečo trafíte, ale primárne je výsledok založený na náhode. Ak to dáme do súvislosti s testovaním farby tlačidla, tak porovnávanie modrej a inej náhodne zvolenej farby z rozumnej palety (svetlo šedé tlačidlo na bielom podklade sa rozumnou možnosťou nazvať nedá) vám dá rovnako náhodný výsledok, ako keď testujete dvakrát to isté modré tlačidlo.

2. Porovnávate viac ako jednu vec

Vrátime sa k modrému tlačidlu. Pomôže konverzii zmena jeho farby? Máme hypotézu, ktorá tvrdí, že áno. Možno by konverzii tiež pomohlo, ak by sme odstránili odstavec textu nad formulárom. Máme na to tiež dobrú hypotézu. Rovnako aj na zmenu veľkosti nadpisu, odstránenie položky formulára a ďalších troch vecí na stránke. Otestujme to všetko, ideálne naraz. Po týždni zistíme, že nový variant je menej konverzný, než pôvodný.

Asi tušíte, kde je problém. Je v tom, že testom zistím, či bola hypotéza správna, alebo nie. Neviem ale určiť, ktorá. Testovanie viacerých zmien súčasne je problematické v tom, že zmeny sa navzájom ovplyvňujú. Jedna nesprávna zmena tak dokáže znížiť konverznosť celej varianty, ak napriek tomu, že ostatné zmeny konverznosť zlepšujú.

3. Bežiaca kampaň v priebehu testovania

Kampane sú skvelý spôsob ako vytvoriť povedomie o samotnej službe, alebo produkte a zvýšiť návštevnosť webu a počet konverzií. Rukou v ruke s tým ale prichádza aj výrazné a väčšinou negatívne ovplyvnenie štatistík. Rovnako aj A/B testu. Prečo je to tak?

Kampane privedú na web ľudí, ktorí prídu za účelom získať váš produkt, prípadne sa pre jeho získanie rozhodnú počas návštevy. Privedú aj veľkú skupinu ľudí, ktorých len zaujala reklama, ale o produkt, alebo službu reálny záujem nemajú. Títo ľudia buď web hneď opustia, preklikajú si ho, alebo dokonca začnú konverzný proces a v polovici z neho odídu. Na webe klesne pomer konverzií k návštevnosti, čo sa výrazne prejaví v teste, kde obidva varianty majú tak nízky konverzný pomer, že sa medzi nimi minimalizuje rozdiel a je problematické vybrať víťazný variant.

4. Miera konverzie je príliš nízka

Súvisí s predošlým bodom, ale prejavuje sa aj bez toho, aby ste mali spustenú kampaň alebo iný aktívny zdroj návštevnosti. Je to trochu ako začarovaný kruh. Chcete zvýšiť konverzie, ale A/B test trvá hrozne dlho, pretože obidva varianty majú veľmi nízke konverzie. Čo v takej chvíli? Zvážiť, či má zmysel test robiť a či podobné drobné úpravy majú šancu konverzie zlepšiť. Skutočný problém možno bude v produkte, forme, ktorou ho poskytujete, alebo v nevhodnom zdroji návštevnosti. Treba si uvedomiť, že A/B test nie je univerzálny spasiteľ a nabúrané auto nestačí prelakovať.

5. Závislé testovania

Viac než o chybu, ide o nedostatok A/B testovania. Výsledok jedného môže ovplyvniť druhé a nakoniec síce získate lepší variant, než bola pôvodná stránka, ale nemusí to byť najlepší možný variant. O ten v priebehu testovania prídete.

Predstavte si, že testujete modré a zelené tlačidlo. Výsledkom je, že zelené tlačidlo je konverznejšie. Následne prídete s hypotézou, že text B by mohol v tlačidle z nejakého dôvodu fungovať lepšie ako pôvodný text A. Spravíte nový test a zistíte, že hypotéza bola správna a text B je konverznejší.

Získali ste ten najlepší variant? Možno nie. Čo ak by text B fungoval ešte lepšie na pôvodnom modrom tlačidle? Túto otázku je dôležité si položiť ešte pred prvým testovaním a použiť Multivariantné testovanie. Netestujete proti sebe 2, ale 4 varianty: Modré tlačidlo s textom A, Modré tlačidlo s textom B, Zelené tlačidlo s textom A, Zelené tlačidlo s textom B. Takýto test bude samozrejme trvať dlhšie, ale jeho výsledkom je ten najlepší možný variant tlačidla.

Ako sa podobným chybám vyhnúť?

Nemusíte byť zbehlý v štatistike, ale dokonale ovládať proces, akým A/B test funguje. Dôležité je plánovať dlhodobejšie a opierať vždy testovanie o reálne hypotézy. Ideálne je využiť služby webového integrátora, ktorý má s testovaním skúsenosti a dokáže vám okrem suchého výsledku aj vyhodnotiť, prečo je výsledok taký aký je. Vtedy bude mať A/B testovanie pre vás skutočný prínos.

Ohodnoťte článek

5 dôvodov, prečo váš A/B test nefunguje

Související články

Vyhledávání na blogu

Webová integrace

Webová integrace jako nová oblast pro business „velkých" webových agentur.

o webové integraci

Profily blogujících