Optimizely Intelligence Cloud: Ako používať nástroj Stats Engine na testovanie A/B inteligentnejšie a rýchlejšie

Optimizely Stats Engine a stratégie testovania A/B

Ak chcete spustiť experimentálny program, ktorý pomôže vášmu podniku testovať a učiť sa, pravdepodobne ho používate Optimizely Intelligence Cloud - alebo ste si to aspoň pozreli. Optimizely je jedným z najsilnejších nástrojov v hre, ale ako každý takýto nástroj ho môžete použiť nesprávne, ak nerozumiete jeho fungovaniu. 

Čo robí Optimizely tak silným? Jadrom sady funkcií je najinformovanejší a najintuitívnejší štatistický nástroj v nástroji tretej strany, ktorý vám umožní zamerať sa viac na zverejnenie dôležitých testov-bez toho, aby ste sa museli obávať, že svoje výsledky interpretujete nesprávne. 

Podobne ako tradičné slepé štúdium medicíny, A / B testovanie náhodne ukáže rôzne ošetrenie vášho webu rôznym používateľom a potom porovnať účinnosť jednotlivých ošetrení. 

Štatistiky nám potom pomáhajú urobiť závery o tom, ako účinná môže byť táto liečba z dlhodobého hľadiska. 

Väčšina nástrojov na testovanie A/B sa spolieha na jeden z dvoch typov štatistických záverov: Frequentist alebo Bayesian štatistiky. Každá škola má rôzne klady a zápory - Frequentist štatistika vyžaduje, aby bola veľkosť vzorky stanovená pred vykonaním experimentu, a Bayesovská štatistika sa stará hlavne o to, aby robila dobré smerové rozhodnutia, než aby špecifikovala akýkoľvek jednotlivý údaj o vplyve, aby sme uviedli dva príklady. Veľmocou spoločnosti Optimizely je, že je to jediný nástroj, ktorý je dnes na trhu k dispozícii najlepšie z oboch svetov prístup.

Konečný výsledok? Optimizely umožňuje používateľom vykonávať experimenty rýchlejšie, spoľahlivejšie a intuitívnejšie.

Aby ste to však mohli naplno využiť, je dôležité porozumieť tomu, čo sa deje v zákulisí. Tu je 5 postrehov a stratégií, ktoré vám pomôžu používať možnosti Optimizely ako profesionál.

Stratégia č. 1: Pochopte, že nie všetky metriky sú vytvárané rovnako

Vo väčšine testovacích nástrojov je často prehliadaným problémom, že čím viac metrík v rámci testu pridáte a sledujete, tým je väčšia pravdepodobnosť, že v dôsledku náhodnej náhody uvidíte niektoré nesprávne závery (v štatistikách sa tomu hovorí „problém viacnásobného testovania“ “). Aby boli výsledky spoľahlivé, Optimizely používa sériu ovládacích prvkov a opráv, aby udržala pravdepodobnosť, že sa to stane, čo najnižšiu. 

Tieto ovládacie prvky a opravy majú dva dôsledky, keď idete nastaviť testy v Optimizely. Najprv metrika, ktorú označíte ako svoju Primárna metrika dosiahne štatistickú významnosť najrýchlejšie, všetky ostatné veci sú konštantné. Za druhé, čím viac metrík do experimentu pridáte, tým dlhšie bude vašim neskorším metrikám trvať, kým dosiahnu štatistickú významnosť.

Pri plánovaní experimentu uistite sa, že viete, ktorá metrika bude vašim pravým severom v procese rozhodovania, urobte z toho svoju primárnu metriku. Potom nechajte zvyšok svojho zoznamu metrík chudý a odstráňte všetko, čo je príliš nadbytočné alebo tangenciálne.

Stratégia č. 2: Vytvorte si vlastné atribúty

Optimizely je skvelý spôsob, ako vám poskytnúť niekoľko zaujímavých a užitočných spôsobov, ako segmentovať výsledky experimentu. Môžete napríklad preskúmať, či niektoré ošetrenia fungujú lepšie v počítačoch a mobilných zariadeniach, alebo môžete sledovať rozdiely medzi zdrojmi návštevnosti. Keď však váš experimentálny program dozrie, rýchlo si budete priať nové segmenty-môžu byť špecifické pre váš prípad použitia, napríklad segmenty pre jednorazové nákupy vs. nákupy predplatného alebo ako všeobecné informácie pre „noví vs. vracajúci sa návštevníci“ (ktoré, úprimne povedané, stále nemôžeme prísť na to, prečo to nie je dodané ihneď po vybalení z krabice).

Dobrou správou je, že prostredníctvom poľa Project Javascript spoločnosti Optimizely môžu inžinieri oboznámení s Optimizely vytvoriť ľubovoľný počet zaujímavých vlastných atribútov, ku ktorým môžu byť návštevníci priradení a segmentovaní. V spoločnosti Cro Metrics sme vybudovali množstvo akciových modulov (ako „noví vs. vracajúci sa návštevníci“), ktoré inštalujeme pre všetkých našich klientov prostredníctvom ich Project Javascriptu. Využitie tejto schopnosti je kľúčovým rozdielom medzi vyspelými tímami, ktoré majú správne technické zdroje, ktoré im pomôžu pri realizácii, a tímami, ktoré sa snažia naplno využiť potenciál experimentovania.

Stratégia č. 3: Pozrite sa na Optimizely's Stats Accelerator

Jednou z často preplnených funkcií testovacieho nástroja je schopnosť používať „viacramenných banditov“, typ algoritmu strojového učenia, ktorý sa v priebehu experimentu dynamicky mení tam, kde je v rámci experimentu alokovaná vaša návštevnosť, a tak na „víťazné“ stránky poslať čo najviac návštevníkov. variácia ako je to možné. Problém s viacramennými banditmi je, že ich výsledky nie sú spoľahlivými ukazovateľmi dlhodobej výkonnosti, takže prípad použitia pre tieto typy experimentov je obmedzený na časovo citlivé prípady, ako sú napríklad predajné akcie.

Optimálne však má k dispozícii iný typ banditského algoritmu pre používateľov s vyššími plánmi - Stats Accelerator (teraz známy ako možnosť „Urýchliť učenie“ v Bandits). V tomto nastavení Optimizely namiesto toho, aby sa pokúšal dynamicky alokovať návštevnosť k variáciám s najvyššou výkonnosťou, dynamicky alokoval návštevnosť k variáciám, ktoré pravdepodobne najrýchlejšie dosiahnu štatistickú významnosť. Týmto spôsobom sa môžete učiť rýchlejšie a zachovať si replikovateľnosť tradičných výsledkov A/B testov.

Stratégia č. 4: Pridajte emodži do svojich metrických mien

Na prvý pohľad táto myšlienka pravdepodobne znie nemiestne, dokonca až nerozumne. Kľúčovým aspektom uistenia sa, že čítate správne výsledky experimentu, však začína uistenie, že vaše publikum porozumie otázke. 

Niekedy aj napriek všetkému nášmu úsiliu môžu byť názvy metrík mätúce (počkajte - spustí sa táto metrika pri prijatí objednávky alebo keď používateľ prejde na stránku s poďakovaním?), Alebo experiment má toľko metrík, že posúvanie výsledkov nahor a nadol stránka vedie k celkovému kognitívnemu preťaženiu.

Pridanie ikon emodži do názvov metrík (ciele, zelené začiarkavacie značky, dokonca aj veľký vak s peniazmi môže fungovať) môže viesť k stránkam, ktoré sa dajú oveľa viac skenovať. 

Verte nám - čítanie výsledkov bude oveľa jednoduchšie.

Stratégia č. 5: Zvážte svoju úroveň štatistického významu

Výsledky sa v kontexte experimentu Optimizely považujú za presvedčivé, keď sa dosiahnu štatistický význam. Štatistický význam je náročný matematický termín, ale v zásade je to pravdepodobnosť, že vaše pozorovania sú výsledkom skutočného rozdielu medzi dvoma populáciami, a nie iba náhodnou náhodou. 

Úrovne štatistickej významnosti uvádzané spoločnosťou Optimizely sú „vždy platné“ vďaka matematickému konceptu, ktorý sa nazýva sekvenčné testovanie - vďaka tomu sú v skutočnosti oveľa spoľahlivejšie než ostatné testovacie nástroje, ktoré sú náchylné na všetky druhy problémov s „pokukovaním“, ak si ich prečítate príliš skoro.

Stojí za zváženie, akú úroveň štatistickej významnosti považujete za dôležitú pre svoj testovací program. Aj keď je 95% vo vedeckej komunite zvykom, testujeme zmeny webových stránok, nie vakcín. Ďalšia bežná voľba v experimentálnom svete: 90%. Ste však ochotní prijať trochu viac neistoty, aby ste mohli rýchlejšie vykonávať experimenty a testovať viac nápadov? Mohli by ste použiť 85% alebo dokonca 80% štatistickú významnosť? Zameranie sa na svoj zostatok rizika a odmeny môže v priebehu času vyplácať exponenciálne dividendy, preto si to dobre premyslite.

Prečítajte si viac o Optimizely Intelligence Cloud

Týchto päť rýchlych zásad a postrehov bude pri použití Optimizely neuveriteľne užitočné mať na pamäti. Ako pri každom nástroji, aj pri ňom ide o to, aby ste sa uistili, že dobre rozumiete všetkým zákulisným prispôsobeniam, aby ste sa mohli uistiť, že nástroj používate efektívne a efektívne. S týmito porozumeniami môžete získať spoľahlivé výsledky, ktoré hľadáte, kedykoľvek ich potrebujete. 

Čo si myslíte?

Táto stránka používa Akismet na zníženie spamu. Zistite, ako sa spracúvajú údaje vašich komentárov.