MailerLite A/B testi tulemuste analüüs

MailerLite A/B testi tulemuste analüüs ei peaks põhinema üksnes sellel, milline variant rohkem avati. Testi eesmärk on võrrelda kahe või kolme kirjaversiooni mõju soovitud tegevusele, näiteks tellimusele, registreerumisele või külastatud lehele. Usaldusväärsem valik lähtub mõõdikute kombinatsioonist, katse üles ehitusest ning sellest, kas saadud erinevus on piisavalt suur ja püsiv.

Enne tulemuste vaatlemist tasub kirja panna hüpotees, millist muudatust testitakse ja miks peaks see parandama tulemust. Seejärel kogutakse andmeid kindla ajavahemiku jooksul ning võrreldakse variante sama arvestusliku aluse järgi. Analüüs hõlmab nii esialgseid näitajaid kui ka võimalikke kõrvalmõjusid.

Mõõdikute valik ja tulemuste prioriteedid

Esmalt tuleb eristada esmast mõõdikut, mis näitab soovitud tulemust, ja lisamõõdikutest, mis aitavad tuvastada ohtlikke kõrvalnähte. Näiteks võib tellimuste arv olla esmane näitaja, kuid tellimuse väärtus, tühistamise määr ja registreerumisest loobumine toetada selle tõlgendamist. Üksnes ühe protsendiga kõrgem klikkimismäär ei pruugi olla piisav, kui teine variant toob rohkem kvaliteetsemaid tellimusi.

Avamismäära tõlgendamisel tuleb arvestada e-posti privaatsuslahendustega. Apple Mail Privacy Protection, eelnevad pildilaadimised ja turvapõhised skannerid võivad avamise registreerida ka siis, kui inimik kirja sisu ei vaatanud. Seetõttu on klikkimine, unikaalsete klikkide arv ja hiljem mõõdetav konversioon üldjuhul usaldusväärsemad. Kui võimalik, tuleb vaadata ka klikkide kvaliteeti, mitte nende koguarvu.

Kontrollida tuleb, millise nimetajaga MailerLite arvutab mõõdikud. Ühe variandi 1000 saajale 52 klikki tähendab 5,2% klikkimismäära, kuid teise variandi 45 klikki 2000 saajale annab vaid 2,25%. Sarnased protsendid võivad peidab erinevaid valikuid, kui testrühmade suurused või teiste tegevuste alused on erinevad.

Testi tingimuste kontrollimine

Usaldusväärse testi jaoks muudetakse korraga üht asja, näiteks ainult teemareаb või ainult sisu kujundust. Kui muutused toimuvad koos, ei saa lõpliku tulemuse põhjal otsustada, milline element aitas kõige rohkem. Sama kehtib saajate valiku kohta: võrdlus peab puudutama inimesi, kellel on võrreldav taust ja sõltumatu võimalus kirja avada.

Jaotamise mõte on sarnane sortimismütsi loogikaga: nähtav rühmade eristus ei pruugi seletada tegelikku käitumist ning ebaselged jaotused võivad juhuslikult osutuda tugevamaks. Seetõttu tuleb kontrollida testrühmade suurust, saajate aktiivsust ja seda, kas postkastidesse jõudis sama arv kirju. Erinevused kohalikus ajastuses, kollaboratsioonides või puhkustel võivad samuti tulemust moonutada.

Testi ajakava tuleb fikseerida enne käivitamist. Väike võitja erinevus võib tekkida juhuslikult, mistõttu ei piisa tulemuste vaatlemisest kohe esimeste klikkide saabumisel. Võrdlusperiood peaks kattuma olulise äritegevusega ning kestma piisavalt kaua, et selgituks ka hiljem tekkivad konversioonid.

Esimeste näitajate võrdlemine

MailerLite testiaruandes tuleb leida iga variandi saajate arv, avamismäär, klikkimismäär, konversioonid ning võimaluse korral tulu ja tagasisuunnistumised. Seejärel tuleb arvutada absoluutne ja suhteline erinevus. Kui ühe variandi klikkimismäär on 5,2% ja teisel 4,5%, on absoluutne erinevus 0,7 protsendipunkti ning suhteline kasv ligikaudu 15,6%.

Näiteks võib suurema klikkimismäära variant näida parem, kuid teisel variandil on klikkide arvestuslik teisendus tellimusteks kõrgem. Seetõttu tuleb klikkimismäära kõrval vaadata ka klikist konversiooni määra ja ühe tellimuse keskmist väärtust. Väheste klikkide korral võib üksik ebatavaline tegevus muuta protsendi tugevalt, mistõttu suhteline kasv ei tähenda veel kestvat paremust.

Avamise ja klikkimise kogumist võivad mõjutada seadme eelnev seisund, vana rakendus või automaatsed turvarežiimid. Puhta võrdluskeskkonna loomiseks võib iPhone'i puhul kasutada iPhone paigaldus juhiseid. Sama puhtuse ja samade seadmete eeldus peab kehtima kõigi testis osalejate puhul.

Statistilise usaldusväärsuse tõlgendamine

Suurem näitaja ei pruugi olla statistiliselt usaldusväärne võitja. Usaldusväärsuse hindamine näitab, kas tulemuse erinevus on kooskõlas juhusliku kõikumisega või annab alust pidada seda süstemaatiliseks. Kui aruandes on p-väärtus, tuleb kontrollida, kas selle tõlgendus on tehtud õigesti; väärtus alla 0,05 ei tähenda, et võitja on 95% tõenäosusega õige.

Protsentide võrdlemisel tuleb arvestada valimi suurust ja katse kestust. Liiga väike valim võib näidata suurt erinevust, mis järgmises sõnumis kaob. Samuti ei tohi katse ajal muuta saajate jaotust, lisada uusi pakkumisi ega muuta jälgimist, sest need tegevused muudavad võrdlusaluse. Testi lõpus tuleb eristada kindlalt välja arenenud eelistust ajutisest kõikumisest.

Statistiline usaldusväärsus ei välista praktilist tähtsusetust. Võit võib olla tõeline, kuid liiga väike, et katsetada uusi protsesse, korraldada lisakampaania või muuta põhipaketti. Seetõttu tuleb statistilise tulemuse kõrval hinnata ka lisatud väärtust, teostuskoormust ja võimalust tulemust korrata.

Kõrvalmõjude ja segurite tuvastamine

Testi tulemust võivad mõjutada kohalised tegurid, mida MailerLite aruandes ei näita. Näiteks võivad rühmad erineda ostustsükli, seadme tüübi, piirkonna või varasema kaasatuse poolest. Samuti tuleb kontrollida, kas mõlemad variandid jõudisid postkastidesse, kas jälgimissüsteem registreeris tegevused ühesuguselt ja kas samal ajal toimus muid kampaaniat või väliseid pakkumisi.

Tehnilised katkestused võivad samuti tekitada näilise erinevuse. Testi ajal intensiivselt kasutatud nutitelefon võib kuumeneda, rakendus võib sulgeda või automaatne teavitus võib katkestada vaatamise. Ülekuumenemise põhjused on seetõttu oluline kontrollpunkt, kui katseandmeid kogutakse või kinnitatakse käsitsi mobiilseadmete abil.

Erinevuste olemasolul tuleb vaadata ka ettevaatlikult valitud alamrühmi, näiteks uusi ja pikaajalisi tellijaid. Liiga väikesed alamrühmad annavad ebausaldusväärseid protsente ning vähemalt kaks korda erinevate alapunktide kontrollimine suurendab juhusliku võidu riski. Selgelt eelnevalt kirjeldatud erinevus võib olla oluline, hiljem leitud tugevam erinevus aga sageli andmete meelemängu tulemus.

Praktilise analüüsi soovitused

Enne tulemuste tegemist tasub kasutada järgmisi analüüsipõhimõtteid:

• Määra üks esmane mõõdik, mis kirjeldab soovitud ärakasundit, ning lisa sellele kaks või kolm kaitsvat näitajat.
• Muuda korraga ainult üht olulist elementi, et saadud erinevuse põhjus oleks üheselt tuvastatav.
• Kirjuta hüpotees, oodatav mõju ja katse kestus enne tulemuste avamist.
• Võrdle variante sama nimetaja järgi ning arvuta absoluutne ja suhteline muutus eraldi.
• Kontrolli koos klõpsustega tulusid, tühistamisi, registreerumisi ja rõõhutamiste määra.
• Korruta tugeva tulemusega variant uuel valimikul, et veenduda selle püsivuses.

Need soovitused ei välista ekslikku tõlgendust, kuid muudavad otsuse läbipaistvaks ja võimaldavad järgmises katses parandada nähtavaid puudujääke. Oluline on säilitada ka kontrollrühm või vähemalt dokumenteerida, millal võitja kasutusele võeti.

Tulemuste jõustamine ja järgmine katse

Võitja valik peaks põhinema eesmärgilisel tegevusel, usaldusväärsel andmemahul ja katse tingimuste vastavusel tegelikule kampaaniale. Kui tulemus on tugev, tuleb see rakendada järgmistele samalaadsetele kirjadele, jättes võrdlusaluse võimalusel alles. Nii selgub, kas paremus tulenes konkreetsest muudatusest või üksnes auditorni korrast.

Iga katse lõpus tuleb talletada kasutatud hüpoteesi, variandid, mõõdikud, valemi suuruse ja saadud tulemuse. See teave muudab järgmise katse planeerimise kiireks ning väldib sama nõrga variandi korduvat katsetamist. Tulemused on tõendid konkreetse katse kohta, mitte püsiv lubadus, et sama lahendus toimib kõigil saajatel.

Järgmine kindel samm on lisada MailerLite katsete aruandesse valitud võitja, selle peamised mõõdikud, statistiline usaldusväärsus, võimalikud kõrvalmõjud ja järgmise testi hüpotees.