Come fare test A / B: una lista di controllo che vuoi segnalibro

I vantaggi del test A / B

Il test A / B ha una moltitudine di vantaggi per un team di marketing, a seconda di cosa si decide di testare. Soprattutto, tuttavia, questi test sono preziosi per un'azienda perché hanno un costo basso ma un alto rendimento.

Supponiamo che impieghi un creatore di contenuti per $ 50.000 / anno. Questo autore di contenuti pubblica cinque articoli a settimana per il blog aziendale, producendo 260 articoli all'anno. Se il post medio sul blog dell'azienda genera 10 lead, si potrebbe dire che costa poco più di $ 192 per generare 10 lead per l'azienda ($ 50.000 stipendi ÷ 260 articoli = $ 192 per articolo). Questo è un bel pezzo di cambiamento.

Ora, se chiedi a questo creatore di contenuti di dedicare due giorni allo sviluppo di un test A / B uno articolo, invece di scrivere Due articoli in quel periodo di tempo, potresti bruciare $ 192 perché pubblichi un articolo in meno. Tuttavia, se il test A / B rileva che è possibile aumentare il tasso di conversione di ogni articolo da 10 a 20 lead, hai appena speso $ 192 per raddoppiare potenzialmente il numero di clienti che la tua attività ottiene dal tuo blog.

Se il test fallisce, ovviamente, hai perso $ 192 – ma ora puoi fare il tuo Il prossimo Test A / B ancora più istruiti. Se il secondo test riesce a raddoppiare il tasso di conversione del tuo blog, alla fine hai speso $ 284 per raddoppiare potenzialmente le entrate della tua azienda. Indipendentemente dal numero di volte in cui il test A / B fallisce, il suo eventuale successo sarà quasi sempre superiore al costo per eseguirlo.

Esistono molti tipi di test divisi che puoi eseguire per rendere l'esperimento all'altezza. Ecco alcuni obiettivi comuni che i marketer hanno per la loro attività quando test A / B:

• Aumento del traffico del sito web: Testare diversi post di blog o titoli di pagine Web può modificare il numero di persone che fanno clic su quel titolo con collegamenti ipertestuali per arrivare al tuo sito web. Ciò può aumentare il traffico del sito Web di conseguenza.
• Più alto tasso di conversione: Provare diverse posizioni, colori o persino ancorare il testo sui tuoi CTA può cambiare il numero di persone che fanno clic su questi CTA per arrivare a una pagina di destinazione. Ciò può aumentare il numero di persone che compilano moduli sul tuo sito Web, invia loro le informazioni di contatto e "converti" in un lead.
• Frequenza di rimbalzo più bassa: Se i visitatori del tuo sito web lasciano (o "rimbalzano") rapidamente dopo aver visitato il tuo sito web, testare diverse introduzioni di post di blog, caratteri o immagini di caratteristiche possono ridurre questa frequenza di rimbalzo e trattenere più visitatori.
• Abbandono del carrello inferiore: Le aziende di e-commerce vedono che il 40 – 75% dei clienti lascia il proprio sito web con articoli nel proprio carrello, secondo MightyCall. Questo è noto come "abbandono del carrello della spesa". Test di foto di prodotti diversi, check-out di disegni di pagina e anche dove vengono visualizzati i costi di spedizione può ridurre questo tasso di abbandono.

Passiamo ora alla lista di controllo per configurare, eseguire e misurare un test A / B.

Come condurre i test A / B

Prima del test A / B

1. Scegli una variabile da testare.

Mentre ottimizzi le tue pagine web ed email, potresti scoprire che ci sono un certo numero di variabili che vuoi testare. Ma per valutare quanto sia efficace un cambiamento, vorrai isolare una "variabile indipendente" e misurare le sue prestazioni – altrimenti, non puoi essere sicuro di quale fosse responsabile per i cambiamenti nelle prestazioni.

Puoi testare più di una variabile per una singola pagina web o email; assicurati di testarli uno alla volta.

Guarda i vari elementi nelle tue risorse di marketing e le loro possibili alternative per il design, la formulazione e il layout. Altre cose che potresti testare includono le linee dell'oggetto e-mail, i nomi dei mittenti e diversi modi per personalizzare le tue e-mail.

Tieni presente che anche modifiche semplici, come la modifica dell'immagine nella tua email o le parole sul pulsante di invito all'azione, possono portare grandi miglioramenti. In effetti, questi tipi di modifiche sono solitamente più facili da misurare rispetto a quelli più grandi.

Nota: Ci sono alcune volte in cui ha più senso testare più variabili piuttosto che una singola variabile. Questo è un processo chiamato test multivariato. Se ti stai chiedendo se dovresti eseguire un test A / B rispetto a un test multivariato, ecco un utile articolo di Optimizely che mette a confronto i due.

2. Identifica il tuo obiettivo.

Anche se misurerai un numero di metriche per ogni test, scegli una metrica principale su cui concentrarti: prima tu corri il test. In effetti, fallo prima ancora di impostare la seconda variante. Questa è la tua "variabile dipendente".

Pensa a dove vuoi che questa variabile si trovi alla fine della prova divisa. Potresti dichiarare un funzionario ipotesi ed esaminare i risultati in base a questa previsione.

Se aspetti più tardi a riflettere su quali metriche sono importanti per te, quali sono i tuoi obiettivi e in che modo le modifiche che stai proponendo potrebbero influenzare il comportamento degli utenti, potresti non impostare il test nel modo più efficace.

3. Creare un "controllo" e uno "sfidante".

Ora hai la tua variabile indipendente, la tua variabile dipendente e il risultato desiderato. Utilizza queste informazioni per impostare la versione inalterata di qualsiasi cosa tu stia testando come "controllo". Se stai testando una pagina web, questa è la pagina web inalterata come già esiste. Se stai testando una pagina di destinazione, questa sarebbe la progettazione e la copia della pagina di destinazione che utilizzeresti normalmente.

Da lì, crea una variante o uno "sfidante": il sito web, la pagina di destinazione o l'email per metterti alla prova contro il tuo controllo. Ad esempio, se ti stai chiedendo se includere una testimonianza su una pagina di destinazione possa fare la differenza, imposta la tua pagina di controllo senza testimonianze. Quindi, crea la tua variazione con una testimonianza.

4. Dividi i tuoi gruppi di campioni in modo uguale e casuale.

Per i test in cui hai più controllo sul pubblico, come con le e-mail, devi testare con due o più udienze uguali per avere risultati conclusivi.

Il modo in cui lo fai varia in base allo strumento di test A / B che utilizzi. Se sei un cliente HubSpot Enterprise che esegue un test A / B su un'email, ad esempio, HubSpot suddivide automaticamente il traffico verso le tue varianti in modo che ogni variazione ottenga un campione casuale di visitatori.

5. Determinare la dimensione del campione (se applicabile).

Il modo in cui determini le dimensioni del tuo campione varierà anche in base allo strumento di test A / B e al tipo di test A / B in esecuzione.

Se esegui il test A / B di un'email, probabilmente vorresti inviare un test A / B a una porzione più piccola dell'elenco per ottenere risultati statisticamente significativi. Alla fine, sceglierai un vincitore e invierai la variante vincente al resto della lista. (Per ulteriori informazioni sul calcolo della dimensione del campione, consultare l'ebook "The Science of Split Testing" alla fine di questo articolo).

Se sei un cliente di HubSpot Enterprise, avrai un po 'di aiuto nel determinare la dimensione del tuo gruppo di campioni usando un cursore. Ti consente di eseguire un test 50/50 A / B di qualsiasi dimensione del campione, anche se tutte le altre divisioni del campione richiedono un elenco di almeno 1.000 destinatari.

Se stai provando qualcosa non lo fa avere un pubblico limitato, come una pagina web, quindi quanto tempo manterrai attivo il test influirà direttamente sulle dimensioni del tuo campione. Dovrai far funzionare il test abbastanza a lungo per ottenere un numero considerevole di visualizzazioni, altrimenti sarà difficile stabilire se ci sia una differenza statisticamente significativa tra le due varianti.

6. Decidi quanto devono essere significativi i tuoi risultati.

Una volta che hai scelto la metrica dell'obiettivo, pensa a quanto i tuoi risultati devono essere significativi per giustificare la scelta di una variazione rispetto a un'altra. Il significato statistico è una parte molto importante del processo di test A / B che spesso viene frainteso. Se hai bisogno di un aggiornamento sulla significatività statistica dal punto di vista del marketing, ti consiglio di leggere questo post sul blog.

Maggiore è la percentuale del tuo livello di confidenza, più sicuro puoi essere sui tuoi risultati. Nella maggior parte dei casi, è necessario un livello di confidenza del 95% minimo, preferibilmente del 98%, soprattutto se si tratta di un esperimento che richiede molto tempo. Tuttavia, a volte ha senso usare un indice di confidenza più basso se non si ha bisogno che il test sia rigoroso.

Matt Rheault, ingegnere informatico senior presso HubSpot, ama pensare a significatività statistica come piazzare una scommessa. A quale quota stai scommettendo? Dire "Sono sicuro all'80% che questo sia il progetto giusto e sono disposto a scommettere tutto su di esso" è simile a eseguire un test A / B con una significatività dell'80% e quindi dichiarare un vincitore.

Rheault dice anche che probabilmente vorrai una soglia di confidenza più elevata quando testerai qualcosa che migliora solo leggermente il tasso di conversazione. Perché? Perché la varianza casuale ha maggiori probabilità di svolgere un ruolo più importante.

"Un esempio in cui potremmo sentirci più sicuri abbassando la soglia di confidenza è un esperimento che probabilmente migliorerà il tasso di conversione del 10% o più, come una sezione eroe ridisegnata", ha spiegato. "Il takeaway è che più il cambiamento è radicale, meno scientifico è necessario essere process-wise. Più specifica è la modifica (colore del pulsante, copia micro, ecc.), Più scientifico dovremmo essere perché la modifica ha meno probabilità di avere un impatto notevole e notevole sul tasso di conversione. "

7. Assicurati di eseguire solo un test alla volta su qualsiasi campagna.

Testare più di una cosa per una singola campagna, anche se non è sulla stessa risorsa, può complicare i risultati. Ad esempio, se esegui il test A / B di una campagna email che indirizza a una pagina di destinazione nello stesso momento in cui esegui il test A / B sulla pagina di destinazione … come puoi sapere quale modifica ha causato l'aumento dei lead?

Durante il test A / B

8. Utilizzare uno strumento di test A / B.

Per eseguire un test A / B sul tuo sito web o in un'email, dovrai utilizzare uno strumento di test A / B. Se sei un cliente HubSpot Enterprise, il software HubSpot ha funzionalità che ti consentono di inviare e-mail di prova A / B (scopri come qui), inviti all'azione (scopri come qui) e pagine di destinazione (scopri come).

Per i clienti non HubSpot Enterprise, altre opzioni includono Esperimenti di Google Analytics, che ti consentono di testare fino a 10 versioni complete di una singola pagina Web e confrontare le loro prestazioni utilizzando un campione casuale di utenti.

9. Provare entrambe le variazioni contemporaneamente.

Il tempismo gioca un ruolo significativo nei risultati della campagna di marketing, sia che si tratti dell'ora del giorno, del giorno della settimana o del mese dell'anno. Se dovessi eseguire la Versione A durante un mese e la Versione B un mese dopo, come faresti a sapere se la modifica delle prestazioni è stata causata dal diverso design o dal diverso mese?

Quando esegui i test A / B, dovrai eseguire le due varianti contemporaneamente, altrimenti potresti non essere più in grado di indovinare i risultati.

L'unica eccezione qui è se stai testando il timing stesso, come trovare i tempi ottimali per l'invio di e-mail. Questa è una grande cosa da testare perché, a seconda di ciò che offre la tua attività e di chi sono i tuoi abbonati, il momento ottimale per l'impegno degli iscritti può variare in modo significativo dall'industria e dal mercato di riferimento.

10. Dai al test A / B il tempo necessario per produrre dati utili.

Anche in questo caso, dovrai assicurarti di lasciare il test eseguito abbastanza a lungo per ottenere una dimensione di campione sostanziale. Altrimenti, sarà difficile dire se ci sia una differenza statisticamente significativa tra le due varianti.

Quanto tempo è abbastanza a lungo? A seconda della tua azienda e del modo in cui esegui il test A / B, ottenere risultati statisticamente significativi potrebbe verificarsi in ore … o giorni … o settimane. Gran parte del tempo necessario per ottenere risultati statisticamente significativi è la quantità di traffico che ottieni, quindi se la tua azienda non riceve molto traffico sul tuo sito web, ci vorrà molto più tempo per eseguire un A / B test.

In teoria, non dovresti limitare il tempo in cui raccogli i risultati. (Leggi questo post sul blog per ulteriori informazioni sulla dimensione e sui tempi del campione.)

11. Richiedi feedback da utenti reali.

Il test A / B ha molto a che fare con i dati quantitativi … ma questo non ti aiuterà necessariamente a capire perché le persone prendono certe azioni sugli altri. Mentre esegui il tuo test A / B, perché non raccogli feedback qualitativi da utenti reali?

Uno dei modi migliori per chiedere alle persone le loro opinioni è attraverso un sondaggio o sondaggio. Puoi aggiungere un sondaggio di uscita sul tuo sito che chiede ai visitatori perché non hanno fatto clic su un determinato invito o su una delle pagine di ringraziamento che chiede ai visitatori perché hanno fatto clic su un pulsante o compilato un modulo.

Potresti scoprire, ad esempio, che molte persone hanno fatto clic su un invito all'azione che li ha portati a un ebook, ma una volta che hanno visto il prezzo, non hanno convertito. Questo tipo di informazioni ti fornirà molte informazioni sul perché i tuoi utenti si comportano in determinati modi.

Dopo il test A / B

12. Concentrati sulla metrica dell'obiettivo.

Anche in questo caso, anche se misurerai più metriche, concentrati sulla metrica dell'obiettivo principale quando esegui l'analisi.

Ad esempio, se hai testato due varianti di un'email e hai scelto i lead come metrica principale, non lasciarti coinvolgere dalla frequenza aperta o dalla percentuale di clic. Potresti visualizzare un'alta percentuale di clic e tassi di conversione mediocri, nel qual caso potresti finire scegliendo la variante con una percentuale di clic inferiore alla fine.

13. Misura il significato dei tuoi risultati usando il nostro calcolatore di test A / B.

Ora che hai determinato quale variante ha il rendimento migliore, è il momento di determinare se i tuoi risultati sono statisticamente significativi. In altre parole, sono sufficienti per giustificare un cambiamento?

Per scoprirlo, è necessario condurre un test di rilevanza statistica. Potresti farlo manualmente … oppure puoi semplicemente collegare i risultati dell'esperimento al nostro calcolatore di test A / B gratuito. Per ciascuna variante testata, ti verrà richiesto di inserire il numero totale di tentativi, come le email inviate o le impressioni viste. Quindi, inserisci il numero di obiettivi completati, in genere guarderai i clic, ma potrebbero anche esserci altri tipi di conversioni.

Il calcolatore sputerà il livello di confidenza che i tuoi dati producono per la variazione vincente. Quindi, misurare quel numero rispetto al valore scelto per determinare la significatività statistica.

14. Agire in base ai risultati.

Se una variazione è statisticamente migliore dell'altra, hai un vincitore. Completa il test disattivando la variazione perdente nel tuo strumento di test A / B.

Se nessuna variazione è statisticamente migliore, hai appena appreso che la variabile testata non ha avuto un impatto sui risultati e dovrai contrassegnare il test come non conclusivo. In questo caso, attenersi alla variazione originale o eseguire un altro test. Puoi utilizzare i dati non riusciti per aiutarti a capire una nuova iterazione sul nuovo test.

Mentre i test A / B ti aiutano ad avere un impatto sui risultati caso per caso, puoi anche applicare le lezioni che impari da ciascun test e applicarlo agli sforzi futuri. Ad esempio, se hai condotto test A / B nell'e-mail marketing e hai ripetutamente rilevato che l'utilizzo di numeri nelle linee oggetto dell'email genera percentuali di clic migliori, potresti prendere in considerazione l'utilizzo di tale tattica in più delle tue e-mail.

15. Pianifica il tuo prossimo test A / B.

Il test A / B appena concluso potrebbe averti aiutato a scoprire un nuovo modo per rendere più efficaci i tuoi contenuti di marketing, ma non fermarti qui. C'è sempre spazio per ulteriori ottimizzazioni.

Puoi persino provare a condurre un test A / B su un'altra funzione della stessa pagina web o e-mail su cui hai appena eseguito un test. Ad esempio, se hai appena testato un titolo su una pagina di destinazione, perché non eseguire un nuovo test sulla copia del corpo? O combinazione di colori? O immagini? Tieni sempre d'occhio le opportunità di aumentare i tassi di conversione e i lead.

Scopri come eseguire al meglio alcuni dei passaggi sopra indicati utilizzando l'ebook gratuito di seguito.