5 cose che abbiamo imparato analizzando 28,304 esperimenti

In che modo i professionisti CRO eseguono esperimenti nel 2019? Abbiamo analizzato 28.304 esperimenti, scelti a caso dai nostri clienti di Convert.com.

Questo post condivide alcune delle nostre osservazioni principali e alcuni suggerimenti su:

• Quando i CRO scelgono di interrompere i test;
• Quali tipi di esperimenti sono più popolari;
• Quante volte la personalizzazione è parte del processo di sperimentazione;
• Quanti obiettivi CRO hanno impostato per un esperimento;
• Quanto costano "imparare" dagli esperimenti falliti.

Cominciamo.

1. Un esperimento CRO su cinque è significativo e le agenzie ottengono risultati migliori.

Solo il 20% degli esperimenti CRO raggiunge il livello di significatività statistica del 95%. Mentre potrebbe non esserci nulla di magico nel raggiungere il significato statistico del 95%, è comunque una convenzione importante.

È possibile confrontare questo risultato con quello del report di ottimizzazione 2018 di Econsultancy in cui oltre i due terzi degli intervistati ha dichiarato di aver visto un "vincitore chiaro e statisticamente significativo" per il 30% dei propri esperimenti. (Gli intervistati dell'Agenzia, d'altra parte, hanno fatto meglio, trovando chiari vincitori in circa il 39% dei loro test.)

Non riuscire a raggiungere la significatività statistica può derivare da due cose: ipotesi che non emergono o, più problematiche, fermano i test in anticipo. Quasi la metà (47,2%) degli intervistati nel rapporto sullo stato di conversione della conversione CXL 2018 ha confessato di non avere un punto di arresto standard per i test A / B.

Per quegli esperimenti che hanno raggiunto la significatività statistica, solo 1 su 7,5 ha mostrato un aumento di oltre il 10% nel tasso di conversione.

I team interni hanno leggermente peggiorato rispetto alla media: 1 su 7,63 esperimenti (13,1%) ha raggiunto un aumento del tasso di conversione statisticamente significativo di almeno il 10%. Nel 2014, quando abbiamo pubblicato una versione precedente della nostra ricerca su CXL, questa cifra era leggermente superiore, circa il 14%.

Le agenzie hanno fatto leggermente meglio: il 15,84% dei loro esperimenti è stato significativo con un aumento di almeno il 10%. Questo numero era molto più alto (33%) nella nostra ricerca precedente, sebbene la dimensione del campione fosse significativamente inferiore (solo 700 test). Tuttavia, in entrambi gli studi, le agenzie hanno fatto meglio dei team CRO interni. Quest'anno hanno sovraperformato i team interni del 21%.

(Non abbiamo riscontrato alcuna differenza significativa tra agenzie e clienti interni confrontando i test mensili volumi.)

2. I test A / B continuano ad essere l'esperimento più popolare.

Il test A / B (usando la manipolazione DOM e l'URL diviso) è ancora il test ideale per la maggior parte degli ottimizzatori, con Test A / B per un totale del 97,5% di tutti gli esperimenti sulla nostra piattaforma. Il numero medio di variazioni per test A / B era 2,45.

Questa tendenza non è nuova. I test A / B hanno sempre dominato. Anche l'analisi del tipo di test di CXL nel corso degli anni lo dimostra. Già nel 2017, il rapporto di CXL ha rilevato che il 90% dei test erano test A / B. Nel 2018, questa figura è aumentato di un altro 8%, rinforzando il test A / B come tipo di esperimento quasi universale.

Certamente, i test A / B sono più semplici da eseguire; inoltre forniscono risultati più rapidamente e lavorano con volumi di traffico più ridotti. Ecco una ripartizione completa per tipo di test:

Gli ottimizzatori nordamericani gestivano 13,6 esperimenti A / B al mese, mentre quelli dell'Europa occidentale ne avevano in media solo 7,7. Utilizzando i benchmark del report CXL 2018, questo mette i nostri clienti nella top 30% per testare il volume.

Ci sono state altre differenze cross-atlantiche: l'Europa occidentale esegue più test A / B con manipolazione DOM; gli Stati Uniti e il Canada hanno il doppio delle esperienze di split-URL.

3. Gli ottimizzatori stanno impostando più obiettivi.

In media, gli ottimizzatori hanno almeno quattro obiettivi (ad esempio facendo clic su un determinato link, visitando una determinata pagina, un modulo di invio, ecc.) per ciascun esperimento. Ciò significa che impostano tre obiettivi secondari oltre all'obiettivo principale del tasso di conversione.

Ulteriori obiettivi "diagnostici" o secondari possono aumentare l'apprendimento dagli esperimenti, sia che stiano vincendo o perdendo sforzi. Mentre l'obiettivo primario dichiara inequivocabilmente le "vittorie", le metriche secondarie fanno luce su come un esperimento ha influenzato il comportamento del pubblico target. (Si sostiene ottimamente che gli esperimenti di successo spesso tracciano ben otto obiettivi per raccontare la storia completa dell'esperimento.)

Consideriamo ciò positivo: i clienti stanno cercando di ottenere informazioni più approfondite su come i loro cambiamenti influiscono sul comportamento degli utenti nei loro siti web.

Anche l'edizione 2018 del rapporto sull'ottimizzazione di Econsultancy ha visto molti professionisti CRO stabilire obiettivi multipli. In effetti, circa il 90% degli intervistati interni e l'85% degli intervistati ha definito le metriche secondarie come "molto importanti" o "importanti". Mentre le vendite e le entrate erano metriche di successo primarie, le metriche secondarie comuni includevano elementi come frequenza di rimbalzo o " Contattaci "tassi di completamento del modulo.

Lo studio di Econsultancy ha anche riscontrato che gli high performer (aziende che hanno ottenuto un miglioramento del 6% o più nel loro primario metrica di successo) erano più propensi a misurare le metriche secondarie.

4. La personalizzazione è utilizzata in meno dell'1% degli esperimenti.

La personalizzazione non è ancora popolare, nonostante il suo potenziale. Meno dell'1% del nostro campione di ricerca ha utilizzato la personalizzazione come metodo di ottimizzazione, anche se la personalizzazione è disponibile senza costi aggiuntivi su tutti i nostri piani.

Prodotti come Intellimize, che ha recentemente chiuso $ 8 milioni nel finanziamento della Serie A, e Dynamic Yield, recentemente acquisito da McDonald's, sono forti indicatori della grande scommessa degli investitori e della corporate America sulla personalizzazione.

Ma per quanto riguarda lo stack CRO, la personalizzazione è ancora una piccola minoranza. Un rapido sguardo ai dati di BuiltWith – su 362.367 siti Web che utilizzano strumenti di test e personalizzazione A / B – rafforza i nostri risultati:

1. Google Optimize 37%;
2. Ottimamente 33%;
3. VWO 14%;
4. Adobe 6%;
5. AB Tasty 4%;
6. Maxymiser 3%;
7. Resa dinamica <1%;
8. Zarget <0,5%;
9. Converti <0,5%;
10. Monetare <0,5%;
11. Kameleoon <0,5%;
12. Intellimize <0,1%.

Abbiamo riscontrato che gli utenti con sede negli Stati Uniti utilizzano la personalizzazione sei volte più spesso di quelli dell'Europa occidentale. (Inoltre, circa il 70% di quelli sulla nostra lista d'attesa per uno strumento di marketing basato sull'account proviene dagli Stati Uniti, nonostante il prodotto sia conforme a GDPR.)

La personalizzazione nel mercato europeo e altrove potrebbe aumentare come più intelligente A.I. l'ottimizzazione migliora l'auto-segmentazione in modi intuitivi per la privacy.

Nel 2017, quando Econsultancy esaminò i professionisti CRO, trovò che la personalizzazione fosse il metodo CRO "meno usato ma più pianificato". Circa l'81% degli intervistati ritiene che la personalizzazione del sito web sia "molto" o "abbastanza" difficile. Come diversi rapporti menzionati, la più grande difficoltà per l'implementazione della personalizzazione era l'acquisizione di dati.

I nostri risultati sulla personalizzazione si sono discostati da alcuni altri rapporti dello spazio CRO. Il sondaggio di Econsultancy sui dirigenti CRO (in-house e agency) ha riportato che circa il 42% degli intervistati interni ha utilizzato la personalizzazione del sito Web, così come il 66% degli intervistati. Il 2018 Maturity Report di Dynamic Yield ha riportato che il 44% delle aziende utilizzava la personalizzazione "base" sul sito con "segmentazione limitata".

Quando CXL ha intervistato i professionisti CRO per il suo report 2017, il 55% degli intervistati ha riferito di aver utilizzato una qualche forma di personalizzazione del sito web. Nell'ultimo rapporto CXL, gli intervistati hanno ottenuto una personalizzazione del 3.4 su una scala 1-5 rispetto alla sua "utilità" come metodo CRO.

Nel report sulle tendenze di personalizzazione di Evergage, le home page e le landing page erano le aree principali per esperienze personalizzate (45% e 37% rispettivamente), seguite dalle pagine di prodotto (27%).

5. Gli insegnamenti dagli esperimenti senza alzate non sono gratuiti.

Nel nostro esempio, gli esperimenti "vincenti", definiti come tutti gli esperimenti statisticamente significativi che hanno aumentato il tasso di conversione, hanno prodotto un aumento medio del tasso di conversione del 61%.

Esperimenti senza vincite, solo impari, possono avere un impatto negativo sul tasso di conversione. Questi esperimenti, in media, hanno causato il 26% diminuire nel tasso di conversione.

Tutti noi amiamo dire che non c'è perdita, solo "apprendimento", ma è importante riconoscere che anche gli insegnamenti degli esperimenti non vincenti hanno un costo.

Con circa 2.45 variazioni per esperimento, ogni esperimento ha circa il 85% di possibilità decrescente il tasso di conversione durante il periodo di prova (di circa il 10% del tasso di conversione esistente).

Le aziende hanno bisogno di archiviare e imparare da tutti i loro esperimenti. Secondo il rapporto CXL, circa l'80% delle aziende archivia i propri risultati e il 36,6% utilizza strumenti di archiviazione specifici. Questi sono forti indicatori che i CRO stanno rifornendo i loro programmi di sperimentazione con gli insegnamenti degli sforzi passati.

Ma mentre monitorare i risultati e documentare gli apprendimenti può migliorare un programma di test a lungo termine, è urgente imparare dagli esperimenti falliti e implementare rapidamente i successi.

C'è anche bisogno di ricercare e pianificare bene le idee di test in modo che gli esperimenti abbiano una maggiore probabilità di successo. Il modello ResearchXL è un ottimo modo per proporre idee di test supportate da dati che hanno maggiori probabilità di vincere.

Conclusione

Mentre la nostra ricerca ci ha aiutato a stabilire alcuni benchmark del settore, alcune delle nostre scoperte non ci hanno sorpreso (ad esempio, la popolarità dei test A / B).

Ma cosa fatto ci sorprende che così pochi clienti usano la personalizzazione. Ci aspettavamo che più aziende fossero progressiste su questo fronte poiché la funzione è disponibile in tutti i nostri piani e non richiede enormi volumi di traffico. Come notato in precedenza, una migliore gestione dei dati può rendere più semplice la personalizzazione per le aziende.

Oltre a ciò, consideriamo l'impostazione di più obiettivi in ​​quanto i tester positivi desiderano approfondire il modo in cui i loro esperimenti eseguono per massimizzare l'apprendimento e, naturalmente, vincere.