I tuoi test CX sopravvivono o muoiono sulla qualità dei tuoi dati. Non è possibile formulare ipotesi valide e verificabili utilizzando dati discutibili. E non puoi fidarti dei risultati dei tuoi test se non sai che stai guardando metriche accurate.
Ecco perché devi costruire il tuo programma di test attorno a un set di dati SSOT (Single Source of Truth). Se non puoi, anche il test A/B più semplice mancherà di valore. Questo articolo esplora il motivo per cui stabilire un SSOT è così importante e condivide alcune delle migliori pratiche testate sul campo che abbiamo sviluppato per farlo qui a Kameleoon.
Cos’è un SSOT
Il moderno processo decisionale aziendale deve essere basato sui dati. Mantenere un SSOT significa che per la sperimentazione CX, o qualsiasi altra funzione, standardizzi su un’origine dati come la “verità” definitiva attorno alla quale conduci il lavoro di quel team e informi le decisioni della tua azienda.
Senza un SSOT, rischi di frammentare i tuoi dati in silos custoditi da diversi team per diverse funzioni. Non c’è standardizzazione, consenso e nessun modo per sapere se qualcuno sta prendendo decisioni sulla base delle migliori informazioni disponibili.
Un SSOT non è una tecnologia o un sistema particolare. È una pratica aziendale progettata per ottenere risultati ottimali dalle attività del tuo team. Alcune aziende hanno risparmiato milioni passando a una strategia di dati SSOT senza nemmeno toccare il lavoro sottostante.
Gli studi hanno dimostrato che le metriche di comportamento dei clienti di alta qualità rimangono i dati più ricercati per prendere decisioni strategiche. Per diversi anni consecutivi, nel sondaggio annuale dei CEO di PricewaterhouseCoopers, i CEO lo considerano la metrica più importante che desiderano per la pianificazione strategica.
Cos’è il test A/B
Il test A/B è un metodo per sperimentare siti Web, applicazioni mobili o annunci confrontando le prestazioni di una versione originale, la versione A, o di controllo, con una versione B modificata. L’obiettivo è raccogliere i dati sulle prestazioni per ciascuno, condurre analisi statistiche e determinare, sulla base dei dati, quale versione ha funzionato meglio.
Il test A/B funziona per testare più di semplici elementi di una singola pagina web. Ad esempio, puoi utilizzarlo per ottimizzare i prezzi, convalidare le funzionalità del prodotto e personalizzare i siti Web per diversi segmenti di visitatori. Inoltre, i test A/B sono alla base di molte altre tecniche di ottimizzazione CX, inclusi test multivariati, consigli sui prodotti e targeting basato sul profilo.
Chi ha bisogno di un SSOT per i propri test?
I team di sperimentazione stanno nuotando attraverso i dati generati nelle loro piattaforme di analisi, CRM, piattaforme di test e altro ancora. Devono stabilire un SSOT per i test per chiarire cosa vogliono fare i loro team. Consideriamo un esempio.
Uno dei clienti di Kameleoon ha lanciato una campagna per ottimizzare la funzione di ricerca del suo sito web. Hanno condotto test lato server che prevedevano il monitoraggio del traffico verso una pagina di accesso.
Ma hanno riscontrato un problema che devono affrontare molti programmi di sperimentazione: i dati in Google Analytics hanno mostrato un numero di visite alla pagina e il loro strumento di sperimentazione ne ha mostrato un altro. La differenza era di oltre il 9 per cento.
Essendo un sito di e-commerce con oltre un milione di visitatori al mese, la decisione di quale set di dati fidarsi ha fatto una grande differenza nel reporting KPI dell’azienda. Mentre alcuni marchi di fascia media e aziendale possono ignorare disparità fino al 10% nelle statistiche sui visitatori, una disparità del 9% nei dati ha reso nervoso il team di sperimentazione di questa azienda.
Questo team aveva solo di recente ottenuto il buy-in per il loro programma di sperimentazione, incluso un budget da investire in strumenti come Kameleoon. Speravano in test con conclusioni chiare. Invece, l’accuratezza dei loro dati era in dubbio. Avevano bisogno di stabilire un SSOT.
Abbiamo aiutato questa azienda a ripulire il tracciamento dei dati dei visitatori, stabilire un SSOT e ottenere i risultati dei test di cui avevano bisogno per crescere. Per farlo, li abbiamo aiutati ad adottare sette best practice SSOT. Condividiamo queste best practice qui perché qualsiasi team CX che cerca di manipolare i propri dati di test e ottenere il massimo dal proprio programma di sperimentazione può utilizzarli per crescere.
Procedure consigliate per eliminare le discrepanze nei dati di test e stabilire un SSOT
1. Prima di fare qualsiasi altra cosa, esegui un test A/A
Mentre un test A/B confronta una vecchia versione con una nuova del tuo prodotto o pagina, un test A/A confronta Mi piace con Mi piace. Perché vorresti farlo? In questo modo puoi confrontare i dati generati da ciascuna piattaforma di monitoraggio.
Nel test A/A, entrambe le varianti sono le stesse, ma gli utenti che le vedranno saranno diversi:
Come agire
Prima di condurre qualsiasi test A/B serio o implementare una nuova implementazione in cui vorrai raccogliere dati, esegui un test A/A per calibrare. In un mondo perfetto, il tuo test A/A restituirà risultati identici. In realtà, ciò accade raramente, ma imparerai comunque con quanta discrepanza hai a che fare.
Ad esempio, l’esecuzione di un test A/A ti consente di vedere quali metriche ottiene Google Analytics rispetto al tuo strumento di test nelle stesse sessioni, utenti, visite, conversioni o qualsiasi metrica che desideri misurare.
2. Tieni traccia dei visitatori e delle visite allo stesso modo in tutti i tuoi strumenti
Il numero di visitatori o visite monitorati dai tuoi strumenti di analisi non corrisponderà mai esattamente agli utenti e alle sessioni. Tuttavia, puoi assicurarti che le visite vengano conteggiate allo stesso modo nelle tue piattaforme di analisi e A/B per ridurre la discrepanza.
In Google Analytics, ci sono due modi in cui termina una visita:
- Scadenza basata sul tempo: Qui, la sessione scade dopo 30 minuti di inattività oa mezzanotte. Mentre, ad esempio, in Kameleoon, è dopo 30 minuti di inattività.
- Cambio campagna: se lo stesso visitatore arriva tramite una campagna, parte dopo 2 minuti e poi torna tramite una campagna diversa 2 minuti dopo, Google Analytics conteggerà due visite. Alcuni strumenti di test A/B lo vedranno come tale.
Come agire
Controlla come vengono conteggiati i visitatori e le visite nel tuo strumento di analisi e assicurati che sia lo stesso per il tuo strumento di test. O che puoi cambiarlo. In Kameleoon, ti consigliamo di utilizzare la tua piattaforma di analisi come unica fonte di verità.
In GA, puoi modificare la durata dello scadere delle sessioni e delle campagne in Impostazioni sessione.
Come mai? Gli SSOT dovrebbero essere definiti a livello organizzativo. Quindi, anche se il tuo team di test trascorre l’intera giornata lavorando con i dati nella tua piattaforma di test, altri team potrebbero comunque aver bisogno di fare riferimento ai dati di GA per altri scopi. Imposta SSOT in modo che sia il set di dati a cui fa riferimento la più ampia gamma di team della tua organizzazione.
3. Crea browser e filtri di versione nel tuo strumento di analisi
Molte piattaforme di test A/B non vengono eseguite su Internet Explorer, quindi tutte le visite in quel browser vengono automaticamente escluse dai rapporti sugli esperimenti. Tuttavia, IE potrebbe comunque causare una discrepanza nei dati se ti rivolgi a organizzazioni legacy di grandi dimensioni che lo utilizzano.
Un altro potenziale problema di monitoraggio è che Google Analytics è compatibile con tutte le versioni del browser, mentre gli strumenti di test A/B di solito mantengono la piena compatibilità solo con le ultime versioni.
Come agire
In Google Analytics, crea filtri personalizzati in base ai browser e alle versioni del browser che ti interessano in modo che tutte le piattaforme corrispondano. Lo fai dentro
Ad esempio, in Visualizza, ecco come escludere una versione precedente di Google Chrome:
4. Filtra il traffico problematico in tutti i tuoi strumenti
Mantieni il tuo set di dati SSOT il più pulito possibile raccogliendo dati solo da membri legittimi del pubblico. Non vuoi confondere i tuoi dati con bot, troll, bug del tracker o altro traffico anomalo. Non preoccuparti delle diminuzioni di volume, la qualità dei tuoi risultati aumenterà.
Come agire
Gli strumenti avanzati di test A/B offrono diverse impostazioni di filtraggio bot pronte all’uso. Ad esempio, possono rimuovere automaticamente il traffico dalle statistiche raccolte se rilevano comportamenti anomali o se la sessione cade in una condizione di attività sospetta.
D’altra parte, se stai utilizzando GA, sta a te decidere come rilevare ed escludere il traffico dei bot dai tuoi dati di analisi utilizzando i filtri. Per riferimento, ecco alcune condizioni che potresti voler escludere.
- Durata della visita > 120 minuti
- Durata della visita < 100 millisecondi
- Numero di eventi (conversioni, clic, targeting, prodotto, visualizzazione pagina, ecc.) > 10.000
Vuoi anche escludere il traffico interno dalla tua organizzazione. Ricorda, l’obiettivo nella creazione di questo set di dati SSOT è avere una fonte definitiva di dati sui tuoi clienti effettivi, non sui tuoi colleghi.
Per filtrare il traffico interno in GA, vai su Pannello di amministrazione > Tutti i filtri e crea un nuovo filtro. Imposta il tipo di filtro su “non definito”. Quindi, aggiungi gli intervalli IP interni che desideri escludere.
5. Evita i blocchi degli annunci
Molti visitatori utilizzano ad blocker come Adblock, Ghostery e uBlock. Alcuni adblocker possono anche bloccare i tracker lato client, inclusi gli eventi di analisi degli strumenti di sperimentazione.
Se una parte significativa dei tuoi visitatori ha abilitato il blocco degli annunci nel proprio browser, è molto probabile che il numero di visite registrate vari tra il tuo strumento di test A/B e la tua piattaforma di analisi.
Come agire
Alcune piattaforme possono fornire URL di richiesta di monitoraggio “on-premise” che consentono loro di evitare di essere bloccati dagli ad blocker. Qui, il monitoraggio avviene lato server, quindi il blocco del codice lato client, ad esempio da un adblocker, non interrompe il monitoraggio legittimo. Attivalo su tutte le piattaforme possibili.
Un altro modo per comprendere meglio la discrepanza tra le tue piattaforme di analisi e test è inviare un evento alla tua piattaforma di analisi dopo che lo strumento di test è stato caricato. Questo dovrebbe darti un’idea chiara della percentuale di visitatori che utilizzano i blocchi degli annunci che bloccano il tuo strumento di test A/B. Quindi dovrai filtrare il tuo traffico per escludere i visitatori che utilizzano gli ad blocker.
6. Installa i tuoi strumenti su tutte le stesse pagine
Il posizionamento degli snippet è una causa principale comune delle discrepanze nei dati, soprattutto se desideri eseguire un esperimento che ha come target un intero sito. Il motivo è che molti strumenti di sperimentazione trattano “l’intero sito” come tutte le pagine che contengono il suo frammento di codice. Sfortunatamente, ciò potrebbe anche includere il tuo sito di staging se hai snippet copiati lì.
Come agire
Se non l’hai già fatto, ora è un ottimo momento per eseguire quel test A/A per calibrare le tue piattaforme. Quindi, assicurati che tutti i tuoi strumenti siano implementati sulle stesse pagine.
Un modo per identificare se non lo sono è scomporre i tuoi dati in base agli URL delle pagine visitate. Questo ti mostrerà tutti gli URL principali in cui è stato eseguito l’esperimento in modo da poter identificare quelli in cui il tuo strumento di test non avrebbe dovuto essere caricato. Ecco come appare questa opzione in Kameleoon:
Pensieri finali
Dopo un’attenta analisi, Kameleoon ha stabilito che il cliente con una discrepanza nei dati ha riscontrato l’ultimo problema. Google Analytics e il relativo strumento di test non erano in esecuzione sulle stesse pagine.
Mentre GA ha tracciato tutto il traffico diretto alla pagina dei risultati di ricerca, ha configurato il proprio strumento di test con un parametro più ristretto: l’esperimento ha contato le visite alla pagina di accesso solo dopo una ricerca nella barra di ricerca.
Sebbene entrambe le pagine avessero lo stesso aspetto, gli URL erano diversi, creando una discrepanza nei dati. Tuttavia, una volta risolti, avevano un SSOT affidabile per testare i dati e dovevano generare molte informazioni preziose.
Riconoscendo dove le impostazioni predefinite nel tuo strumento di test non si allineano con il monitoraggio delle tue analisi, puoi decidere quale numero di visitatori segnalare o come utilizzare le tue impostazioni per ridurre al minimo la differenza.
Elimina le discrepanze, stabilisci un’unica fonte di verità e riunisci i tuoi team attorno a un set di dati comune. La creazione di un SSOT è il primo passo verso test migliori, più affidabili e più approfonditi.
