Che oratori di punta 24 su tre giorni in un pittoresco resort. Aggiungi a quei 400 volti vecchi e nuovi, molte conversazioni, musica dal vivo e più di un paio di birre. CXL Live è un'esperienza.
C'era anche questo: il nostro video di apertura che dava via tutti i segreti della crescita … della crescita:
Se ti stai chiedendo cosa ti sei perso, ecco i punti salienti di ognuna delle sessioni di CXL Live di quest'anno.
Els Aerts: "L'arte perduta di porre domande"
- I sondaggi non fanno schifo, ma maggior parte sondaggi fanno schifo. Possono lavorare se:
- Hai le domande di ricerca giuste.
- Smetti di concentrarti sulla presentazione di "numeri" e presenti informazione.
- Come porre le domande giuste
- Non chiedere sul futuro (ad es. "Se aggiungessimo la caratteristica X, quanto probabilmente saresti disposto ad acquistare Y?); i tuoi utenti non sono sensitivi.
- Non chiedere cose troppo lontane nel passato: la memoria umana è estremamente inaffidabile.
- Non porre domande importanti. Ad esempio, non chiedere come fosse "buono", chiedi come "buono o cattivo" o semplicemente "come" era.
- Le domande di pregiudizio verso il negativo possono fornire più feedback (ad es. "Quanto è stato difficile …").
- Dove e quando consegnare un sondaggio può influire sui risultati, se si tratta di una sezione del sito in cui l'utente sta vivendo dolore, distorce le risposte.
- Le pagine di conferma e di ringraziamento sono ottime opportunità per porre domande alla gente. (Ad esempio, hai considerato un concorrente? Se sì, quali caratteristiche abbiamo che ti hanno fatto scegliere noi su di loro?)
- Quando imposti le interviste, chiamale "chat", non interviste e trattale come chat; anticipare dove la conversazione potrebbe andare e ascoltare, ascoltare, ascoltare.
Joanna Wiebe: "Scrivere gli specchi: come usare la voce del cliente per scrivere una copia ad alta conversione"
- Il 90% del copywriting è in ascolto.
- L'obiettivo è di scrivere una copia in cui le persone si vedono nel loro sé attuale e nell'immediato prossimo sé.
- Convalida per copia: potrebbe essere una svolta o un fallimento? Sta spingendo le cose abbastanza per essere una svolta totale? O assolutamente orribile?
- Vai oltre le normali fonti di voce dei dati dei clienti; le opzioni migliori sono:
- Fondatori di interviste (i "clienti" originali);
- Sondaggi della pagina di ringraziamento;
- Usertesting.com;
- Chiamate di vendita di mine;
- I miei biglietti di supporto;
- I miei commenti su Facebook;
- Le mie recensioni online.
- Le interviste dei fondatori possono trovare la storia, la proposta di valore e la grande idea.
- Fai l'intervista in video e registrala (con il permesso).
- Trascrivi l'intervista (rev.com).
- Stampa e leggi la trascrizione con un evidenziatore: cosa risalta? Cosa c'è di diverso?
- Le chiamate di vendita e le registrazioni dimostrative possono tracciare sequenze di comunicazione, gerarchie e contribuire a rendere la copia appiccicosa.
- Ottieni una visione approfondita del flusso di come pensa il tuo potenziale cliente.
- Guarda le loro espressioni mentre vedono la demo.
- Salta alle parti in cui sta parlando il potenziale cliente.
- Guarda i momenti in "stile documentario". (Ad esempio, se dai a qualcuno la trascrizione, possono farlo? È un buon momento.)
- Guarda frasi come "Sono preoccupato per …" e "Puoi mostrarmi …"
- Tagga ciò che trovi in modo da poterlo utilizzare nella tua copia (#object # in ritardo, ecc.).
Carrie Bolton: "Realizza con i tuoi clienti e i tuoi dirigenti – Come migliorare davvero l'esperienza del cliente
- L'esperienza del cliente è la percezione del cliente della sua interazione con la tua attività.
- Vanguard ha deciso che concentrarsi sull'esperienza del cliente li avrebbe aiutati a differenziarsi dai loro concorrenti:
- Imposta la sperimentazione sulla personalizzazione e personalizzazione dell'esperienza del cliente.
- Ex. I clienti si collegano online per evitare di chiamare la pagina ricostruita per renderla più sperimentale e una riduzione mirata delle tariffe delle chiamate dei clienti.
- Come esternare il caso:
- Ottieni informazioni competitive dal tuo settore o dalle migliori aziende (ad esempio USAA, CIGNA);
- Forrester Research;
- Blog di esperienza del cliente.
- Come rendere internamente il caso:
- Ricerca quantitativa o qualitativa da parte dei clienti (ad es. Analisi digitale, ricerche di mercato).
- "Parla con le persone che parlano alla gente".
- Parla con le persone delle finanze: quali indicatori di prestazioni attirano l'attenzione?
- Dillo Non vendere.
- Quando si "vendono", le persone lo vedono direttamente.
- Il sondaggio e il feedback dei clienti possono rivelare un feedback onesto e necessario per aiutare a sapere cosa "dire" loro.
Judah Phillips: "Come ho imparato a smettere di preoccuparmi di Machine Learning e Love AI"
- L'intelligenza artificiale offre agli analisti la capacità di guardare avanti nel prendere decisioni, invece che nello specchietto retrovisore.
- Al momento siamo al principio dell'IA Pragmatica (ad esempio Siri, Alexa)
- Anche l'IA sta entrando nel luogo di lavoro (ad esempio motori di raccomandazione, chatbot, suggerimenti automatizzati per la collaborazione).
- L'intelligenza artificiale è tutto ciò che prende i dati storici (dati di addestramento) e apprende dalle prestazioni passate di tali dati; in genere, si tratta di apprendimento automatico supervisionato.
- Apprendimento profondo è l'idea del networking neurale. È un'area di aspettative troppo gonfiate.
- Le reti neurali convoluzionali (CNN) sono utilizzate per il riconoscimento di immagini e video.
- Le reti neurali ricorrenti sono buone per i dati delle serie temporali.
- Generative Adversarial Networks (GAN) sono efficaci nella creazione di dati e immagini falsi da altri dati e immagini su cui vengono addestrati.
- Cosa fare con AI:
- Prevedere il churn;
- Identifica quali offerte inviare a un individuo;
- Accelerare l'innovazione;
- Personalizza i contenuti;
- Marketing basato sull'account;
- Attribuzione algoritmica;
- Previsione del sollevamento futuro;
- Prevedi la colpa.
- Capire cosa fanno i modelli (non necessariamente gli algoritmi sottostanti) e sapere quando applicarli e come interpretare i risultati sono le competenze necessarie agli analisti.
- L'apprendimento automatico delle macchine ci aiuterà a risolvere il problema di disporre di troppi dati e di non avere abbastanza tempo:
- L'apprendimento automatico della macchina prevede in pochi minuti un'elevata precisione.
- Storicamente è stato costoso. Non più. L'intelligenza artificiale senza codice ti permetterà di farlo oggi.
Ton Wesseling: "Validazione in ogni organizzazione"
- Perché i nostri lavori CRO moriranno: i team operano a ritmi diversi.
- Team di conversione: cicli di esperimenti di 6-8 settimane;
- Team di marketing: preparazione, campagna, preparazione, campagna;
- Team di prodotto: scatti di 2 settimane.
- I team di conversione / ottimizzazione potrebbero diventare un incubo per i team di marketing e di prodotto.
- I team di ottimizzazione hanno molto (troppo) orgoglio:
- Dicono agli altri team cosa stanno facendo di sbagliato.
- Può essere ipocrita e eccessivamente critico.
- I team di ottimizzazione dovrebbero avere più umiltà.
- Perché in realtà potrebbe essere una buona idea uccidere i team di ottimizzazione:
- Stiamo ottimizzando i bucket che perdono? Prodotto e le squadre di marketing dovrebbero essere coinvolte.
- Il termine "ottimizzazione del tasso di conversione" in realtà non descrive ciò che facciamo: aiutiamo i clienti a raggiungere i loro obiettivi di business.
- Perché ci concentriamo sempre sul web? L'ottimizzazione di email, social, ecc. È anche ottimizzazione.
- Ottimizzazione è il KPI che stai cercando di influenzare.
- L'ottimizzazione riguarda gli effetti, ottenendo più risultati.
- Come facciamo questo? Tutti i dipartimenti dovrebbero collaborare per creare un "centro di validazione di eccellenza".
- Consentire una crescita basata sull'evidenza al centro della società-democratizzare la ricerca in modo che i team di prodotto non debbano preoccuparsi delle statistiche.
- Priorità per l'implementazione = Qualità dell'evidenza x Effetto potenziale sugli obiettivi condivisi.
- Non essere un pusher; essere un facilitatore.
Tammy Duggan-Herd: "Insidie dell'invisibile: come la falsa applicazione della psicologia sta danneggiando i tuoi tassi di conversione"
- Comprendere il comportamento umano è complicato, agendo su di esso ancora di più.
- Puoi danneggiare le conversioni, il marketing e il tuo marchio se segui i principi sbagliati.
- La radice del problema è come la ricerca arriva al pubblico:
- Inizia con un ricercatore che è sotto pressione per produrre materiale che ottiene trazione nei media / riviste accademiche.
- Le riviste scientifiche hanno un tasso di rifiuto del 70%, molto poco lo è.
- Quando qualcosa raggiunge la pubblicazione, i comunicati stampa si concentrano sulla promozione, non sulla precisione.
- I media continuano ad allungare le rivendicazioni; i blogger peggiorano il problema.
- In definitiva, consumiamo su Twitter-20 pagine ridotte a 160 caratteri.
- È un gioco di telefono, il caso migliore è che l'informazione distorta non ha alcun effetto; lo scenario peggiore è che genera l'effetto opposto.
- Le insidie dell'operatore ignaro:
- Semplificazione eccessiva. I media semplificano i risultati perché devono essere concisi, accattivanti; qualificazioni e sfumature vengono abbandonate.
- Sovrastimando la dimensione degli effetti. Il significato statistico non equivale al significato pratico: il grandezza dell'effetto.
- Overgeneralizing. Spesso trascuriamo i limiti dello studio, che sono necessari perché la maggior parte degli studi sono condotti in un laboratorio (non rappresentativi).
- Risultati isolanti I media trattano le singole conclusioni come definitive; nessun singolo studio può dire molto da solo; variabili addizionali potrebbero annullare / annullare l'effetto.
- Devi sapere come evitare le insidie:
- Leggi lo studio originale. Cosa è stato effettivamente trovato? Qual era la dimensione dell'effetto? Come è stato condotto?
- Non farti coinvolgere dagli hack.
- Provalo per te. Essere consapevoli di come potrebbe andare storto / backfire.
Brian Cugelman: "Psicologia dei consumatori, dopamina e progettazione della conversione"
- La mitologia della dopamina lo afferma
- La dopamina è il neurotrasmettitore del piacere o della felicità.
- I premi variabili sono così potenti che gli utenti non possono resistergli.
- Aziende come Facebook manipolano le persone con la dopamina.
- Se queste affermazioni fossero vere:
- I social media sarebbero un puro piacere.
- Saremmo tutti dipendenti, agganciati da manipolatori malvagi.
- La maggior parte dell'umanità mancherebbe di qualsiasi autocontrollo.
- In realtà, la dopamina fa sentire la gente eccitata e curiosa.
- Fornisce una ricompensa emotiva che sfuma rapidamente, lasciando le persone insoddisfatte.
- Le persone si abituano ai trigger, che smettono di innescare la dopamina.
- I benefici della dopamina rinforzano i comportamenti.
- Troppa poca dopamina è associata a menomazione motoria.
- Come attiviamo la dopamina del nostro pubblico? Fornire una promessa o una sorpresa digitale:
- Regalo di benvenuto virtuale;
- Ottieni offerte veloci;
- Scatole misteriose;
- aste;
- Sorteggio fortunato;
- Annunci: "Che aspetto hanno queste stelle di bambino oggi";
- Sondaggi BuzzFeed / quiz, ad es. Di quale cane sei?
- Come lo usiamo nel marketing digitale?
- Suggerimenti visivi di doni e premi;
- Premi del mistero;
- Ganci editoriali;
- Proposte di valore;
- Dichiarazioni di beneficio;
- Ogni suggerimento di premi.
- Il cervello abitua a vecchi premi (ad esempio cecità nei banner).
- Come superi l'assuefazione?
- Offrire di più, meglio, più grande.
- Usa la novità.
- Includi sorprese.
- Trattenere la storia completa.
- Ridurre la frequenza di outreach.
- Aggiungi regali casuali.
- Riorganizza i materiali di oggi.
- Aggiungi innovazioni.
- Usa i premi variabili.
- Usa l'incertezza a tuo vantaggio:
- Se stai dando qualcosa con la spedizione, usa una ricompensa casuale con un'anticipazione potenziata.
- Usa la gestione delle aspettative, sii semplice, rispetta le tue promesse e avrai dopamina ben meritata.
Lukas Vermeer: "Democratizing Online Experiments with Booking.com"
- Ogni volta che qualcuno ti mostra i tuoi dati, la tua prima domanda dovrebbe essere "Dove e come sono stati raccolti / raccolti questi dati?"
- Alcune persone fraintendono la convalida basata sui dati come una limitazione alla libertà creativa.
- Alla prenotazione, c'è fiducia nella validità dei dati e le decisioni sono visibili a tutti. Ciò consente un processo decisionale individuale e continuo.
- "Il plurale di un aneddoto non è dati" – ne abbiamo bisogno prova prendere decisioni.
- Evita di indovinare i giochi (ad esempio "Quale dei due colori dei pulsanti è migliore?"):
- Dovremmo invece fare test di ipotesi, che include una descrizione molto più dettagliata del pensiero dietro l'esperimento.
- Ciò non significa che non puoi testare i colori dei pulsanti ma che hai una comprensione molto migliore perché lo stai facendo e quali variazioni dovresti testare.
- Modello di ipotesi: teoria, convalida, obiettivo.
- Sfidare la tua comprensione del prodotto tramite la sperimentazione è fondamentale:
- Capovolge "tutti i test dovrebbero vincere" pensando a testa in giù – "9/10 test falliscono" (VWO), ma l'apprendimento non è mai un fallimento.
- Trova i più piccoli passaggi per testare rapidamente le ipotesi più rischiose.
Ryan Thomas: "Ottimizzazione per le iscrizioni all'email"
- L'acquisizione e-mail a volte può funzionare contro i tuoi obiettivi primari
- Ex. L'ottimizzazione di un pop-up del concorso ha comportato un aumento del 300% delle iscrizioni all'email, ma il tasso di conversione e-AOV e-commerce è diminuito
- La correzione: sostituire il concorso con un'offerta che incoraggia la vendita ora (combinazione di offerta di benvenuto e di uscita di un piccolo sconto)
- Sollevamento analogo nelle iscrizioni alle email più un aumento del tasso di conversione delle transazioni e delle entrate
- Perché concentrarsi sulle iscrizioni e-mail?
- Guarda i dati: il traffico email spesso funziona meglio; Esempio di intervallo di tempo e lunghezza percorso: due terzi convertono lo stesso giorno ma meno della metà nel primo punto di contatto
- Costruisci una relazione con il tuo cliente
- Strategia di test: KPI indipendente (difficilmente in conflitto con altri test); Traffico insufficiente: potrebbe essere in grado di eseguire il test qui quando non si hanno macro conversioni sufficienti; Test come apprendimento: prova messaggi e motivazione
- Processo di ricercaXL
- Sondaggi sui clienti
- Domande aperte e non leader
- Scopri le motivazioni, il processo decisionale, le esitazioni, le frustrazioni
- Le informazioni possono venire da qualsiasi luogo
- Correlare i punti dati per dare priorità alla roadmap (PXL)
- Altri esempi:
- L'ottimizzazione di un popup di contest per un prodotto di acquisto frequente ha comportato un aumento delle iscrizioni e-mail senza influire sulle metriche di e-commerce
- Aggiunta di un'offerta di benvenuto in cui non esisteva nessuno prima di aumentare le iscrizioni e-mail al 95% e creare un aumento minimo nel tasso di conversione delle transazioni
- Takeaways:
- Allinea la tua strategia con ciò che è importante per il business, senza metriche di vanità.
- Prova diverse tattiche, strumenti, offerte e progetti.
- Fai la tua ricerca!
Nina Bayatti: "Era davvero un vincitore? I dati della canalizzazione a valle che dovresti monitorare "
- Ci sono tonnellate di metriche che puoi monitorare:
- Ma loro non raccontano tutta la storia.
- Per ottenere conclusioni attendibili, è necessario analizzare i dati della canalizzazione.
- In ClassPass, considerano i referral importanti per portare nuovi clienti, quindi ha senso incentivare i referral.
- Hanno testato 10 crediti gratuiti per lavorare con un amico.
- Inviti saliti del 50%; Incremento del 35% nell'acquisizione dei referral.
- Poi notarono che stavano cannibalizzando altri canali – le persone che si convertivano in referral erano già acquisite da altri canali.
- Impostare i tuoi esperimenti per il successo:
- Definire le metriche di successo.
- Prendi in considerazione tutti i passaggi della canalizzazione quando determini le dimensioni del campione (ad esempio, rendilo abbastanza grande per l'analisi bottom-of-funnel).
- Identificare e iterare le leve a imbuto inferiore.
- Gli incentivi funzionano, ma potrebbero funzionare pure bene e convertire le persone che non sono realmente nel servizio / prodotto o cannibalizzare altri canali.
- Considera sempre l'impatto dei tuoi test vincenti sul tuo crescita e costo.
Eric Allen: "I test perdenti possono essere anche vincitori. Come valutare e imparare da un esperimento perdente. "
- Il costo della sperimentazione: speri che il lato positivo superi il costo.
- Perché fa male a perdere? Le perdite sono più grandi nella nostra mente dei guadagni.
- Imparare sulla conoscenza: la conoscenza è finita; progetta ogni esperimento in modo da poter ricavare apprendimenti, anche da perdite.
- Ancestry.com ridisegna i fallimenti dei test:
- Primo test: imparato abbiamo cambiato troppo, necessario per isolare le variabili.
- Secondo test: i consumatori non capiscono la differenza tra i pacchetti e stanno solo selezionando il prezzo più basso.
- Terzo test: le pagine dell'offerta sono troppo complesse e i consumatori trascorrono troppo tempo sulla pagina.
- Quarto test: troppe persone stanno prendendo un pacchetto a breve termine ora.
- Quinta prova: questo non funziona. Ripristina originale.
- Impara a reframe loss: "I test A / B sono il costo delle lezioni. Costa soldi per imparare.”
- Impatto dei test:
- Tasso di funzionamento della linea di base: $ 100 milioni all'anno;
- Test lift: 10%;
- Durata del test: 90 giorni (25%);
- Impatto negativo: $ 2,5 milioni;
- Entrate totali: $ 97,5 milioni.
- Impatto dell'implementazione senza test:
- Tasso di funzionamento della linea di base: $ 100 milioni all'anno;
- Test lift: 10%;
- Durata del test: 12 mesi;
- Impatto negativo: $ 10 milioni;
- Entrate totali: $ 90 milioni.
- Risparmio totale con i test: $ 7,5 milioni.
- Imparare da una serie di test può trasformare le perdite in una vittoria.
- Takeaways:
- James Lind: C'è un costo, ma anche un lato positivo.
- Jeff Bezos: continua a fare esperimenti.
- Jay-Z: Le perdite sono lezioni.
Stefanie Lambert: "Real Talk: lezioni dure apprese quando si costruisce un programma di ottimizzazione"
- La sensibilità alla cultura organizzativa renderà la vita di tutti più facile.
- Se un'azienda fa le cose in un modo diverso, potrebbe significare tu devono adattarsi
- Il diavolo è nei dettagli.
- Avevamo bisogno di riavviare un test più volte a causa dello spostamento troppo veloce.
- Per un semplice test, collegando Google Analytics con Google Optimize ci sarebbero voluti un paio di secondi, ma poiché non l'abbiamo fatto, abbiamo perso due settimane.
- Se non è supportato dai dati, probabilmente non funzionerà.
- La tua coda di test dovrebbe essere soprattutto test supportati da dati.
- Una linea di abbigliamento voleva davvero mostrare la qualità dei loro vestiti e ingrandire le loro immagini. Ma l'idea non è nata dai dati.
- Quando abbiamo mostrato immagini più grandi, nella pagina c'erano meno prodotti che hanno ridotto il CTR.
- Dati quantitativi e qualitativi sono necessari per risultati eccezionali.
- Dopo aver completato un test, siamo rimasti delusi da una diminuzione del 20% delle iniziazioni alla forma.
- La nuova forma era più bella e aveva funzionato bene altrove nel sito.
- Abbiamo filtrato le registrazioni di sessione per casi d'uso del controllo e della variazione.
- Nella nuova variante, la forma si è distinta abbastanza da far sì che i visitatori la riconoscano come una forma, quindi più utenti rimangono, inizia la forma decrescente.
- La curiosità non ha ucciso il gatto.
- Distinguersi curando abbastanza da fare domande difficili. (ad esempio "Questo è veramente buono, ma potrebbe essere migliore?")
- Quando ho iniziato, mi sono sentito a disagio nel basare le grandi decisioni commerciali sui dati di uno strumento.
- Ho dovuto imparare le statistiche per fidarmi dei dati.
Lizzie Eardley: "Chasing Statistical Ghosts in Experimentation"
- Fantasma statistico: quando pensi che il tuo test abbia avuto un impatto sulla tua metrica, ma in realtà non ha alcun impatto. Ti stai prendendo in giro dai dati
- Esegui 100.000 test A / A: il 60% dei test A / A ha misurato una differenza di almeno l'1%.
- "Non statisticamente significativo" non significa che non ha avuto alcun impatto, solo che non hai prove sufficienti per rifiutare l'ipotesi nulla.
- Quattro cause di fantasmi statistici:
- Confronti multipli;
- Dando una occhiata;
- Metrica errata;
- Quasi significativo.
- Confronti multipli:
- È necessario tener conto di ciò regolando il valore p.
- La probabilità di falsi positivi si applica a ciascun confronto.
- Ex. 1 confronto: 5% di possibilità di falsi positivi; 8 confronti, 34% di possibilità di falsi positivi!
- Ipotesi di base su una metrica chiave, quindi scegli metriche secondarie.
- Dando una occhiata:
- Esaminare i dati e intraprendere azioni prima della fine predeterminata dell'esperimento.
- Questo può avere un enorme effetto sul tasso di falsi positivi.
- Buoni motivi per sbirciare: controlla bug, interrompi disastri, efficienza.
- Metrica errata:
- Una buona metrica è significativa, interpretabile, sensibile, adatta al test.
- Significativo: cattura ciò che intendevi cambiare.
- Interpretabile: facile capire come un cambiamento abbia alterato il comportamento dell'utente.
- Sensibile: in grado di rilevare più piccole modifiche più velocemente.
- Adatta per il test: i test normali assumono indipendenza e l'errore viene normalmente distribuito.
- Quasi significativo:
- Il fantasma della tentazione. Le persone vogliono credere a quello che sperano.
- Non esiste qualcosa di "quasi" significativo!
Emily Robinson: "6 linee guida per i test A / B"
- Passi del processo di sperimentazione:
- Processi. Non puoi fare tutto, e le cose che non stai facendo sono ancora importanti.
- Creazione.
- Analizzando.
- Il processo decisionale. Come decidere cosa fare dopo?
- Meno dati, più forti sono le opinioni. Le nostre opinioni sono spesso sbagliate. Non lasciare che gli HiPPO (l'opinione più alta della persona a pagamento) uccidano le tue idee; sperimentare invece.
- Inizia con i dati storici: qual è la popolazione della tua idea di test? Qual è il tuo tasso di conversione attuale e l'aumento stimato?
- Esegui analisi di potenza! Importante per determinare il punto di arresto ed evitare un falso negativo. (L'ottanta per cento significa che c'è una probabilità dell'80% di rilevare il cambiamento se è lì.)
- Se provi più modifiche contemporaneamente, sarà impossibile capire cosa non ha funzionato; lavorare invece su test incrementali più piccoli.
- Etsy ha iniziato rilasciando tutte le modifiche dopo i test conclusi.
- È stato spostato in un processo più approfondito per l'implementazione delle modifiche ai test A / B con cicli più piccoli.
- Prototipa le idee prima di rilasciarle.
- Coinvolgi uno scienziato che può assicurarsi di monitorare le metriche corrette. Possono anche aiutarti con calcoli energetici e idee iterate.
- Il processo decisionale:
- Qual è la complessità tecnica e il debito che stai aggiungendo?
- È una caratteristica fondamentale?
- Potrebbe esserci un impatto negativo troppo piccolo per essere rilevato?
- Fai attenzione a lanciare in modo neutrale, non avendo una strategia solida o dati sufficienti per supportare il processo decisionale.
Valerie Kroll: "Come presentare i risultati dei test per ispirare l'azione"
- Quando si presentano i dati, la domanda chiave è "Che cosa vuoi che il tuo pubblico se ne vada?"
- Formula modello:
- Perché abbiamo provato;
- Cosa abbiamo testato;
- risultati;
- apprendimenti;
- Qual'è il prossimo.
- Le tue diapositive non sono la tua presentazione. Tu sei la presentazione.
- Indica il tuo caso aziendale:
- Dove stai testando questo?
- Chi è il pubblico?
- Cosa misurerai?
- Dichiari la tesi. (ad es. "Il prompt della chat di una proposta di valore aumenterà la cattura del lead?")
- Definire come è stato misurato l'esperimento:
- Dichiarazione di ipotesi;
- KPI primario;
- KPI secondari.
- Rendi interattive le tue presentazioni: fai un sondaggio e chiedi alle persone ciò che pensano che vincerebbe.
- Presentazione dei risultati:
- Impatto sul KPI primario;
- Uno visualizzazione di KPI primari; le persone capiranno meglio i tuoi risultati.
- Segmentazione per mostrare cos'altro hai trovato.
- Mantenere le conoscenze e le azioni fianco a fianco. (Questo dovrebbe richiedere il 40-50% del tempo di presentazione.)
- Se qualcosa non sta aggiungendo alla tua presentazione, lo toglie (es. Statistiche, informazioni tecniche, ecc.).
- Avere un modello prevedibile. Le persone sanno cosa aspettarsi. Rende il tuo lavoro più veloce.
André Morys: "Tutti moriamo: perché l'ottimizzazione è l'accelerazione dell'evoluzione"
- Effetto Thatcher (1980, esperimento dal vivo): è difficile riconoscere i cambiamenti di una foto al rialzo di una faccia (Margaret Thatcher).
- Se non conosci lo schema, potresti non riconoscerlo: le stesse prese per CRO.
- Devi cambiare la prospettiva per vedere la verità dietro le cose.
- Ex. Perché Commerzbank sta morendo?
- Francamente, l'esperienza fa schifo.
- Ma perché? Hanno designer, CRO, analisti
- La gestione ignorante degli HiPPO non avverte il dolore.
- "La verità – più precisamente, un'accurata comprensione della realtà – è la base essenziale per produrre buoni risultati".
- Non parlare di modelli di business dirompenti; quelli che disturbano non ne parlano. Sono troppo occupati a interrompere.
- La crescita digitale non viene dalla tecnologia; è basato sulla grande esperienza del cliente.
- Se non c'è intenzione di testare l'esperienza del cliente, non vedrai risultati.
- L'ottimizzazione è per sua natura agile: CRO fornisce nuovi dati per la squadra per dimostrare che qualsiasi cosa l'organizzazione abbia fatto è stata buona o cattiva.
- I buoni ottimizzatori generano idee incentrate sul cliente.
- Il vantaggio di Amazon è che stanno continuamente generando nuove intuizioni.
- È un'onda, l'agile Tsunami. (Non puoi vederlo.)
- Processo di ottimizzazione dell'infinito: analisi, prioritizzazione, convalida.
- Cambia la mentalità della gestione.
- Il management non si preoccupa di cosa è cambiato sul sito web.
- Presenta il ROI del programma di sperimentazione alla gestione.
- Suggerimento: diventa amico del CFO.
- Riunioni della tavola rotonda C-Suite: consente alla direzione di discutere i loro problemi e quindi di essere ambiziosi (cioè vendere il programma).
- Gestione vuole grande cose! Tuttavia, dimenticano che i cambiamenti più piccoli producono risultati più grandi (effetto composto).
John Ekman: "Cosa c'è di rotto nella trasformazione digitale (e come risolverlo)
- "La trasformazione digitale" non è un buon obiettivo:
- Gli obiettivi sono "ottenere rapidamente il prodotto sul mercato" o "un buon servizio clienti".
- Noi (erroneamente) definiamo l'obiettivo della "trasformazione digitale" quando gli obiettivi non devono cambiare, solo gli strumenti per raggiungerli.
- Le cinque vie della trasformazione digitale:
- Digitalizza il prodotto;
- Avvolgere un livello di servizio digitale attorno al prodotto;
- Digitalizzare i processi "dietro le quinte";
- Digitalizzare gli sforzi di marketing, vendita e conservazione;
- Innovare nuovi prodotti digitali.
- Dobbiamo selezionare e stabilire una priorità tra i cinque modi di trasformazione digitale; anche i leader digitali possono eccellere in uno o due modi, ma non in altri.
- La direzione pensa che stia spendendo un sacco di soldi; i professionisti si sentono come se non avessero risorse.
- La realtà è che è la crescita del bastone da hockey – devi spendere un sacco di soldi prima di vedere qualsiasi risultato (e quindi i risultati sono esponenziali).
- Assegna il budget a nuovo iniziative prima di destinare a in corso iniziative.
- Obiettivi e valutazione disallineati:
- Piccoli progetti non sono organizzati all'interno del quadro generale.
- Con la trasformazione digitale, non conosciamo le dimensioni del rendimento o dell'investimento necessario; guardare solo al ROI non ti spinge verso il futuro.
- Soluzioni: OKR (Google), contabilità dell'innovazione (Eric Ries), finanziamento con contatori (VC).
- Tre superpoteri digitali:
- Capacità di (1) ascoltare i clienti;
- Quando ascolti, puoi (2) agire; altrimenti, agisci sulle informazioni sbagliate.
- Se hai entrambi, puoi (3) ridimensionare; altrimenti, ridimensiona la cosa sbagliata.
Will Critchlow: "Che cosa succede se i tuoi test CRO vincenti stanno sconvolgendo il tuo traffico di ricerca? O le tue modifiche SEO stanno distruggendo il tuo tasso di conversione? "
- La preoccupazione generale è che il SEO sta per rovinare il CRO, non viceversa.
- La CRO si occupa del fondo dell'imbuto (più persone convertono in vendite).
- SEO si occupa della parte superiore della canalizzazione (aggiungendo più persone alla canalizzazione).
- Un sacco di pagine CRO non sono nemmeno indicizzate, ma molti sono-e i test CRO possono danneggiare il traffico organico. (L'abbiamo visto accadere.)
- Esperimento: ai SEO e ai marketer non digitali è stato chiesto di valutare quale delle due pagine potrebbe essere più alta:
- Nessuno è riuscito a raggiungere il 50% di accuratezza nella previsione.
- I SEO erano solo marginalmente migliori rispetto ai non SEO.
- Quindi, come possiamo fare previsioni migliori? Test SEO (DistilledODN).
- Le modifiche che funzionano per una nicchia potrebbero non funzionare per un'altra: dobbiamo testare.
- Le "migliori pratiche" SEO sono specifiche per sito / settore.
- UX è un fattore di ranking (forse):
- Google prepara i modelli di apprendimento automatico per apprezzare le stesse cose che piacciono alle persone.
- Ma Google non è perfetto, ogni modifica dell'algoritmo no raggiungere quell'obiettivo, ma è quello che stanno cercando di fare.
- Quindi, dovremmo costruire ipotesi SEO dai fondamentali UX.
- In definitiva, dobbiamo – e trarremo vantaggio – testando l'impatto di SEO e CRO allo stesso tempo. Siamo nella stessa squadra.
Brennan Dunn: "Come offrire esperienze completamente personalizzate in scala"
- Molte persone "pensano" che personalizzano, ma c'è molta personalizzazione non utile là fuori.
- Cose su cui in realtà voglio essere personalizzato: il mio intento, le mie azioni, il mio livello di conoscenza.
- Due lavori principali per la segmentazione:
- Rendere il tuo messaggio più pertinente, più specifico;
- Utilizzo della segmentazione per migliorare la segnalazione.
- Nella segmentazione, le due cose a cui tengo sono "chi" e "cosa": "Io sono un [blank] e ho bisogno del tuo aiuto con [blank]“.
- Come segmentare automaticamente le persone:
- Intent / Comportamento
- Quali sono gli ultimi 10-20 articoli che qualcuno ha letto sul nostro sito?
- Pagine di destinazione originali
- L'annuncio ha fatto clic (soprattutto vero per gli annunci di Facebook).
- Rinvii.
- Azioni
- Acquisti.
- Magneti al piombo.
- Webinar.
- indagini
- Link di attivazione: "A cosa ti stai concentrando maggiormente adesso?"
- Le indagini. "Cosa stai cercando di fare sul nostro sito oggi?"
- Sondaggi ospitati
- Clearbit
- Intent / Comportamento
- Cosa succede se non sai come dovresti segmentare?
- Quando qualcuno si iscrive a un corso di posta elettronica o scarica un magnete principale, chiedi loro di punto in bianco. (ad esempio "Che cosa hai bisogno di ottenere da questo corso di posta elettronica?")
- Con la personalizzazione, possiamo usare la messaggistica di nicchia senza essere effettivamente un business di nicchia.
- Meno pensiero, più impegno = più conversioni.
- Alla fine della giornata, la personalizzazione è importante.
Chad Sanderson: "Aligning Experimentation across Product Development and Marketing"
- Sometimes marketing and engineering departments want to do parallel experiments and run into conflicts.
- People closer to the product have more pull in the business.
- Different types of companies: Tech First (Bing, LinkedIn), Second (Booking.com, Grubhub), Third (Sephora, Target).
- Depending on the business type, you have differences:
- Optimization. The feature would not exist without experimentation tool; experiment design can occur out of sprint cycle.
- Validation. The feature would exist regardless of experimentation; experiment design is part of development cycle.
- Snapchat’s big redesign was bashed in 83% in user reviews—an example of a catastrophe that a validation-based process could’ve avoided.
- Page Speed Kills. Is optimization killing conversion rates by 5% or more? Client-side experimentation technologies fail to increase latency by anything less than 1000ms. Every 100ms latency causes a 0.5% decrease in RPV.
- Steps to success:
- Understand your current structure: optimization or validation.
- Figure out where your coverage is lacking. Is ROI tracked? Is product shipped with experiments?
- Bridge the gap across people, departments—get mutual goals for program metrics.
- Establish a forum for sharing results and working on joint projects (results at a global program level, not individual tests).
- Monthly meetings to review metrics consistently and solve opposing forces.
Natasha Wahid: “How to Get Your Entire Organization Psyched About Experimentation”
- Culture is a factor of successful experimentation. Take this scenario:
- A one-woman optimization champion starts sourcing ideas from everyone for experimentation.
- She gets tons of ideas, but because she’s a one-woman show, she gets snowed under.
- After a time, it becomes a joke—a place where ideas go to die.
- How do we do better?
- Inspire—the spark. Get people motivated to act.
- Educate—training. Formal or informal.
- Inform—communicating knowledge, action.
- The core team owns the program. They’re focused on getting executive buy-in and building momentum.
- Ex. Envoy
- Michelle highlighted what the company was missing by not optimizing their core funnels.
- Recruited a lead engineer and a designer. They also brought in an enabling partner from an outside agency.
- Everyone could see the impact of the experiment. The engineer hardcoded the winning variation right away.
- Ex. Square
- One of the highest visibility product teams had gone through a redesign that tanked.
- Hosted workshops that focused on changing people’s mindsets around experimentation.
- Focused on fostering collaboration, asking teams if there were insights from other experiments that might be relevant for the current team.
- RACI model:
- R – responsible – doing the actual work;
- A – accountable – owner of the project;
- C – consultant – providing information on managing the process;
- I – information – people who just need to be kept informed.
- Example for RACI communication:
- Owner: Experimentation champion;
- Message: Experiment X has been launched;
- Channel: Slack notification;
- Audience: Engineering team;
- Timing: Automatically when experiment is launched in tool.
Conclusion
This post is 21 half-hour sessions condensed into less than 5,000 words. If you want the full experience—inside and outside the conference sessions—you simply have to be there.
The good news? You don’t need to wait a full year. Join us at Digital Elite Camp in Estonia on June 13–15.
