Come migliorare l'analisi del sondaggio in 3 passaggi

Anche se raccogli i feedback dei clienti, non avrà molto valore se l'analisi del tuo sondaggio non è sufficiente.

Dal momento che non si stanno preparando i dati correttamente per trarre conclusioni basate su dati statisticamente insignificanti, molto può andare storto. Per fortuna, ci sono alcune vittorie facili.

Questo post mostra come migliorare l'analisi del sondaggio in tre passaggi:

1. Scegli le domande giuste per ottenere dati utili;
2. Preparare i dati per l'analisi;
3. Conduci un'analisi del conducente sui tuoi dati.

Prima di tutto ciò, tuttavia, è necessario chiarire i propri obiettivi.

Sapere cosa vuoi ottenere dal tuo sondaggio clienti

Cosa vuoi scoprire? Prima di considerare un metodo di ricerca specifico o una domanda di indagine, è necessario definire la domanda di ricerca. Quali problemi devi affrontare per guadagnare più soldi o mantenere i tuoi clienti felici? (È importante sottolineare che la tua domanda di ricerca non è la stessa domanda che chiedi agli utenti.)

Per le indagini sui clienti, la divisione più grande è tra la ricerca quantitativa e quella qualitativa. Il ritornello comune è che i dati quantitativi ti dicono "cosa" mentre i dati qualitativi ti dicono il "perché". Ma anche questo ha i suoi limiti:

Nessun singolo articolo può coprire l'analisi del sondaggio per ogni tipo di ricerca. Le lezioni di questo post si applicano in generale a molti tipi di sondaggi che cercano di capire come le persone si sentono riguardo alla tua azienda, al tuo prodotto o servizio e perché loro si sentono in quel modo

Tuttavia, per semplicità, questo articolo utilizza Net Promoter Score come esempio. Per uno, è ampiamente usato. Ma mostra anche perché un sondaggio quantitativo a domanda singola limita la tua analisi.

In quanto tale, è un'opportunità per evidenziare quanto può essere potente la tua analisi se aggiungi (e codifichi e analizzi) domande di follow-up qualitativo.

Se hai capito la domanda alla quale la tua azienda ha bisogno di rispondere, puoi passare alla ricerca della persona giusta da proporre ai tuoi clienti.

1. Scegli le domande giuste

Una buona analisi del sondaggio inizia con una buona progettazione del sondaggio. Chiedere le domande giuste ti prepara al successo con la tua analisi. Per il feedback dei clienti, tutti conoscono i classici del menu: soddisfazione del cliente, Net Promoter Score (NPS) e punteggio di effort del cliente.

Ma, per decenni, i ricercatori di mercato hanno dovuto affrontare un dilemma. Vogliono massimizzare il tasso di risposta mentre imparano il più possibile. E la maggior parte dei clienti e degli utenti (80% specifici) che si troveranno di fronte a un elenco di domande di sondaggio saranno sottoposti a cauzione.

Se devi ridurre la lista della spesa in un singolo oggetto o domanda, cosa chiedi? Per meglio e peggio, la risposta per molti è stata NPS. I limiti di NPS sono un modo utile per capire come il design del sondaggio influisce sulla tua analisi.

Le limitazioni del Net Promoter Score

Quando ha introdotto NPS nel mondo, Frederick Reichheld ha giustamente sottolineato che gli attuali approcci all'indagine sulla soddisfazione dei clienti non erano efficaci. Erano eccessivamente complessi, obsoleti dal momento in cui raggiunsero i manager di prima linea e spesso ottennero risultati imperfetti.

Eppure l'idea che NPS sia il "numero unico che devi crescere" ha impostato molti sulla strada sbagliata. (Ulteriori informazioni sui suoi limiti qui.)

La semplicità di NPS è la ragione principale per cui così tanti giurano, ma quella semplicità è anche il suo difetto. Bisogna sempre chiedere a NPS – e ancora più importante, analizzato – in coppia con altre domande.

Mentre NPS sembra chiaro, può essere piuttosto vago:

• Perché il tuo cliente ha scelto un punteggio di 6 anziché di 7 (rendendoli un detrattore piuttosto che un semplice passivo)?
• Qual è la differenza statistica tra un punteggio di 9 o un punteggio di 10? Come dovrebbe influenzare il processo decisionale?

Le domande che implicano la possibilità di rivisitare, ripetere gli acquisti o riutilizzare il prodotto possono essere altrettanto validi (se non migliori) predittori della fedeltà del cliente, a seconda del prodotto o del settore.

Quindi qual è la soluzione?

Domande su Ladder per ottenere informazioni migliori

Quindi, arriviamo al punto cruciale di scegliere le domande giuste – come in multiplo! Dovresti risolvere le tue domande per trovare maggiori informazioni. Indagini su una domanda sono allettanti. Forniscono numeri rapidamente senza analisi lunghe. Ma sono insufficienti.

(La buona notizia è che non richiede lo stesso sforzo che si pensa per analizzare dati più complessi – ne parleremo più avanti).

Le domande su Ladder consentono al rispondente di elaborare una risposta che hanno dato. Questo può essere semplice ed efficace come una domanda a risposta aperta dopo una domanda chiusa. Lo scopo è determinare il "perché", che ti consentirà di eseguire l'analisi del conducente nel passaggio 3.

Se un cliente fornisce un NPS di 6, puoi chiedere come follow-up, "Cosa ti ha spinto a darci un 6?" O "Qual è la ragione più importante per il tuo punteggio?"

Un'altra opzione per i sondaggi sulla soddisfazione dei clienti è domande sulla ladder con una seconda domanda chiusa. Ad esempio, considera le seguenti domande per ACME, una banca fittizia:

1. Come valuteresti la tua soddisfazione con la banca ACME?
2. Come valuteresti quanto segue dalla banca ACME:

• tasse;
• Tassi di interesse;
• Servizio telefonico;
• Servizio filiale;
• Servizio Online;
• Disponibilità bancomat

Questo ti darebbe i dati per aiutare a determinare quale gli aspetti del servizio della banca influenzano la soddisfazione complessiva.

Dopo aver completato il punteggio iniziale con le risposte di follow-up, puoi pulire e codificare i dati per rendere l'analisi del sondaggio molto più potente.

2. Prepara i tuoi dati per l'analisi

Uno dei componenti più importanti dell'elaborazione dei dati è la garanzia della qualità. Solo i dati puliti ti daranno risultati validi. Se il sondaggio utilizza la logica, un primo passo è garantire che nessun rispondente abbia risposto alle domande a cui non avrebbe dovuto rispondere.

Oltre a questo semplice controllo, il processo ha due componenti principali: la pulizia dei dati e la codifica dei dati.

Dati di pulizia

La pulizia dei dati disordinati implica:

• Identificazione di valori anomali;
• Eliminazione di record duplicati;
• Identificazione di risposte contraddittorie, non valide o dubbia.

Due tipi di intervistati spesso cancellano i tuoi dati: speedster e flatliner. Possono essere particolarmente problematici quando i premi sono associati al completamento del sondaggio.

Velocisti. I velocisti sono gli intervistati che completano il sondaggio in una frazione del tempo che avrebbe dovuto impiegarli. Pertanto, non potevano leggere e rispondere correttamente a tutte le domande.

È possibile identificare i velocisti impostando un periodo di tempo previsto per completare l'interezza o una sezione del sondaggio. Quindi, rimuovere tutti i rispondenti che cadono significativamente al di fuori di quel tempo.

Uno standard del settore è quello di rimuovere gli intervistati che completano il sondaggio in meno di un terzo del tempo mediano.

Flatliners. La flatlining, a volte chiamata straight-lining, si verifica quando un rispondente sceglie la stessa risposta esatta per ogni elemento in una serie di valutazioni o domande sulla griglia.

Ad esempio, possono scegliere la risposta 1 per una serie di domande di valutazione come "Su una scala da 1 a 5, dove 1 significa 'non soddisfatto' e 5 significa 'estremamente soddisfatto', come valuteresti ciascuna delle seguenti opzioni? ”

Gli flatliner inquinano i dati dell'indagine contrassegnando la stessa risposta per ogni risposta. Occasionalmente, potresti voler progettare il tuo sondaggio per cercare di catturare i flatliner. Puoi farlo ponendo domande contraddittorie o includendo una forma di convalida fronte / retro, che pone la stessa domanda due volte.

Ad esempio, puoi chiedere ai rispondenti di selezionare la loro fascia d'età due volte, ma posizionare le parentesi quadre in un ordine diverso per domande consecutive. In questo modo, tuttavia, il tuo sondaggio sarà più lungo.

Devi bilanciare massimizzando le percentuali di completamento con dati puliti. È una sentenza. Quanto è stata importante la serie di domande su cui si sono concentrati? Ha determinato quali altre domande hanno ricevuto? Se sono flatline per tre o quattro risposte consecutive, le loro altre risposte sono ancora valide?

È possibile utilizzare considerazioni pratiche per aiutare a determinare l'equilibrio. Ad esempio, se si desidera intervistare 1.000 persone e raggiungere quota 50 oltre la propria quota, potrebbe essere più semplice adottare un approccio più aggressivo con soggetti potenzialmente rischiosi.

Esistono altre misure di controllo della qualità che è possibile implementare nella progettazione del sondaggio o controllare durante la pulizia dei dati.

• Rendi obbligatorie le domande aperte. Se un rispondente fornisce risposte senza senso (lettere o numeri casuali, ecc.), Rivedere le altre risposte per decidere se rimuoverle.
• Metti una domanda di aringhe rosse per catturare speedster, flatliner e altri intervistati disattenti. Includere marchi falsi o prodotti evidentemente falsi in una lista di risposte. (Una nota di cautela: assicurati che questi articoli contraffatti non abbiano grafie simili a marchi esistenti.) Segnala gli intervistati che scelgono due o più articoli falsi.

Una volta ottenuti i dati puliti, è possibile avviare la codifica manualmente per set di dati più piccoli, a livello di programmazione per quelli di grandi dimensioni.

Codifica manuale per piccoli set di dati

Codifica dei dati di testo aperti

Il metodo tradizionale di gestire il feedback a risposta aperta è codificarlo manualmente. Ciò comporta la lettura di alcune delle risposte (ad esempio 200 risposte selezionate casualmente) e l'utilizzo del giudizio per identificare le categorie.

Ad esempio, se una domanda si pone in merito all'atteggiamento nei confronti dell'immagine di un marchio, alcune delle categorie potrebbero essere:

1. Divertimento;
2. Vale la pena pagare;
3. Innovativo, ecc.

Questo elenco di categorie e i codici numerici ad essi assegnati sono noti come frame di codice. Dopo aver ottenuto una cornice di codice, leggi tutte le voci di dati e abbina manualmente ciascuna risposta a un valore assegnato.

Ad esempio, se qualcuno dicesse "Penso che il marchio sia davvero divertente", a questa risposta verrebbe assegnato un codice di 1 ("Divertimento"). Alle risposte può essere assegnato un valore (risposta singola) o più valori (risposta multipla).

Si finisce con un set di dati che assomiglia al seguente:

Se il set di dati è troppo grande per essere codificato manualmente, c'è un'altra opzione: analisi del sentiment.

Analisi del sentiment per codificare grandi set di dati

Esiste un altro metodo di analisi del testo chiamato analisi del sentimento o, a volte, opinion mining. L'analisi del testo utilizza un algoritmo per convertire il testo in numeri per eseguire un'analisi quantitativa.

Nel caso dell'analisi del sentimento, un algoritmo conta automaticamente il numero di parole positive o negative che appaiono in una risposta e quindi sottrae il negativo dal positivo per generare un punteggio di valutazione:

Mentre l'analisi del sentiment sembra semplice e presenta alcuni vantaggi, presenta anche dei limiti. Ci sarà sempre un certo livello di rumore ed errore. Gli algoritmi di analisi del sentimento lottano con il sarcasmo e spesso sono dei poveri interpreti di significato (almeno per ora).

Ad esempio, è difficile addestrare un computer per interpretare correttamente una risposta del tipo "I love George Clooney. NON! "Come negativo. Ma se l'alternativa sta trascinando migliaia di risposte, il trade-off è ovvio.

Non solo l'analisi del sentimento è molto più veloce della codifica manuale, è anche più economica. Significa anche che puoi identificare rapidamente e filtrare le risposte con punteggi di sentimento estremi (ad es. -5) per capire meglio perché qualcuno ha avuto una reazione forte.

Ci sono alcune chiavi per fare il lavoro di codifica dell'analisi dei sentimenti:

• Chiedi domande più brevi e dirette per sollecitare un'emozione o un'opinione senza interlocutori principali. Ad esempio, sostituendo "Cosa pensi di George Clooney?" Con "Come ti senti George Clooney?" O "Quando pensi a George Clooney, quali parole emergono?" Queste ultime domande hanno meno probabilità di generare ambivalenze, risposte difficili da interpretare.
• Evitare l'uso dell'analisi del sentiment nelle domande di follow-up. Ad esempio, le risposte a "Perché ci hai dato un punteggio basso?" Non sono adatte per l'analisi dei sentimenti, perché viene posta la domanda di persone che si stanno già inclinando verso un sentimento negativo.
• Diffida delle opinioni multiple in una singola domanda. Rispondere a più domande distorce i risultati verso la terra di mezzo, motivo per cui le domande più brevi e più dirette su un singolo aspetto sono migliori.

Prima di procedere all'analisi statistica, è necessario riepilogare i dati puliti e codificati.

Riassumi i dati del tuo sondaggio per l'analisi

NPS. Il calcolo del tuo NPS è semplice. Dividi i tuoi intervistati in tre gruppi in base al loro punteggio: 9-10 sono promotori, 7-8 sono passivi, 0-6 sono detrattori. Quindi, utilizzare la seguente formula:

% Promotori -% detrattori = NPS

Una nota aggiuntiva: NPS riduce una scala da 11 punti a una scala a 3 punti: detrattori, passivi e promotori. Questo può limitare la possibilità di eseguire test delle statistiche nella maggior parte dei software.

La soluzione è ricodificare i dati non elaborati. Trasforma i valori del detrattore (0-6) in -100, i tuoi passivi (7-8) in 0 e i promotori (9-10) in 100.

Puoi ricodificare e calcolare manualmente il tuo NPS in Excel utilizzando una formula IF:

Punteggio di soddisfazione del cliente. Generalmente, per un punteggio di soddisfazione del cliente, poni ai clienti una domanda del tipo: "Come giudichi la tua soddisfazione complessiva con il servizio ricevuto?" Gli intervistati valutano la loro soddisfazione su una scala da 1 a 5, con 5 che sono "molto soddisfatti".

Per calcolare la percentuale di clienti soddisfatti, utilizzare questa formula:

(clienti che hanno valutato 4-5 / risposte) x 100 =% clienti soddisfatti 

Ora puoi passare all'analisi del conducente dei dati del tuo sondaggio.

3. Effettuare un'analisi del conducente

In alternativa noto come analisi chiave del conducente, analisi dell'importanza e analisi relativa dell'importanza, l'analisi del driver quantifica l'importanza delle variabili predittive nel predire una variabile di risultato.

L'analisi del driver è utile per rispondere a domande come:

• "Dovremmo concentrarci sulla riduzione dei prezzi o sul miglioramento della qualità dei nostri prodotti?"
• "Dovremmo focalizzare il nostro posizionamento come innovativo o affidabile?"

Questa componente dell'analisi del sondaggio consiste di cinque passaggi.

Passaggio 1: impila i tuoi dati

Per condurre un'analisi del conducente, impila i tuoi dati. Un formato di dati impilati è simile alla seguente tabella:

Nell'esempio sopra, la prima colonna è la tua metrica quantitativa (ad esempio NPS), mentre la seconda, la terza e la quarta colonna sono risposte codificate a domande di follow-up aperte.

Passo 2: Scegli il tuo modello di regressione

Esistono diversi tipi di modelli di regressione. Il software può e dovrebbe fare il lavoro pesante. La decisione chiave per un ricercatore è quale modello utilizzare. I modelli più comuni sono la regressione lineare e la regressione logistica. La maggior parte degli studi utilizza un modello di regressione lineare, ma la decisione dipende dai dati.

Va oltre questo articolo per spiegare quale modello usare, in quanto la risposta è specifica per i tuoi dati. In breve, la regressione lineare è appropriata quando la variabile di risultato è continua o numerica (ad esempio NPS).

La regressione logistica dovrebbe essere utilizzata quando la variabile di risultato è binaria (ad esempio, ha due categorie come "Preferisci il caffè o il tè?"). Puoi trovare una spiegazione più dettagliata in questo ebook.

Nei passaggi seguenti, ho seguito un esempio per mostrare quanto sia facile fare un'analisi di regressione dopo aver scelto un modello. Se preferisci vedere il processo come parte di un tutorial interattivo, puoi farlo qui.

Passaggio 3. Esegui i tuoi dati tramite uno strumento di statistiche

Abbiamo completato un sondaggio che poneva le seguenti domande ai rispondenti:

1. Quante probabilità hai di consigliare Apple? (domanda NPS standard)
2. Qual è la ragione più importante per il tuo punteggio? (risposta aperta)

Volevamo vedere gli elementi chiave del marchio che hanno indotto gli intervistati a raccomandare Apple.

Abbiamo codificato la risposta a testo libero alla domanda due, che ci ha fornito il set di dati di seguito:

Abbiamo caricato questo nel nostro software di analisi (Displayr) e abbiamo eseguito una regressione logistica per vedere quali attributi del marchio erano più importanti nel determinare il punteggio NPS.

(La maggior parte dei pacchetti software standard come Stata, SAS o SPSS offrono regressione logistica.In Excel, puoi utilizzare un componente aggiuntivo come XLSTAT.Alcuni sono anche dei video utili su YouTube, come questo di Data Analysis Videos.)

Più il valore t è da 0, più forte è la variabile predittore (ad es. "Fun") per la variabile risultato (NPS). In questo esempio, "Divertimento" e "Vale la pena pagare per" hanno la maggiore influenza su NPS.

Poiché le nostre stime per "Divertimento" e "Vale la pena pagare per" sono abbastanza vicine, abbiamo eseguito un'analisi di importanza relativa per essere sicuri dei nostri risultati:

Questa seconda analisi è una copertura contro una potenziale mancanza di regressione logistica, collinearità. La collinearità "tende a gonfiare la varianza di almeno un coefficiente di regressione stimato. Ciò può causare che almeno alcuni coefficienti di regressione abbiano il segno sbagliato. "

Passaggio 4: test per rilevanza

Come fai a sapere quando le modifiche (quantitative) del tuo feedback sulla soddisfazione del cliente sono significative? È necessario separare il segnale dal rumore.

I test di significatività statistica sono automatizzati e integrati nella maggior parte dei pacchetti statistici. Se hai bisogno di elaborare manualmente il tuo significato statistico, leggi questa guida.

(Dovresti anche essere consapevole dei limiti e delle insidie ​​più comuni di significato statistico, che puoi leggere qui, qui o qui.)

Passaggio 5: visualizza i tuoi dati

Infine, possiamo visualizzare i risultati da condividere con i colleghi. L'obiettivo è di consentire loro di comprendere i risultati senza la distrazione di tabelle e statistiche numeriche:

Un modo per visualizzare i dati di feedback dei clienti, in particolare NPS, è tracciare la frequenza o la percentuale delle valutazioni. Ad esempio, se si desidera mostrare la distribuzione delle classificazioni all'interno di ciascun gruppo di promotori, è possibile utilizzare una visualizzazione con pittogrammi a barre.

Il grafico a barre del pittogramma qui sotto è stato codificato a colori per facilitare la distinzione tra i gruppi. Ci induce a un'osservazione importante. Tra i detrattori, c'è una concentrazione molto più grande di punteggi 5-6 rispetto a 0-4.

Questi 5-6 detrattori hanno molte più probabilità di essere influenzati rispetto a quelli che hanno dato un punteggio più vicino a 0. Con questo in mente, è possibile concentrare l'analisi delle risposte qualitative su quel gruppo.

Visualizzazioni di confronto. È anche possibile confrontare gli NPS di diversi marchi per confrontarli con i concorrenti. Il grafico a barre in pila di seguito mostra le risposte del gruppo promotore per diverse società tecnologiche.

Mentre perdiamo alcuni dettagli aggregando le valutazioni del gruppo promotore, otteniamo la capacità di confrontare i diversi marchi in modo efficiente:

A colpo d'occhio, è facile notare che Google ha il maggior numero di promotori e meno detrattori. IBM, Intel, HP, Dell e Yahoo lottano tutti con un numero elevato di detrattori e pochi promotori.

Questa visualizzazione mostra anche la dimensione del gruppo passivo rispetto agli altri due. (Un errore comune è quello di concentrarsi esclusivamente su promotori o detrattori).

Se la dimensione del tuo gruppo passivo è grande rispetto ai tuoi promotori e detrattori, puoi migliorare notevolmente il tuo NPS spingendoli oltre la linea. (C'è anche il rischio, naturalmente, che potrebbero oscillare dall'altra parte).

Visualizzazioni nel tempo. Puoi tracciare il tuo NPS nel tempo con una colonna o un grafico a linee (se hai abbastanza risposte per un lungo periodo di tempo). Questi grafici possono aiutare a mostrare l'impatto delle campagne di marketing o dei cambiamenti di prodotto.

Stai attento, però. Se il tuo NPS fluttua (forse a causa di vendite o campagne stagionali), può essere difficile individuare una tendenza. Una linea di tendenza può indicare la traiettoria generale.

Ad esempio, nel grafico seguente, sarebbe difficile individuare il modo in cui l'NPS è in trend senza l'aiuto di una linea di tendenza:

Conclusione

Quando si tratta di migliorare l'analisi del sondaggio, molto si riduce a quanto bene si progetta il sondaggio e preparare i dati.

Nessuna singola metrica, NPS incluso, è perfetta. Domande di follow-up a risposta aperta dopo domande chiuse possono aiutare a fornire il contesto.

Ci sono alcune altre chiavi per l'analisi del sondaggio di successo:

• Scalare le domande per ottenere contesto per valutazioni e punteggi.
• Progetta bene il tuo sondaggio per evitare mal di testa durante la preparazione e l'analisi dei dati.
• Pulisci i tuoi dati prima dell'analisi.
• Usa l'analisi del conducente per ottenere quel momento "Aha!".
• Codificare manualmente domande aperte per piccoli sondaggi; usa l'analisi del sentimento se hai migliaia di risposte.
• Prova per importanza.
• Visualizza i tuoi dati per aiutarli a risuonare all'interno della tua organizzazione.