Segnalazione del test di usabilità: dedicare meno tempo, avere più impatto

Il test di usabilità è uno dei modi più efficaci per scoprire i problemi che gli utenti hanno sul tuo sito web o app. Funziona se sei un colosso con milioni di utenti o una startup che è appena uscita dal garage proverbiale.

Il problema è che i test di usabilità richiedono tempo per reclutare partecipanti, moderare e guardare video e compilare i risultati.

Gli strumenti possono aiutare con il componente di analisi, ma:

• Gli strumenti non saranno utili se non si dispone di una buona metodologia;
• Pochi strumenti ti aiutano a passare rapidamente dai dati (video) alle informazioni.

Anche dopo hai le tue scoperte, come le presenti in modo da ispirare i colleghi e i capi ad agire? Vediamo come guadagnare velocità e impatto con i rapporti sui test di usabilità.

Prendi appunti come uno stenografo

Prendere appunti velocemente è il primo passo verso l'Epifania. Nel prendere appunti, stai perseguendo tre obiettivi:

1. Concentrando l'attenzione su ciò che il partecipante sta facendo e dicendo di individuare ciò che è importante;
2. Catturare momenti importanti nelle note in modo da poterle facilmente recuperare in un secondo momento;
3. Ridurre al minimo il lavoro che devi fare dopo la sessione (se si tratta di un test moderato) o quando hai finito di guardare il video (se si tratta di un test non moderato).

Una tecnica chiamata registrazione dati usa scorciatoie per raggiungere questi obiettivi. Usa una lettera per ogni sottotema che incontrerai nel tuo studio. Ecco quello che uso personalmente:

• UN per l'abbandono di un compito o azione;
• B per bugs;
• F per reazioni facciali;
• M per osservazioni varie;
• N per le opinioni negative espresse dal partecipante;
• P per le opinioni positive espresse dal partecipante;
• S per suggerimenti fatti dal partecipante;
• U per problemi di usabilità riscontrati dal partecipante.

Quando rivedi note e clip video in un secondo momento, puoi arricchirli con un'osservazione più dettagliata (se necessario).

Questo sistema di base raggiunge già i primi due obiettivi: acquisire rapidamente elementi importanti mantenendo l'attenzione sul partecipante. Avrai anche parzialmente raggiunto il terzo obiettivo: ridurre al minimo la quantità di lavoro che devi svolgere alla fine del tuo studio per un rapporto utile e di grande impatto.

È possibile aggiungere un secondo livello di categorizzazione in questo passaggio. Ad esempio, l'attività o la domanda corrente potrebbe essere un tema da aggiungere alla tua nota. Quindi, 1B significherebbe che si è verificato un bug durante l'attività 1. Se, come me, non sei bravo nel multitasking durante i test moderati, potresti voler mantenere un singolo livello di scorciatoie e aggiungere temi in seguito.

Infine, tieni presente che ogni nota richiede un timestamp in modo da poter tornare al momento giusto nel video. Questo è particolarmente importante per l'estrazione di video clip, di cui parleremo nella prossima sezione.

Crea un rapporto qualitativo dai tuoi appunti

Una volta completato lo studio e arricchito le note con timestamp, sotto-temi e temi, il rapporto qualitativo è quasi pronto. Raggruppa le tue note in base a temi e sotto-temi, con i clip video pertinenti inclusi.

A colpo d'occhio, sarà facile vedere i risultati principali mentre ti permette anche di andare granuloso come vuoi. Diversi strumenti possono costruire questo tipo di report. Se hai una scelta, qui ci sono cose da considerare:

1. Maggiore è l'integrazione tra il tuo strumento e le note, meglio è. Non vuoi copiare e incollare dozzine di note.
2. Maggiore è l'integrazione tra lo strumento e i video clip, meglio è. Altrimenti, dovrai copiare e incollare i collegamenti ai clip video nel tuo rapporto.
3. Più condivisibile, meglio è. I video clip sono in genere piuttosto pesanti, quindi è più facile condividere un link. È anche molto utile condividere un collegamento a un tema, sottotema o nota individuale per un problema specifico.

Ecco un esempio di un rapporto qualitativo costruito con Trello da David Ghent di Pivotal:

Ecco un altro costruito con Searchness, uno strumento che sto attualmente costruendo:

Organizzare i tuoi dati qualitativi in ​​un rapporto visivo è di grande aiuto per individuare problemi con il tuo sito web o app, o per ottenere suggerimenti e persino ispirazione per il tuo copywriting. È particolarmente rilevante per i test di usabilità formativi (cioè i test della fase iniziale).

Il report visivo può anche triage problemi basati su attributi come gravità e complessità. Puoi imparare di più sulle priorità da questo articolo di Carl Rosenberg.

L'altro tipo di test di usabilità è il test sommativo. I test sommativi confrontano le metriche principali con un benchmark. Potrebbe essere un punto di riferimento del settore, l'obiettivo desiderato per un determinato set di metriche o un confronto con la prestazione precedente del prodotto.

Per i test sommativi, ci sono anche alcune tecniche e strumenti efficienti per creare rapidamente report quantitativi.

Costruisci un rapporto quantitativo dai test di usabilità

Innanzitutto, scegli un insieme di metriche principali pertinenti al tuo progetto e ai destinatari del tuo rapporto. Possono essere inseriti in due gruppi:

1. Metriche a livello di sistema.
2. Metriche a livello di attività.

Esaminiamo ciascuno.

Metriche a livello di sistema

La scala di usabilità del sistema (SUS)

Il SUS è una tecnica standard per misurare l'usabilità. Ha due vantaggi:

1. Affidabilità. Come un sondaggio standardizzato che ha superato la prova del tempo (dal 1986), è meglio del tuo sondaggio nazionale se non lo sai Esattamente cosa stai facendo.
2. Vista a volo d'uccello dell'usabilità è facile da misurare, capire e comunicare.

Il punteggio è calcolato dalle risposte dei partecipanti a un insieme di 10 domande, con ogni risposta che va da 1 (fortemente in disaccordo) a 5 (fortemente d'accordo):

1. Penso che mi piacerebbe usare frequentemente questo sistema.

2. Ho trovato il sistema inutilmente complesso.

3. Pensavo che il sistema fosse facile da usare.

4. Penso che avrei bisogno del supporto di una persona tecnica per poter usare questo sistema.

5. Ho trovato che le varie funzioni di questo sistema erano ben integrate.

6. Ho pensato che ci fosse troppa incongruenza in questo sistema.

7. Immagino che la maggior parte delle persone imparerebbe a usare questo sistema molto velocemente.

8. Ho trovato il sistema molto complicato da usare.

9. Mi sentivo molto sicuro di usare il sistema.

10. Avevo bisogno di imparare un sacco di cose prima di poter iniziare con questo sistema.

È possibile utilizzare uno strumento di sondaggio regolare (SurveyMonkey, Typeform, Survicate, Qualtrics) per raccogliere i punteggi SUS dai partecipanti. Quindi, esportare i risultati in un foglio di calcolo per calcolare il punteggio SUS medio utilizzando questa formula:

• Per gli oggetti dispari, sottrarre 1 dalla risposta del partecipante.
• Per gli articoli pari, sottrarre la risposta del partecipante da 5.
• Sommare le risposte modificate per ogni partecipante e moltiplicare il totale per 2,5.
• Questo ti darà un punteggio da 0 (F o cattivo) a 100 (A o buono).
• Calcola il punteggio SUS medio con i punteggi SUS di tutti i partecipanti.

Molti strumenti di test di usabilità, come TryMyUI, automatizzano il punteggio per te:

Puoi saperne di più sul punteggio SUS e su come interpretarlo da Jeff Sauro.

Matrice esperienza vs aspettativa

Un altro modo per ottenere una visione a livello di sistema dell'usabilità è valutare il divario tra i partecipanti facili aspettarsi ogni compito da svolgere e quanto facilmente i compiti in realtà siamo. Per visualizzare questa lacuna, chiedere una SEQ (pre-task single-single question) e un SEQ post-task a ciascun partecipante per ciascuna attività.

Il SEQ chiede ai partecipanti di valutare un'attività su una scala da 1 (molto difficile) a 7 (molto semplice). Per qualsiasi numero inferiore a 5, l'attività è considerata "non facile". Di solito è un modo per valutare l'usabilità a livello di compito, ma, come suggerisce David Travis di UserFocus, è anche possibile utilizzarlo per scoprire opportunità e problemi a livello di sistema.

Confrontare le risposte alle SEQ poste prima del compito (aspettativa del partecipante) alle risposte poste dopo l'attività (esperienza del partecipante). Tracciare le risposte su un grafico a dispersione.

Come analizzare le risposte

1. Le attività più facili del previsto potrebbero essere un vantaggio comparativo per il tuo prodotto da promuovere nei materiali di marketing.
2. Le attività più dure del previsto dovrebbero avere priorità nell'elenco delle correzioni.
3. Compiti che gli utenti previsto essere difficile e erano difficile offrire l'opportunità di stupire gli utenti.
4. Compiti che i partecipanti previsto essere facile e erano facile dovrebbe essere lasciato solo: stanno facendo il loro lavoro.

Raccogli le risposte dei partecipanti utilizzando strumenti di sondaggio regolari e utilizza un foglio di calcolo per visualizzarli. Oppure, usa strumenti dedicati come TryMyUI o Searchness per farlo automaticamente.

Ecco un esempio di un rapporto SEQ di TryMyUI:

Oppure, per una visualizzazione diversa, ecco un esempio di Searchness:

Metriche a livello di attività

Come notato in precedenza, il SEQ è usato più spesso per valutare l'usabilità delle singole attività. Il più grande svantaggio di questo metodo è che è auto-segnalato e quindi introduce la soggettività. Uno studio di Jeff Sauro e Jim Lewis ha rilevato che, sorprendentemente, il 14% dei partecipanti che ha fallito un compito ha riferito che il compito è stato facile!

Esploriamo altre metriche comuni per le singole attività che possono essere misurate con meno soggettività.

Tasso di completamento e fallimento

Esistono tre tipi di tassi di completamento:

1. Tasso di completamento totale. Il tipo più comune, è la percentuale di partecipanti che completano un'attività, indipendentemente da come.
2. Tasso di completamento su un percorso previsto. La percentuale di partecipanti che completano un'attività seguendo il percorso che ci si aspetta che seguano.
3. Tasso di completamento su un percorso inaspettato. La percentuale di partecipanti che completano un'attività utilizzando passaggi che non ti aspetti o conosci. Questo è un ottimo modo per scoprire problemi o opportunità di usabilità. (Otteniamo poche informazioni dal guardare le persone seguire un percorso atteso – le intuizioni solitamente provengono da ciò che ci sorprende).

Cercare di definire i tuoi passaggi su carta, guardare le registrazioni e calcolare tutto manualmente è noioso. Diversi strumenti consentono di definire passaggi o percorsi previsti per il completamento dell'attività e ottenere automaticamente tali metriche.

Ad esempio, con UserTesting.com, si utilizza una funzionalità chiamata percorsi di clic:

Con Maze, uno strumento incentrato sui test di usabilità per i prototipi, ottieni un rapporto come questo:

In Searchness, definisci visivamente i passaggi per ottenere le metriche:

L'inverso del tasso di completamento è il tuo tasso di fallimento. Osserva il tasso di insuccesso in ogni fase dei tuoi percorsi attesi per capire dove le persone lottano di più. È qualcosa che puoi fare automaticamente con gli strumenti di cui sopra.

lostness

Trovare la percentuale di persone che completano un'attività è una cosa. Ma come fai a sapere se è stato facile per loro? I SEQ possono essere piuttosto soggettivi. Lostness misura quanto perso un partecipante durante un'attività.

Ideata da Patricia Smith nel 1996, la metrica prende in considerazione il numero minimo di pagine richieste per completare un'attività, quindi la confronta con il numero di pagine effettivamente visitate dal partecipante.

Il risultato è un punteggio compreso tra 0 e 1. Più il punteggio è 1, più il partecipante è stato perso (e viceversa). Un partecipante è considerato perso se il punteggio è 0.4 o superiore.

La formula esatta sembra un po 'oscura:

• L è il punteggio di perdita.
• N è il numero di pagine uniche visitate.
• S è il numero totale di pagine visitate (incluse più visite alla stessa pagina).
• R è il numero minimo di pagine necessarie per completare correttamente l'attività.

Puoi calcolarlo manualmente, ma, come con compiti simili, è laborioso. Alcuni strumenti possono automatizzarlo, inclusi Loop11 e Searchness.

Durata

L'ultima metrica obbligatoria a livello di attività è la durata media di ogni attività. La maggior parte degli strumenti di test di usabilità a distanza lo misura per te. Una nota di cautela: il tempo di durata può essere distorto da alcuni partecipanti ultra lenti.

Questi rallentamenti possono avere un grande impatto sulla durata se calcolati (in modo ingenuo) usando la media aritmetica. Per campioni piccoli (≤25), è meglio usare la media geometrica. Per campioni più grandi (> 25), la mediana è un modo migliore per calcolarla. Assicurati di sapere come lo fa il tuo strumento prima di comunicare i risultati.

Alcune parole sugli intervalli di confidenza

Una volta che hai le tue metriche, sei pronto a metterle in un rapporto e condividerle con la tua organizzazione? Non ancora. Con i test di usabilità, non abbiamo tanti dati quanti ne possiamo ricavare dall'analisi, ma ciò non significa che non possiamo condurre un'analisi statistica rigorosa.

Il test di usabilità (si spera) funziona con un campione rappresentativo della nostra popolazione target. Eppure, è solo un esempio. Come possiamo essere sicuri che le percentuali di completamento osservate per 20 partecipanti saranno le stesse per 20.000 utenti?

Anche con campioni di dimensioni ridotte, possiamo tenere conto di questa incertezza con intervalli di confidenza. Per ogni metrica, l'intervallo di confidenza (in genere il 95%) è "un intervallo stimato di valori che è probabile includere un parametro di popolazione sconosciuto, l'intervallo stimato calcolato da un dato insieme di dati di esempio."

Ad esempio, diciamo che abbiamo misurato un punteggio di perdita di 0,1 durante il nostro test di usabilità di 25 persone. Con un intervallo di confidenza di perdita compreso tra 0,0 e 0,3, possiamo dire che, se dovessimo misurare tutta la nostra popolazione target, il punteggio di perdita sarebbe probabilmente compreso nell'intervallo.

Se la nostra dimensione del campione è troppo piccola, tuttavia, avremo un intervallo ampio, che potrebbe includere anche l'intera gamma di risultati:

Per i test di usabilità, ci sono quattro casi da considerare per intervalli di confidenza:

1. Tassi di completamento;
2. Punteggi del sondaggio come SUS e SEQ;
3. Durata per piccole dimensioni del campione (≤25);
4. Durata per campioni di grandi dimensioni (> 25).

Il modo più rapido e semplice per ottenere intervalli di confidenza è con uno strumento che fa al caso tuo. Se vuoi calcolare manualmente gli intervalli di confidenza (o semplicemente capire di più sul calcolo), puoi ottenere tutti i dettagli da questo libro.

Gli intervalli di confidenza fanno bene. Usali!

Segnala per impatto

Quando condividi le tue scoperte, hai bisogno di una memoria selettiva, in un buon modo, per una buona causa. Mostra solo i risultati a cui le persone si prendono cura e ispirano l'azione. Diverse persone si preoccupano di cose diverse, ma a tutti interessa il materiale che può migliorare la loro linea di fondo personale.

Per la C-Suite, potrebbe essere necessario concentrarsi su metriche quantitative e benchmark che offrono il quadro generale e aiutano a prendere decisioni importanti, come assumere più persone UX per raggiungere la concorrenza.

Se stai cercando di rendere i tuoi numeri chiari e interessanti, una grande risorsa è quella di Stephanie Evergreen Visualizzazione dei dati efficace. (Il CXL Institute ha anche un corso sulla presentazione dei dati).

Con i team di prodotto, è possibile concentrarsi sui dati qualitativi, in particolare video clip e citazioni dei partecipanti che dimostrano problemi concreti da privilegiare per gli sprint di sviluppo imminenti.

Nella mia esperienza, il modo migliore per rendere le persone seriamente problematiche è consegnare una presentazione orale con diversi video clip che mostrano più partecipanti alle prese con lo stesso problema più e più volte.

Se hai bisogno di ispirazione, Usability.gov ha alcuni modelli per iniziare:

Infine, tieni a mente questa famosa citazione Saint-Exépury: "La perfezione si ottiene non quando non c'è altro da aggiungere, ma quando non c'è più nulla da togliere". In pratica, cerca di limitare tutte le presentazioni ai primi cinque risultati. Metti tutto il resto in un'appendice.

Conclusione

Parte del valore dei test di usabilità dipende dalla velocità con cui traducete i test in dati persuasivi. Gli strumenti possono aiutare ad accelerare il processo, ma sapere come questi strumenti si adattano al tuo processo è essenziale:

1. Utilizza la registrazione dei dati per accelerare la presa delle note.
2. Mantieni note e collegamenti pratici e condivisibili per i tuoi rapporti qualitativi.
3. Automatizza i calcoli delle metriche a livello di sistema e di attività per creare efficientemente report quantitativi.
4. Segmenta il tuo pubblico e offri presentazioni concise e personalizzate che ispirano l'azione.

Se il tuo programma di test non ha ancora colpito nessuno di questi segni, prova ad aggiungere una tecnica o uno strumento per il prossimo round.