I test comportamentali del mondo reale sono un modo efficace per comprendere meglio i clienti e ottimizzare i tassi di conversione. Ma affinché questo test sia efficace, è necessario assicurarsi che stia misurando con precisione il comportamento del cliente.
Una ragione per cui questi test di divisione A / B non riescono a fornire una rappresentazione corretta del comportamento dei clienti è dovuta alle minacce di validità. Questa serie di checklist è progettata per aiutarti a superare gli effetti di strumentazione. Si basa su processi reali utilizzati dai progettisti, sviluppatori e analisti di MECLABS Institute quando conducono i nostri servizi di ricerca per aiutare le aziende a migliorare le prestazioni di marketing.
MECLABS definisce l'effetto strumentazione come "l'effetto sulla variabile di prova causato da una variabile esterna a un esperimento, che è associato a un cambiamento nello strumento di misura." In altre parole, i risultati che vedi non provengono dal cambiamento che hai fatto ( diciamo, un titolo o un layout diverso), ma piuttosto, perché alcune delle vostre tecnologie hanno influenzato i risultati (rallentamento del tempo di caricamento, analisi errata, ecc.)
Evitare la strumentazione L'effetto è ancora più difficile per qualsiasi test che avrà traffico da dispositivi mobili (che oggi è quasi ogni test). Pertanto, per aiutarti a evitare la minaccia di validità degli effetti strumentali, forniamo la seguente checklist per il controllo qualità. Questo non è inteso per te per seguire verbatim, ma per fungere da buon punto di partenza per assicurarti che i tuoi test mobili siano tecnicamente validi. Ad esempio, altri browser rispetto a quelli elencati qui potrebbero essere più importanti per le funzionalità mobili del tuo sito. Forse la tua pagina di destinazione non ha un modulo, oppure puoi utilizzare diversi strumenti di test, ecc.
Ovviamente, i test mobili efficaci richiedono molto più che un accurato controllo qualità: devi anche sapere cosa testare per migliorare i risultati. Se sei alla ricerca di idee per i tuoi test che includono il traffico mobile, puoi registrarti al corso gratuito Micro Conversion per dispositivi mobili di MECLABS Institute basato su 25 anni di ricerca sull'ottimizzazione delle conversioni (con accresciuti accenti sul traffico mobile nell'ultima decade circa). ).
Ci sono molte informazioni qui e diverse persone vorranno salvare questa checklist in modi diversi. Puoi scorrere l'articolo che stai visualizzando per vedere i passaggi chiave della checklist. O utilizzare il modulo in questa pagina per scaricare un PDF della lista di controllo.
Ruoli definiti
Le seguenti liste di controllo sono suddivise da team che svolgono ruoli specifici nello sviluppo mobile complessivo e nel processo di test A / B. Le liste di controllo sono progettate per aiutare i team interfunzionali, con il vantaggio che più persone in più ruoli apportano il proprio punto di vista e le proprie competenze al progetto e valutano se la pagina di destinazione mobile e il test A / B funzionano correttamente prima del lancio e una volta è vivo
Per questo motivo, se hai persone che svolgono più ruoli (o sei un soloperante e fai tutto il lavoro da solo), queste checklist potrebbero essere ripetitive per te.
Ecco una rapida panoramica della funzione complessiva di ogni team nel processo di test della pagina di destinazione per dispositivi mobili, insieme al valore unico che offre al controllo qualità:
Dev Team – Queste sono le persone che creano il tuo software e i tuoi siti web, che potrebbero includere sia lo sviluppo front-end che lo sviluppo back-end. Usano le competenze di sviluppo web per creare siti Web, pagine di destinazione e applicazioni web.
Per molte aziende, anche l'assicurazione qualità (QA) ricade in questo dipartimento, con il team addetto al controllo qualità che completa i test tecnici e web. Mentre una persona di controllo qualità tecnico è un membro importante del team per garantire l'esecuzione di test mobili validi, abbiamo incluso altre aree funzionali in questa checklist del QA perché diversi punti di vista di diversi dipartimenti contribuiranno a ridurre la probabilità di errore. Ogni dipartimento ha una propria competenza unica ed è più probabile che noti tipi specifici di errori.
Valore in QA: Gli sviluppatori e le persone tecnologiche hanno più probabilità di notare errori nel codice o negli script e assicurarsi che il codice sia compatibile con tutti i dispositivi necessari.
Team di progetto – A seconda delle dimensioni dell'organizzazione, questo può essere un team di gestione del progetto dedicato, un singolo responsabile del progetto IT o aziendale o un manager marketing appassionato che tiene traccia e spinge a fare tutto.
È la persona o il team della tua organizzazione che coordina il lavoro e gestisce le tempistiche su più team, assicura che il lavoro del progetto stia progredendo come pianificato e che gli obiettivi del progetto siano stati raggiunti.
Valore in QA: Oltre a garantire che il controllo di qualità non interrompa il progetto e minacci le date di lancio del test della pagina di destinazione mobile, il team di progetto è la persona che più probabilmente noterà quando i requisiti aziendali non vengono soddisfatti.
Data Team – Lo scienziato (i) dei dati, l'analista (i) o gli statistici (i) hanno contribuito a stabilire la misura del successo (KPI – key performance indicator) e monitoreranno i risultati del test. Essi segmenteranno e raccoglieranno i dati nella piattaforma di analisi e assembleranno il rapporto che spiega i risultati del test dopo che sono stati analizzati e interpretati.
Valore in QA: Sono le persone che hanno più probabilità di notare eventuali problemi di tracciamento dalla pagina di destinazione mobile che non riportano correttamente eventi e risultati alla piattaforma di analisi.
Team di design – Lo scienziato (i) dei dati, l'analista (i) o gli statistici (i) hanno contribuito a stabilire la misura del successo (KPI – key performance indicator) e monitoreranno i risultati del test. Essi segmenteranno e raccoglieranno i dati nella piattaforma di analisi e assembleranno il rapporto che spiega i risultati del test dopo che sono stati analizzati e interpretati.
Valore in QA: Sono le persone che hanno più probabilità di notare eventuali problemi di tracciamento dalla pagina di destinazione mobile che non riportano correttamente eventi e risultati alla piattaforma di analisi.
CHECKLIST DEV QA
Pre-lancio, sia QA iniziale che Produzione, ove applicabile
Ispezione visiva e conformità al design dei dettagli della pagina
- Verifica l'ultima copia sul posto
- Controlli preliminari in un "browser di riferimento" per verificare che il design corrisponda all'ultimo comp per i layout desktop / tablet / mobile
- Usa la funzione Pixel Perfect Overlay in Firefox Developer Tools – Lo scopo di questo strumento è di prendere un'immagine che è stata fornita dal designer e posizionarla sul sito Web che è stato prodotto dallo sviluppatore. L'immagine è una trasparenza che puoi usare per evidenziare eventuali differenze o elementi mancanti tra le immagini di design e la pagina web.
- Visualizzazione delle immagini – Assicurarsi che tutte le immagini siano visualizzate, allineate e conformi alle specifiche del progetto.
- Forme, elenco e elementi di input (pulsanti di opzione, caselle di selezione) – Pulsanti di opzione (punti e cerchi) e caselle di controllo (controlli e caselle) devono essere testati a fondo in quanto possono attivare azioni secondarie. Ad esempio, selezionando un pulsante di scelta "Pay per Mail" a volte si nasconde automaticamente il modulo della carta di credito.
- Margini e bordi – Molte volte, noterete che una parte del corpo o forse una recensione o un'immagine del cliente è circondata da un bordo o forse anche dall'intera pagina. È nostro dovere ispezionarli in modo che non ci siano interruzioni e che siano abbastanza prominenti da consentire all'utente di decifrare ogni sezione delimitata.
- Accuratezza della copia – Coerenza tra tipografia, lettere maiuscole, punteggiatura, citazioni, trattini, trattini, ecc. La copia indicata nella pagina Web deve corrispondere a qualsiasi documento fornito relativo a copia e testo, salvo diversa indicazione o verifica da parte del project manager / sponsor del progetto.
- Stile dei caratteri (Colore, formato, stile e dimensione dei caratteri) – Per garantire coerenza con il design, assicurarsi di applicare le regole di base della gerarchia per le intestazioni tra diversi moduli di testo quali titoli, intestazioni, paragrafi del corpo e copie legali.
- Collegamento (s) (Colore, Sottolineato, cliccabile)
Funzionalità della pagina Web: verifica che tutte le funzionalità della pagina funzionino come previsto (assicurati che le modifiche al trattamento non influiscano sulla funzionalità della pagina)
- Funzionalità di navigazione principali: menu principale, menu laterale, breadcrumb, ancora
- Link e reindirizzamenti sono corretti
- Media: video, immagini, slideshow, PDF, audio
- Elementi di input del modulo: menu a tendina, campi di testo, modulo di controllo e radio, casella fantasia / modale
- Convalida del modulo – Notifica di errore, errori sul lato client, errori sul lato server, azione al completamento del modulo (conferma dell'invio), SQL injection
- Funzionalità Pagina completa – Funzione di ricerca, tempo di caricamento, errori JavaScript
- Convalida W3C – CSS Validator (http://jigsaw.w3.org/css-validator/), markup validator (http://validator.w3.org/)
- Verifica suddivisione funzionale per requisiti di targeting
- Verifica lo scenario di conversione delle chiavi (ad esempio, completa un ordine di prova, invia email di prova dal sistema di posta elettronica, ecc.) – Se non è già chiaro, il lead QA dovrebbe verificare con il team di progetto come devono essere piazzati gli ordini di test
- Se possibile, visita la pagina come utente per garantire che i parametri di targeting funzionino correttamente (ad esempio, utilizza l'URL dall'annuncio o email PPC, i risultati di ricerca, ecc.)
Tracciamento delle metriche
- Verifica che le metriche di tracciamento vengano attivate nel browser e che i nomi delle metriche corrispondano ai requisiti: Verifica il bugger per vedere l'attivazione come previsto
- Verifica laddove possibile i rapporti all'interno dello strumento test / analisi – Metriche di successo e tracciamento dei clic in Adobe Target, Esperimenti sui contenuti di Google, Google Analytics, Ottimizzazione, Analisi Floodlight, raccolta di dati e-mail, ecc.
Pannello di amministrazione back-end
Notifica al team di progetto e al team di dati che è pronto per il loro controllo qualità (preferibilmente via email) – indica quale browser di riferimento è. Dopo la revisione iniziale del team di progetto, completare i controlli cross-browser / cross device completi come "guida di riferimento" come guida:
Funzionalità del browser – Windows
- Internet Explorer 7 (IE7)
- IE8
- IE9
- IE10
- IE11
- Firefox moderno
- Modern Chrome
Funzionalità del browser – macOS
- Safari moderno
- Modern Chrome
- Moderna Firefox8
Funzionalità mobile – Tablet
Funzionalità mobile – Telefono cellulare
Dopo il test, dopo il test è disponibile al pubblico:
- Notifica al team di progetto e al team di dati il test è attivo e pronto per la revisione post-lancio (preferibilmente via email)
- Verifica dividere è aperto al pubblico Verifica divisa funzionale per i requisiti di targeting
- Se possibile, visita la pagina come utente per garantire che i parametri di targeting funzionino correttamente (ad esempio, utilizza l'URL dall'annuncio o email PPC, i risultati di ricerca, ecc.)
- Prova le carte di credito non valide in un ambiente di produzione
CHECKLIST QA PROJECT TEAM:
QA pre-lancio e post-lancio:
- Verifica che copia e design siano corretti per il controllo e i trattamenti nel "browser di riferimento":
- Assicurarsi che tutti gli elementi copia / design aggiunti siano presenti e corretti
- Assicurarsi che tutti gli elementi di copia / progettazione rimossi siano spariti
- Accertati che tutti gli elementi modificati di copia / progettazione siano corretti
- Assicurarsi che l'esperienza di controllo sia come previsto per il test
- Verifica la funzionalità della pagina:
- Assicurarsi che tutte le funzionalità aggiunte / modificate funzionino come previsto
- Garantire tutti gli standard / business come al solito – La funzionalità BAU_ funziona come previsto:
- Passare attraverso il percorso tipico del visitatore (anche oltre la pagina / posizione di test) e assicurarsi che tutto funzioni come previsto
- Assicurati che i link vadano dove previsto, i campi funzionino come previsto, i dati passano come previsto da una pagina all'altra.
- Verifica su più dimensioni del browser (desktop, tablet, mobile)
- Se il sito è reattivo, ridimensiona il browser da schermo intero a cellulare e verifica che tutte le interruzioni di pagina siano corrette
- Se possibile, visita la pagina nel modo in cui un visitatore tipico avrebbe colpito la pagina (ad esempio, tramite annuncio PPC, risultato della ricerca organica, link / pulsante specifico sul sito, tramite e-mail)
LISTA DI CONTROLLO DEL QA DATI:
Pre-Launch Check List QA (completo su Staging e Production come applicabile):
- Verifica che tutte le metriche elencate nella progettazione dell'esperimento siano presenti nel portale di analisi
- Verifica che tutti i nuovi nomi delle metriche di tracciamento corrispondano ai nomi delle metriche del documento di tracciamento
- Verificare che tutte le metriche siano presenti nel controllo e nei trattamenti (ove applicabile)
- Verificare che le conversioni siano presenti nel controllo e nei trattamenti (ove possibile)
- Verifica di qualsiasi metrica tracciata in un portale di analisi secondario (ove applicabile)
- Comunicare immediatamente eventuali problemi che si presentano al responsabile dello sviluppo e al team di progetto
- Notifica al responsabile dello sviluppo e al team di progetto quando viene completato il QA dei dati (preferibilmente e-mail)
QA post-lancio / prima estrazione dei dati:
- Garantire che tutte le metriche per il controllo e il trattamento (i) stiano ricevendo traffico
- Garantire che i livelli di traffico siano in linea con i livelli pre-test utilizzati per la stima della durata del test
- Aggiornamento della durata della durata del test, se necessario
- Comunicare immediatamente eventuali problemi che si presentano al team di progetto
- Notifica al responsabile dello sviluppo e al team di progetto quando viene completata la prima estrazione dei dati (preferibilmente via e-mail)
ELENCO DI CONTROLLO QA DESIGN:
Revisione pre-lancio:
- Verificare le funzionalità desktop previste (se applicabile)
- Fisarmoniche
- Stati di errore
- Elementi fissi (nav, growler, ecc.)
- Campi modulo
- Hover state – solo desktop
- link
- Modals
- Sliders
- Verificare la funzionalità tablet prevista (se applicabile)
- Fisarmoniche
- Stati di errore
- Elementi fissi (nav, growler, ecc.)
- Campi modulo
- Gesti – solo dispositivo touch
- link
- Modals
- Navigazione reattiva
- Sliders
- Verifica la funzionalità mobile prevista (se applicabile)
- Fisarmoniche
- Stati di errore
- Elementi fissi (nav, growler, ecc.)
- Campi modulo
- Gesti – solo dispositivo touch
- link
- Modals
- Navigazione reattiva
- Sliders
- Verifica layout, spaziatura e flusso di elementi
- Imbottitura / Margine
- Schemi di punti di interruzione intermedi (poiché questi non sono visibili nelle composizioni)
- Qualsiasi dimensione dello schermo "di nota" che potrebbe influire sugli obiettivi del test (Ad esempio: laptop piccolo 1366 × 768 pixel, 620px di visibilità dell'altezza)
- Verifica precisione, dimensionamento e posizionamento delle immagini
- Immagini (solitamente il disegno a fette fornito a Dev)
- Icone (potrebbe essere immagine, svg o font)
- Verifica tipografia
- Colore
- Dimensione del font
- Font-weight
- Famiglia di font
- Altezza della linea
Domande qualificanti, se si riscontrano discrepanze:
- Esiste un'aderenza estremamente rigida agli standard del marchio?
- Influisce sulla gerarchia delle informazioni sulla pagina?
- Appare rotto / meno credibile?
- Comunicare immediatamente eventuali problemi che si presentano al responsabile dello sviluppo e al team di progetto
- Comunicare il lead di sviluppo e il team di progetto quando il QA dei dati è completo (preferibilmente e-mail)
Per scaricare un PDF gratuito di questa checklist, basta compilare il modulo sottostante.
___________________________________________________________________________________
Aumenta i tuoi tassi di conversione su dispositivi mobili: nuovo corso micro
Si spera che questo elenco di controllo del QA mobile aiuti il tuo team a lanciare con successo test con traffico mobile. Tuttavia, potrebbe rimanere la domanda: cosa devo testare per aumentare la conversione?
L'Istituto MECLABS ha creato cinque micro classi (ciascuna in meno di 12 minuti) sulla base di 25 anni di ricerca per aiutarti a massimizzare l'impatto dei tuoi messaggi in un ambiente mobile.
Nel corso gratuito Micro Conversion per cellulari, impari:
- I 4 elementi più importanti da considerare quando si ottimizza la messaggistica mobile
- Come una grande azienda di telecomunicazioni ha aumentato gli abbonamenti in un carrello mobile del 16%
- Come gli stessi cambiamenti negli ambienti desktop e mobili hanno avuto effetti opposti sulla conversione
Registrati adesso gratuitamente