A/B testing | Split test

A/B Testing: come si esegue uno Split Test

Scritto da Giorgio Minguzzi il 24 gennaio 2016

L’A/B testing funziona?

Quali sono i vantaggi dell’eseguire uno split test?

Come eseguire correttamente un A/B test?

Se stai pensando di migliorare le performance del tuo sito o del tuo e-commerce sfruttando le metodologie dell’A/B Testing, se ti domandi quando fare uno split test e come eseguirlo.
Se vuoi capire come leggerne i risultati e dove trovare risorse per analizzare i tuoi A/B test, questa puntata è fatta apposta per te.

Ti è piaciuta la puntata? Dillo su Twitter.

Ad approfondire questo tema ci aiuterà Luca Sartoni, Growth Engineer di Automattic, l’azienda dietro WordPress.com.
Split Testing - A/B test: come condurre un test

Che cosa è un A/B test?

Il Giorno Della Marmotta - A/B TestingUn A/B Test è uno dei tanti strumenti a disposizione del digital marketer. Viene comunemente chiamato A/B Test o Split Test ed è la versione online, adeguatamente adattata, dei trial medici con gruppo di controllo. Quando devi valutare l’effetto di una strategia, di un cambiamento, o di una qualunque azione di marketing, puoi utilizzare uno split test per misurare come questo cambiamento cambia le performance dei tuoi flussi, indipendentemente da altri agenti indipendenti.

C’è un film del 1984 con Bill Murray, “Il giorno della marmotta”, che interpreta esattamente lo spirito dello split testing. Il protagonista si sveglia sempre lo stesso giorno ed è costretto a riviverlo continuamente. Dopo poco inizia ad applicare piccoli cambiamenti al proprio comportamento, cercando di raggiungere il proprio obiettivo, che è far innamorare la co-protagonista.

Ogni volta che una strategia fallisce, lui ricorda il proprio errore e il giorno successivo, prova un metodo migliore, finché alla fine riesce nel proprio intento. Ecco, possiamo dire che applica una strategia di split testing seriale. Lui è costretto a fare questi cambiamenti in successione, uno split test online confronta i risultati parallelamente.

Perché dovremmo prendere in considerazione l’idea di fare degli A/B Test?

Perché l’alternativa è fidarci del nostro istinto più di quanto dovremmo. Normalmente il nostro istinto ci gioca brutti scherzi e nella maggior parte dei casi ha torto. Un A/B Test ci aiuta a validare le scelte corrette suggerite dal nostro istinto e a rivalutare quelle errate. Non è uno strumento magico, che ci fa compiere solo azioni corrette, ma ci aiuta a mantenere la mente aperta verso l’errore, correggendo il nostro tiro, guidandoci verso una esperienza basata maggiormente sui fatti e meno sulle sensazioni.

Questo vale anche per chi non ha grandi numeri, magari gestisce un sito aziendale con 100-200 sessioni al giorno?

Ci sono un serie di regole inviolabili nella pratica dello split testing. Queste sono regole basate sulla matematica, che sappiamo non essere un’opinione. La prima regola inviolabile è la dimensione della popolazione che partecipa al test, in relazione alla percentuale che converte al nostro obiettivo.

Si parla, in generale, di migliaia di partecipanti per poter validare un test. Quindi siti con traffico modesto, non possono godere pienamente dello split testing come attività ordinaria; i test sarebbero troppo lunghi nel tempo per avere significanza. Per calcolare la significanza del risultato di un test, si deve avere buona dimestichezza con il calcolo delle probabilità e la statistica, oppure si possono usare dei pratici calcolatori online, che non mancherò di segnalarti, in modo da poterli rendere disponibili nella descrizione del podcast.

Split Testing: test incrementaliUn’altra regola molto importante da non violare è la durata minima di un test. Immaginiamo di fare un test per capire se un particolare design ci fa vendere più prodotti sul nostro sito di e-commerce. Magari abbiamo molto traffico e il nostro calcolatore ci dice che possiamo raggiungere significanza in 6 ore. Quindi decidiamo che il nostro test durerà un giorno.

Però il nostro sito vende scarpe e sappiamo dal nostro sistema di analytics che il tempo medio dal primo contatto all’acquisto è di 4 giorni. Non possiamo fidarci di quello che succede solo in un giorno. Oppure nel caso in cui si offra la possibilità di cancellare un ordine, dobbiamo sempre eseguire un test lungo almeno quanto il tempo medio di cancellazione. Il tempo che occorre a completare un ciclo di acquisto completo, si chiama business cycle. È buona norma fare in modo che i propri test siano sempre piú lunghi di uno, a volte due business cycles.

Cosa posso testare con l’A/B testing?

Luca Sartoni, Growth EngineerNon tutto si puó testare mediante split testing. Tecnicamente è possibile, ma non sempre ha senso. Anzi a volte è proprio sbagliato affidarsi agli A/B Test per determinare alcune sequenze di causa/effetto. Le cose che si possono testare sono tante, tipicamente gli elementi visuali di una pagina, i flussi di acquisto, di cancellazione.

I test migliori sono quelli che hanno pochi elementi chiari, e conseguenze dirette. Per esempio: “meglio avere il bottone di acquisto a destra o a sinistra nella pagina?”, “meglio avere un questionario con 5 domande in una pagina o 5 pagine diverse?”, “aggiungendo un campo obbligatorio al checkout form, perdo conversioni di acquisto?”.

Tra tutto quello che posso testare, come creo una lista di priorità?

A/B testing - WordPress.comNon servirebbero 10 puntate del tuo podcast per rispondere in modo completo a questa domanda. Le tecniche per definire le priorità sono tantissime ma possiamo vederne alcune che possono essere applicate immediatamente. La prima cosa da tenere a mente è che non esiste un singolo test che possa cambiare positivamente in modo drastico le performance di un sito.

Non aspettiamoci di avere un test che ci fa guadagnare il 30% delle conversioni. Se questo accade, probabilmente il problema che abbiamo risolto era talmente grande che lo avremmo identificato e risolto anche senza fare uno split test. Quindi la realtà e che lo split testing ci permette di fare tanti piccoli passi nella direzione giusta, limitando il numero di passi nella direzione sbagliata.

Ma come facciamo a sapere quali cose testare e in che ordine? Qui ci aiuta l’esperienza. Dobbiamo creare una lista di cose che possiamo testare. A questo punto dobbiamo assegnare un costo, che può essere di diversa natura: tempo, soldi, sviluppo, organizzazione. Poi associamo un’aspettativa di guadagno. Fatte queste due valutazioni si prendono le cose che hanno il più alto guadagno e che costano meno. E si inizia a fare test in quella direzione. Il vero cambio di marcia avviene quando i test iniziano a susseguirsi in modo regolare, applicando i miglioramenti in modo progressivo.

Se tu vuoi scavare una buca nella sabbia, c’è un solo modo: stare fermo e continuare a scavare. Se smetti di scavare il buco non si fa da solo, e se continui a muoverti qua e la, non combini niente.

La stessa cosa si applica all’ottimizzazione: se vuoi migliorare un flusso di acquisto devi fare tanti esperimenti, tutti con l’obiettivo di migliorare lo stesso flusso. Chiaramente non ci sono solo gli split test per ottenere questo miglioramento, ma sicuramente serve un’approccio interattivo e progressivo per vedere i risultati che tanto vogliamo.

Quali sono gli strumenti che mi aiutano a eseguire i test?

A/B test - OptimizelyCi sono tanti servizi online che possono aiutarci. Il primo che consiglio a tutti è Optimizely. È sufficiente aggiungere un piccolo tag al codice del proprio sito e attraverso un editor grafico è possibile modificare gli elementi delle pagine che si vogliono testare. Si definiscono le variazioni e le metriche di riferimento.

Ce ne sono altri, per esempio unbounce, oppure Kissmetrics. Chi usa WordPress puó trovare molti plugin per fare split testing, molti dei quali si appoggiano sui servizi già citati, oppure su Google Testing Framework, che è collegato a Google Analytics, che è gratis. Gli altri invece sono quasi tutti commerciali.

Puoi raccontarci un esempio di un A/B test che ti ha dato risultati inaspettati?

Ho risultati inaspettati ogni giorno. Abbiamo circa una decina di test paralleli che girano sulla nostra piattaforma in ogni momento e quasi quotidianamente valuto i risultati di un test e definisco i prossimi in calendario. E ogni giorno ho risultati inattesi.

Ed è proprio quello il ruolo che hanno questi test, darci risultati che non ci aspettiamo. Se ci dessero risultati attesi, non servirebbero a niente, perché vorrebbe dire che la nostra capacità di prendere decisione è già allineata alla realtà e ai risultati attesi.

Invece fare split testing ci riporta alla realtà dei fatti, che è molto semplice: il nostro istinto sbaglia molto spesso, riguardo le decisioni da prendere nel business online. Riconoscere questi errori il piú presto possibile e correggerli ci fa risparmiare tempo e fatica sul lungo periodo, anche se avere quasi sempre torto puó essere frustrante.

Aiutaci a far crescere il podcast!

Ti è piaciuta la puntata di oggi? Lascia la tua recensione su iTunes e iscriviti al podcast.

Se ascolti MERITA BUSINESS PODCAST su Stitcher o altre piattaforme puoi lasciare la tua recensione seguendo queste istruzioni. Grazie!

Fai conoscere MERITA BUSINESS PODCAST ai tuoi follower su Twitter!
Condividi il podcast

Note della puntata

Puoi contattare Luca Sartoni attraverso il suo sito: LucaSartoni.com
Lì sono riportati tutti le modalità per contattarlo.
Fra i tanti social sui cui è attivo, ci sono sicuramente: Twitter e LinkedIn
Gli strumenti che Luca ha citato nella puntata di oggi sono:

Abbiamo scoperto i vantaggi portati dagli A/B test. Se hai domande sullo split testing usa i commenti che trovi qui in fondo alla pagina.

Photo credits: Flickr CC Luca Sartoni e WordCamp US

Commenti

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Over App: Visual Content che fa la differenza

Over App: Visual Content che fa la differenza

01 dicembre 2016
Industry 4.0: i robot ci ruberanno il lavoro?

Industry 4.0: i robot ci ruberanno il lavoro?

28 novembre 2016
Word Swag: l'app per rendere ogni testo più bello e ogni citazione indimenticabile

Word Swag: l'app per rendere ogni testo più bello e ogni citazione indimenticabile

24 novembre 2016