Calcolatore A/B Test
Calcola la dimensione del campione e la durata stimata per un test A/B statisticamente significativo. Formula a due proporzioni con potenza statistica all'80%.
Parametri del test
95% è lo standard per la maggior parte dei test di CRO.
La percentuale di utenti che completano l'azione desiderata nella variante di controllo.
La variazione relativa minima che vuoi rilevare. Es: 20% significa rilevare un aumento dal 5% a 6,00%.
Il totale dei visitatori distribuiti tra variante A e variante B (50/50).
Risultati
ValidoCome interpretare i risultati
- Campione per variante: quanti utenti devono vedere ciascuna variante (A e B) prima di poter trarre conclusioni.
- MDE: variazione relativa minima rilevabile. Un MDE del 20% su un tasso del 5% significa rilevare un cambiamento fino al 6%.
- Giorni stimati: calcolato dividendo il campione totale per i visitatori giornalieri inseriti.
- Potenza statistica 80%: il test ha l'80% di probabilità di rilevare un effetto reale quando esiste.
Come utilizzare Calcolatore A/B Test
Imposta il tasso di conversione attuale
Inserisci il tasso di conversione della tua variante di controllo (baseline), ad esempio la percentuale di visitatori che oggi completano un acquisto o una registrazione.
Definisci il Minimum Detectable Effect (MDE)
Il MDE è la variazione relativa minima che vuoi riuscire a rilevare rispetto al baseline. Valori più piccoli richiedono campioni più grandi.
Scegli il livello di confidenza
Seleziona 90%, 95% o 99% di confidenza statistica. Il 95% è lo standard più usato nei test di conversion rate optimization (CRO).
Inserisci i visitatori giornalieri e leggi il risultato
Con il traffico giornaliero totale il calcolatore stima quanti giorni servono per raggiungere il campione necessario a entrambe le varianti.
Suggerimenti
- Non interrompere un test A/B prima di raggiungere il campione calcolato, anche se un risultato parziale sembra già favorevole: rischi il "peeking" e conclusioni errate.
- Se il traffico è basso, valuta di alzare il MDE (rilevare solo variazioni più grandi) invece di allungare eccessivamente la durata del test.
- Esegui il test per settimane complete (multipli di 7 giorni) per neutralizzare le variazioni di comportamento tra giorni feriali e weekend.
Domande frequenti
Cos'è la dimensione del campione (sample size) in un test A/B?
È il numero minimo di utenti che ogni variante deve ricevere prima che il risultato del test sia statisticamente affidabile. Un campione troppo piccolo espone al rischio di concludere erroneamente che una variante sia migliore quando la differenza osservata è solo casuale.
Cosa significa Minimum Detectable Effect (MDE)?
È la più piccola variazione relativa di conversione che il test è in grado di rilevare con certezza statistica. Un MDE del 20% su un tasso base del 5% significa che il test è progettato per rilevare un aumento fino a circa il 6%. MDE più piccoli richiedono campioni molto più grandi.
Perché il livello di confidenza cambia la dimensione del campione?
Un livello di confidenza più alto (es. 99% invece di 95%) riduce il rischio di falsi positivi ma richiede più dati per raggiungere la stessa affidabilità, quindi aumenta il campione necessario e la durata del test.
Cosa succede se il test dura più di 30-90 giorni?
Test troppo lunghi rischiano di essere influenzati da fattori esterni (stagionalità, campagne marketing, festività) che alterano i risultati. Se la durata stimata supera i 30-90 giorni, valuta di aumentare il traffico verso la pagina, alzare il MDE o ridurre il livello di confidenza.
Cosa indica la potenza statistica dell'80%?
La potenza statistica indica la probabilità che il test rilevi un effetto reale quando questo esiste davvero. L'80% è lo standard di settore: significa che, se la variante B è realmente migliore, il test ha l'80% di probabilità di dimostrarlo con il campione calcolato.