Quale test statistico usare
Rispondi a poche domande sui tuoi dati. Ti dico il test appropriato, perché, quali assunzioni deve rispettare e come verificarle, e ti do la chiamata in R e in Python.
Serve solo se non sai se i dati sono normali: da 30 in su la media campionaria è approssimativamente normale.
Il test indicato
U di Mann-Whitney (somma dei ranghi di Wilcoxon)
Confronta due gruppi indipendenti sui ranghi: dice se uno tende ad avere valori più alti.
Perché questo test
- Non sai se i dati sono normali e il campione è piccolo, o non hai indicato la numerosità: non puoi appoggiarti al teorema del limite centrale, quindi scelgo un test basato sui ranghi, valido in entrambi i casi.
- Hai due gruppi o due misure.
Assunzioni e come si verificano
| Assunzione | Come si verifica | Stato |
|---|---|---|
| Le osservazioni sono indipendenti: un soggetto non compare due volte e non c'è raggruppamento nascosto (classi, famiglie, centri). | Non si verifica con un test: si decide dal disegno dello studio. Se i dati sono raggruppati servono modelli misti. | Da verificare |
| Per leggere il risultato come differenza di mediane, i gruppi devono avere distribuzioni della stessa forma. Altrimenti il test dice solo che un gruppo tende a superare l'altro. | Confronta gli istogrammi o i box plot dei gruppi. | Da verificare |
| I dati hanno almeno un ordine (possono essere ordinali o numerici). | Verifica che ci sia un ordine sensato tra i valori. | Da verificare |
Se cambia una premessa
- Se verifichi che i dati (o le differenze) sono approssimativamente normali: usa t di Welch per gruppi indipendenti.
Che cosa riportare insieme al p-value
Correlazione rango-biseriale, o probabilità di superiorità: quanto spesso un valore di un gruppo supera uno dell'altro. 0 è nessun effetto, più o meno 1 è separazione completa.
Come eseguirlo
wilcox.test(y ~ group, data = df, conf.int = TRUE)from scipy import stats
stats.mannwhitneyu(a, b, alternative='two-sided')Fonte del test: Mann & Whitney (1947)
Da sapere
- Scegliere il test in base a un test preliminare di normalità ha un costo: altera l'errore di tipo I (Rochon, Gondan e Kieser, 2012). Guarda il Q-Q plot e usa ciò che sai del fenomeno.
Prima di raccogliere i dati
Questo strumento sceglie il test: quanti dati servono si decide prima, con un calcolo di potenza.
Che cosa non fa questo strumento
- Sceglie il test, non lo calcola: non vede i tuoi dati e non produce p-value.
- Quando rispondi «non lo so» ti dà la scelta che regge in entrambi i casi, non quella con più potenza. Verificare la premessa può farti guadagnare un test migliore.
- Copre i disegni più comuni: un fattore, o due variabili. Non copre più fattori, covariate, dati annidati o gerarchici, sopravvivenza o serie temporali: lì servono regressione o modelli misti.
- La soglia di 30 osservazioni è una regola pratica, non un teorema: con distribuzioni molto asimmetriche o con valori anomali può non bastare.
- Il test va scelto prima di guardare i risultati. Provarne più d'uno e tenere quello significativo è una forma di p-hacking.
Come utilizzare Quale test statistico usare
Dichiara che cosa vuoi fare
Scegli se confrontare gruppi, misurare l'associazione tra due variabili o confrontare un campione con un valore noto.
Descrivi i dati
Indica la scala di misura, quanti gruppi hai e se sono appaiati. Per le premesse che non conosci rispondi «Non lo so».
Leggi test, assunzioni e codice
Ottieni il test, il motivo, le assunzioni con il modo di verificarle e la chiamata in R e Python.
Suggerimenti
- Riporta sempre l'ampiezza dell'effetto con il suo intervallo di confidenza: un p-value piccolo con un effetto irrilevante è comune con molti dati.
- Scegli il test prima di vedere i risultati e scrivilo nel piano di analisi.
Domande frequenti
Student o Welch: quale devo usare?
Welch, salvo che tu abbia verificato che le varianze sono uguali. Student presume varianze uguali e perde affidabilità se non lo sono, soprattutto con gruppi di numerosità diversa. Welch non assume nulla sulle varianze e, quando sono uguali, perde pochissima potenza (Delacre, Lakens e Leys, 2017). Anche in R t.test usa Welch di default.
Devo fare un test di normalità prima di scegliere?
Non è l'unico modo e ha dei costi. Con pochi dati il test ha poca potenza e non vede scostamenti grandi; con molti dati rifiuta scostamenti irrilevanti. Il Q-Q plot e la conoscenza del fenomeno dicono di più. Con almeno 30 osservazioni per gruppo la media è approssimativamente normale anche con dati asimmetrici.
Quando passo dal chi quadrato al test esatto di Fisher?
Quando le frequenze attese (non quelle osservate) sono sotto 5 in troppe celle. Il criterio di Cochran (1954) chiede che tutte siano almeno 5, oppure che al massimo il 20 per cento sia sotto 5 e nessuna sotto 1. Il test di Fisher è valido sempre, ma per tabelle grandi può essere lento.
Che differenza c'è tra Pearson e Spearman?
Pearson misura la relazione lineare tra i valori e risente dei valori anomali. Spearman applica Pearson ai ranghi: misura la relazione monotòna, regge ai valori anomali e vale anche per dati ordinali. Se la relazione è una curva a U, nessuno dei due la vede: guarda il diagramma.
Perché tre gruppi non si confrontano con tre test t?
Con tre gruppi i confronti a coppie sono tre e ognuno ha il suo 5 per cento di errore di tipo I: la probabilità di almeno un falso positivo sale a circa il 14 per cento. Si usa un test globale (ANOVA, Kruskal-Wallis) e, solo se è significativo, i confronti a coppie corretti per i confronti multipli.
Strumenti simili
Vuoi approfondire?
Leggi i nostri articoli di approfondimento: