Questo articolo della serie Probabilità e Statistica approfondisce le variabili aleatorie continue a livello graduate: dalla definizione formale tramite densità di Radon-Nikodym alle famiglie Uniforme, Esponenziale, Normale, con sketch di dimostrazione, esempi numerici svolti, codice Python riproducibile, e applicazioni a inferenza, machine learning e ingegneria. Vedi indice serie. Le variabili aleatorie continue modellano grandezze che assumono valori in un insieme non numerabile (tipicamente ℝ o intervalli): tempi di attesa, errori di misura, prezzi di titoli finanziari, attivazioni di neuroni in rete, embedding di parole in spazi vettoriali continui. La famiglia continua è essenziale per parametrizzare modelli generativi (VAE, normalizing flows, diffusion models), per giustificare la maximum likelihood su dati reali (regressione, GLM con link gaussiano), per costruire test statistici classici (t-test, F-test, chi-quadro), e per la simulazione Monte Carlo. La difficoltà concettuale principale rispetto al caso discreto è che P(X = x) = 0 per ogni singolo punto: il calcolo di probabilità passa per integrazione di densità su insiemi misurabili, non per somme. Tratteremo: definizione formale di v.a. continua e CDF; densità (PDF) e legame con la misura di Lebesgue tramite Radon-Nikodym; tre famiglie fondamentali (Uniforme, Esponenziale, Normale) con dimostrazione di proprietà chiave; trasformazioni di v.a. (cambio di variabile, Jacobiano); MGF, funzione caratteristica, momenti; teoremi di Box-Muller e inversione CDF per simulazione; legame con CLT e applicazioni ML. Tutti gli esempi sono riproducibili con numpy, scipy.stats, sympy.
Contesto storico e formalizzazione
La distribuzione Normale è la più studiata della storia della probabilità. Abraham de Moivre, nel 1733 nella seconda edizione di The Doctrine of Chances, ottiene la prima approssimazione gaussiana di una Binomiale: P(Y ≈ np) ≈ (1/√(2πnpq)) exp(−(Y−np)²/(2npq)). Carl Friedrich Gauss (1809), nel Theoria motus corporum coelestium, ricava la densità normale come "legge degli errori" per misure astronomiche: assumendo che (i) la media aritmetica sia il MLE dello stimatore di posizione e (ii) gli errori siano simmetrici, deriva univocamente la forma esponenziale-quadratica. Pierre-Simon Laplace, nello stesso periodo, dimostra una prima versione del Teorema Centrale del Limite generalizzando il risultato di de Moivre. La distribuzione Esponenziale viene formalizzata da Andrei Markov e da Émile Borel come modello base per tempi di attesa, ed è centrale in processi di Poisson e in teoria delle code (Erlang 1909). La distribuzione Uniforme è il building block del campionamento Monte Carlo: ogni generatore di numeri pseudocasuali moderno (Mersenne Twister, PCG, philox) produce campioni U(0,1) ad alta entropia da cui si trasformano tutte le altre distribuzioni via inversione CDF o metodi più sofisticati.
La formalizzazione moderna definisce una variabile aleatoria X: (Ω, F) → (ℝ, B(ℝ)) come continua se la sua legge P_X è assolutamente continua rispetto alla misura di Lebesgue λ: per il teorema di Radon-Nikodym esiste una funzione misurabile f_X: ℝ → [0, ∞), detta densità, tale che P(X ∈ A) = ∫_A f_X(x) dx per ogni boreliano A. La funzione di ripartizione (CDF) è F_X(x) = P(X ≤ x) = ∫_{-∞}^x f_X(t) dt, continua, monotona non decrescente, con lim_{x→-∞} F = 0 e lim_{x→+∞} F = 1. La densità è la derivata della CDF nei punti di continuità di f_X. Esistono v.a. con CDF continua ma non assolutamente continua (es. CDF di Cantor su [0,1]): si chiamano singolari e non ammettono densità rispetto a Lebesgue; questo caso è raro in applicazioni ML ma compare in finanza matematica (subordinatori stabili) e in teoria del moto browniano frazionario.
Sviluppi moderni includono: normalizing flows (Rezende-Mohamed 2015, Papamakarios 2019) costruiscono densità complesse componendo trasformazioni invertibili di Gaussiane di base, formalmente sfruttando il cambio di variabile e il determinante Jacobiano; score-based generative models (Song-Ermon 2019, Song et al. 2021) modellano ∇ log p(x) e usano stochastic differential equations per generare campioni; energy-based models definiscono p(x) ∝ exp(−E(x)) e richiedono normalizzazione approssimata via MCMC. La teoria asintotica della maximum likelihood, sviluppata da Fisher (1922) e raffinata da Cramér (1946), Wald (1949), Le Cam (1953), poggia interamente sull'esistenza di una densità sufficientemente regolare. Per una trattazione classica: Casella-Berger §3 e §4; Wasserman §2; Resnick A Probability Path (Birkhäuser 2014) per la teoria misure-teorica con densità di Lebesgue; Lehmann-Casella Theory of Point Estimation (2a ed., Springer 1998) per inferenza su famiglie parametriche continue.
Outline dell'articolo
- Definizione formale di v.a. continua, CDF, PDF, momenti
- Distribuzione Uniforme e campionamento Monte Carlo
- Distribuzione Esponenziale, memorylessness, processi di Poisson
- Distribuzione Normale: derivazione, MGF, proprietà fondamentali
- Trasformazioni di v.a. e Jacobiano
- Famiglie correlate: Gamma, Beta, Chi-quadro, t di Student
Definizione formale di v.a. continua, CDF, PDF, momenti
Sia X una v.a. con CDF F_X. Diciamo che X è continua se esiste una densità f_X ≥ 0 con ∫_ℝ f_X = 1 tale che F_X(x) = ∫_{-∞}^x f_X(t) dt. Allora per ogni boreliano A, P(X ∈ A) = ∫_A f_X(x) dx. Proprietà chiave: (a) P(X = x) = 0 per ogni x; (b) P(a < X ≤ b) = F_X(b) − F_X(a) = ∫_a^b f_X(x) dx; (c) f_X(x) = F'_X(x) dove F è derivabile. Il valore atteso: E[X] = ∫_ℝ x f_X(x) dx quando l'integrale converge assolutamente. Varianza: Var(X) = E[(X − μ)²] = ∫(x − μ)² f_X(x) dx. MGF: M_X(t) = ∫ e^{tx} f_X(x) dx. Funzione caratteristica: φ_X(t) = E[e^{itX}] = ∫ e^{itx} f_X(x) dx - sempre definita (a differenza della MGF) e unica per determinare la distribuzione (teorema di inversione di Lévy).
Quantili: F_X⁻¹(p) = inf{x : F_X(x) ≥ p} per p ∈ (0,1). Mediana = F⁻¹(0.5), quartili F⁻¹(0.25), F⁻¹(0.75), IQR utilizzato in boxplot e per robust statistics (Tukey 1977). Per F continua e strettamente crescente, F⁻¹ è ben definita ovunque; per CDF con plateau, conviene la convenzione inf. Il teorema di inversione della CDF garantisce che F_X(X) ∼ U(0, 1) quando F_X è continua: pilastro della trasformazione probability integral usata in copule e copula models per modellare dipendenza non lineare fra v.a. (Sklar 1959).
import numpy as np
from scipy import stats, integrate
# Densità custom: triangolare su [0, 2] con picco a 1
def f(x):
return np.where((x >= 0) & (x <= 1), x,
np.where((x > 1) & (x <= 2), 2 - x, 0))
I, _ = integrate.quad(f, -np.inf, np.inf)
print(f"∫f = {I:.6f}")
EX, _ = integrate.quad(lambda x: x * f(x), 0, 2)
EX2, _ = integrate.quad(lambda x: x**2 * f(x), 0, 2)
VarX = EX2 - EX**2
print(f"E[X]={EX:.4f}, Var={VarX:.4f}")
# Monte Carlo via accettazione-rigetto
rng = np.random.default_rng(0)
samples = []
while len(samples) < 10**5:
x = rng.uniform(0, 2, size=10000)
y = rng.uniform(0, 1, size=10000)
accepted = x[y < f(x)]
samples.extend(accepted)
samples = np.array(samples[:10**5])
print(f"Empirical E[X]={samples.mean():.4f}, Var={samples.var():.4f}")
Distribuzione Uniforme e campionamento Monte Carlo
Una v.a. U ∼ Uniforme(a, b) ha PDF f(x) = 1/(b−a) per x ∈ [a, b], 0 altrove. CDF F(x) = (x − a)/(b − a) su [a,b]. Momenti: E[U] = (a+b)/2, Var(U) = (b−a)²/12. MGF: M(t) = (e^{tb} − e^{ta})/(t(b−a)) per t ≠ 0. L'Uniforme su (0,1) è il "DNA" del campionamento Monte Carlo: il teorema di trasformazione inversa dice che se U ∼ U(0,1) e X = F⁻¹(U), allora X ha CDF F. Questo dà un metodo generale per generare campioni da qualunque distribuzione la cui CDF inversa sia calcolabile.
Esempio. Per generare X ∼ Exp(λ) con CDF F(x) = 1 − e^{−λx}, calcoliamo F⁻¹(u) = −log(1 − u)/λ. Poiché 1 − U ∼ U(0,1), possiamo usare X = −log(U)/λ. Per la Normale, la CDF non ha forma chiusa, ma il metodo di Box-Muller (1958) usa due Uniformi indipendenti per generare due Normali standard indipendenti: Z_1 = √(−2 log U_1) cos(2π U_2), Z_2 = √(−2 log U_1) sin(2π U_2).
import numpy as np
rng = np.random.default_rng(123)
lam = 2.0
U = rng.uniform(0, 1, size=10**5)
X_exp = -np.log(U) / lam
print(f"Exp(λ={lam}): mean={X_exp.mean():.4f} (expected {1/lam}), var={X_exp.var():.4f}")
U1, U2 = rng.uniform(size=10**5), rng.uniform(size=10**5)
Z1 = np.sqrt(-2 * np.log(U1)) * np.cos(2 * np.pi * U2)
Z2 = np.sqrt(-2 * np.log(U1)) * np.sin(2 * np.pi * U2)
print(f"Box-Muller: mean={Z1.mean():.4f}, var={Z1.var():.4f}")
print(f"Correlation Z1,Z2: {np.corrcoef(Z1, Z2)[0,1]:.4f}")
Note di stabilità: per U → 0, −log(U) esplode; per evitare overflow nei generatori, si usa la trasformazione di Marsaglia (polar method) che lavora su disco unitario e ha migliore stabilità numerica. Per Normali su grandi batch GPU, Wichura's AS 241 (Wichura 1988) approssima Φ⁻¹ con errore 10⁻¹⁶ in 7-8 termini razionali, ed è lo standard in scipy e CUDA curand. Quando il campionamento per inversione non è praticabile (CDF complicate), si ricorre ad acceptance-rejection (von Neumann 1951), ratio of uniforms, o algoritmi MCMC (Metropolis-Hastings, HMC) discussi in articoli successivi della serie.
Distribuzione Esponenziale, memorylessness, processi di Poisson
Una v.a. X ∼ Exp(λ) con λ > 0 ha PDF f(x) = λ e^{−λx} per x ≥ 0. CDF F(x) = 1 − e^{−λx}. Momenti: E[X] = 1/λ, Var(X) = 1/λ², MGF M(t) = λ/(λ − t) per t < λ. Memorylessness: P(X > s + t | X > s) = P(X > t). Dim.: P(X > s+t | X > s) = e^{−λ(s+t)} / e^{−λs} = e^{−λt} = P(X > t). □ L'esponenziale è l'unica distribuzione continua con questa proprietà (Feller, vol. II, 2a ed.). È la distribuzione dei tempi inter-arrivo in un processo di Poisson omogeneo di intensità λ.
Applicazione: in un data center, se i tempi di guasto dei server sono modellati come Exp(λ) i.i.d. con λ = 1/(2 anni), il tempo atteso al primo guasto è 1/λ = 2 anni; la probabilità che un server funzioni più di 3 anni è e^{−3λ} = e^{−1.5} ≈ 0.223. La memorylessness implica che un server già in funzione da 1 anno ha la stessa distribuzione di residual life di uno nuovo: ottimisticamente irrealistico per hardware reale, dove il pattern bathtub (Weibull o lognormal) è più appropriato per modellare infant mortality e wear-out.
from scipy.stats import expon, weibull_min
import numpy as np
rng = np.random.default_rng(7)
lam = 0.5
X_exp = expon.rvs(scale=1/lam, size=10**4, random_state=rng)
X_wei = weibull_min.rvs(c=2, scale=1/lam, size=10**4, random_state=rng)
print(f"Exp: E[X]={X_exp.mean():.3f}, P(X>3)={np.mean(X_exp > 3):.4f}, "
f"theory {np.exp(-3*lam):.4f}")
print(f"Weibull: E[X]={X_wei.mean():.3f}, P(X>3)={np.mean(X_wei > 3):.4f}")
# Hazard rate constant per Exp, crescente per Weibull k=2
t = np.linspace(0.1, 5, 50)
h_exp = lam * np.ones_like(t)
h_wei = 2 * t * lam**2 # h(t) = (k/λ)(t/λ)^(k-1) per Weibull
print(f"h_exp(t=1)={h_exp[10]:.3f}, h_wei(t=1)={h_wei[10]:.3f}")
Generalizzazione: Gamma. Gamma(k, θ) generalizza l'esponenziale (k = 1, θ = 1/λ): PDF f(x) = x^{k−1} e^{−x/θ} / (Γ(k) θ^k). Somma di k Esp(λ) i.i.d. è Gamma(k, 1/λ). Usata in modelli bayesiani come coniugata di Poisson, in PERT/CPM per stima durate progettuali, in finanza per shape rate di volatilità (modelli CIR per tassi di interesse). La famiglia Gamma include come casi speciali la distribuzione di Erlang (per k intero, usata in teoria delle code) e la Chi-quadro (per θ = 2, usata in inferenza statistica). Il calcolo della Gamma function Γ(k) in scipy usa l'algoritmo di Lanczos per k > 0 arbitrario reale, con precisione doppia.
Hazard function: per una v.a. X > 0 con densità f e survival S(x) = 1 − F(x), l'hazard rate è h(x) = f(x)/S(x): probabilità di failure istantanea data sopravvivenza fino a x. Per l'esponenziale, h ≡ λ costante (signature della memorylessness). Per Weibull con shape k: h(x) ∝ x^{k−1}, crescente per k > 1 (wear-out), decrescente per k < 1 (infant mortality). La survival analysis (Cox proportional hazards 1972, Kaplan-Meier 1958) è il framework standard in biostatistica, ingegneria di affidabilità e churn modeling.
Distribuzione Normale: derivazione, MGF, proprietà fondamentali
Una v.a. X ∼ N(μ, σ²) con μ ∈ ℝ, σ > 0 ha PDF f(x) = (1/√(2πσ²)) exp(−(x−μ)²/(2σ²)). Notazione Z ∼ N(0,1) per la Normale standard. CDF di Z: Φ(x) = ∫_{-∞}^x ϕ(t) dt, dove ϕ(t) = (1/√(2π)) e^{−t²/2}. Non esiste forma chiusa per Φ; tabulato e approssimato numericamente. Momenti: E[X] = μ, Var(X) = σ². Momenti centrati: E[(X−μ)^{2k}] = σ^{2k} (2k)! / (2^k k!) (formula di Isserlis/Wick), momenti centrati dispari = 0 per simmetria. MGF: M(t) = exp(μt + σ²t²/2); funzione caratteristica φ(t) = exp(iμt − σ²t²/2).
Proprietà notevoli. (i) Stabilità per traslazione/scaling: aX + b ∼ N(aμ + b, a²σ²). (ii) Stabilità per somma: X_1 ∼ N(μ_1, σ_1²), X_2 ∼ N(μ_2, σ_2²) indipendenti ⇒ X_1 + X_2 ∼ N(μ_1 + μ_2, σ_1² + σ_2²). (iii) Caratterizzazione via MGF: la Normale è la unica distribuzione con momenti finiti di tutti gli ordini che soddisfa M(t) = exp(αt + βt²). (iv) Massima entropia: fra tutte le distribuzioni con media μ e varianza σ² fissate, la Normale ha entropia differenziale massima H = (1/2) log(2πeσ²) (Shannon 1948).
La Normale è ubiquitaria per il Teorema Centrale del Limite: somma di v.a. i.i.d. con media e varianza finite converge in distribuzione a una Normale standard dopo opportuna normalizzazione. Tratteremo il CLT in dettaglio nell'articolo 5 della serie. Esistono numerose estensioni: CLT per martingale (Hall-Heyde 1980), CLT per array triangolari (Lindeberg-Feller), CLT non-asintotico via Berry-Esseen, e versioni quantitative via Stein's method. Il CLT giustifica l'uso pervasivo della Normale come modello di errore in fisica, statistica e ML; ma in molti casi reali (finanza con leptocurtosi, deep learning con activation distributions) si osservano code pesanti che richiedono modelli più generali (t-Student, stabili di Lévy).
from scipy.stats import norm, shapiro
import numpy as np
mu, sigma = 0, 1
for k in [1, 2, 3]:
p = norm.cdf(k) - norm.cdf(-k)
print(f"P(|Z| ≤ {k}) = {p:.4f}") # 68-95-99.7 rule
rng = np.random.default_rng(0)
sample = rng.normal(5, 2, size=1000)
quantiles_theory = norm.ppf(np.linspace(0.01, 0.99, 1000))
quantiles_emp = np.sort((sample - sample.mean()) / sample.std())
print(f"Correlation theo/emp quantiles: {np.corrcoef(quantiles_theory, quantiles_emp)[0,1]:.4f}")
W, p = shapiro(sample[:500])
print(f"Shapiro-Wilk: W={W:.4f}, p={p:.4f}")
Trasformazioni di v.a. e Jacobiano
Sia X v.a. con densità f_X e Y = g(X) con g differenziabile e strettamente monotona su un intervallo I. Allora Y ha densità f_Y(y) = f_X(g⁻¹(y)) |dg⁻¹/dy| per y ∈ g(I). Esempio. X ∼ N(0, 1), Y = X²: la trasformazione non è monotona su ℝ, ma è bi-iniettiva se decomponiamo in X > 0 e X < 0. Risulta Y ∼ χ²_1 (chi-quadro con 1 grado di libertà), con PDF f_Y(y) = (1/√(2π y)) e^{−y/2} per y > 0. In multivariato, per Y = g(X) con g: ℝⁿ → ℝⁿ diffeomorfismo: f_Y(y) = f_X(g⁻¹(y)) |det J_{g⁻¹}(y)| dove J è la matrice Jacobiana. Il determinante Jacobiano misura come la trasformazione comprime o dilata volumi locali.
Applicazione moderna: normalizing flows. Si parte da Z ∼ N(0, I) e si applicano trasformazioni invertibili X = f_K ∘ … ∘ f_1(Z). La log-densità si calcola come log p_X(x) = log p_Z(z) − Σ_k log |det J_{f_k}|. Architetture come Real NVP (Dinh et al. 2016), Glow (Kingma-Dhariwal 2018), RealNVP coupling layers usano trasformazioni con Jacobiano triangolare facile da calcolare in O(n), abilitando density estimation differenziabile su immagini. Una linea di ricerca attiva è la costruzione di flussi neurali continui (Neural ODE flows, Chen et al. 2018) dove la trasformazione è il flusso di un'ODE parametrizzata, e il log-det Jacobiano si riduce a una traccia integrata via Hutchinson estimator.
Complessità computazionale del cambio di variabile. Il costo di valutare la log-density di un flow è dominato dal calcolo del determinante Jacobiano: per Jacobiano denso è O(n³), prohibitive per immagini ad alta risoluzione. Le architetture moderne sono progettate per garantire Jacobiani triangolari (coupling layers, autoregressive flows) o low-rank (planar/radial flows), riducendo il costo a O(n) o O(n log n). Questa scelta architetturale è il vero contributo ingegneristico dei normalizing flows: la matematica del cambio di variabile è classica, ma rendere il calcolo trattabile su tensori ad alta dimensione è il fattore abilitante. In confronto, i diffusion models eludono il problema lavorando su score function ∇ log p(x) invece che su densità esplicite, scambiando un costo di inferenza più alto (campionamento via SDE) per training più semplice (denoising regression).
import numpy as np
# Esempio: trasformazione Y = e^X con X ∼ N(0, 1) → Y ∼ Lognormal
rng = np.random.default_rng(42)
X = rng.normal(0, 1, size=10**5)
Y = np.exp(X)
print(f"E[Y] empirical={Y.mean():.4f}, theory={np.exp(0.5):.4f}")
# Verifica via cambio di variabile: f_Y(y) = f_X(log y) / y
from scipy.stats import norm, lognorm
y_vals = np.linspace(0.1, 5, 100)
pdf_via_cov = norm.pdf(np.log(y_vals)) / y_vals
pdf_direct = lognorm.pdf(y_vals, s=1, scale=1)
print(f"Max difference: {np.abs(pdf_via_cov - pdf_direct).max():.2e}")
Famiglie correlate
Gamma(k, θ): già visto come generalizzazione esponenziale. E = kθ, Var = kθ², MGF (1 − θt)^{−k} per t < 1/θ. Caso k = n/2, θ = 2 è il Chi-quadro con n gradi di libertà: somma di n quadrati di Normali standard. Centrale nei test di ipotesi (chi-quadro su tabelle di contingenza, likelihood ratio test asintotico di Wilks 1938).
Beta(α, β): definita su [0, 1] con PDF f(x) = x^{α−1}(1−x)^{β−1} / B(α,β), dove B è la funzione Beta B(α,β) = Γ(α)Γ(β)/Γ(α+β). Coniugata della Binomiale in inferenza bayesiana; uniforme è caso speciale α = β = 1. E = α/(α+β), Var = αβ / ((α+β)²(α+β+1)). Usata come prior in problemi di proporzione, come distribuzione di rank statistics, e nei processi Beta di Dirichlet.
t di Student(ν): T = Z/√(χ²_ν / ν) con Z ∼ N(0,1) indipendente da χ²_ν. Code più pesanti della Normale: E[T] = 0 per ν > 1, Var(T) = ν/(ν−2) per ν > 2. Per ν → ∞ la t-Student converge alla Normale standard. Usata nei t-test, nei modelli robust regression (Lange-Little-Taylor 1989), e come prior coniugato per modelli bayesiani gerarchici con varianza ignota. La PDF è f_T(t) = Γ((ν+1)/2) / (√(νπ) Γ(ν/2)) · (1 + t²/ν)^{−(ν+1)/2}.
F di Snedecor: F = (χ²_a / a) / (χ²_b / b), usata nel test F per il confronto di varianze e per i test ANOVA. Cauchy: X = Z_1/Z_2 con Z_1, Z_2 ∼ N(0,1) indipendenti, PDF f(x) = 1/(π(1+x²)). Curiosità patologica: la Cauchy non ha media né varianza, e la media campionaria di n Cauchy i.i.d. ha la stessa distribuzione di una singola Cauchy (no concentration). Questo viola il CLT (richiede varianza finita) ed è un buon test per implementazioni di robust statistics. Pareto: f(x) = α x_m^α / x^{α+1} per x ≥ x_m; momenti finiti solo per k < α; usata per distribuzioni a coda pesante (income, file sizes, network traffic). Lognormal: X = e^Y con Y ∼ N(μ, σ²); E[X] = e^{μ + σ²/2}, asimmetrica positiva; modello standard per tempi di esecuzione, prezzi di asset, dimensioni in biologia.
Connessioni avanzate
Le distribuzioni continue sono centrali in statistical learning theory: le funzioni di perdita standard (squared loss, log-loss) sono direttamente legate a famiglie esponenziali continue tramite la corrispondenza loss-likelihood. In variational inference, l'ELBO è formulato come integrale rispetto a una densità variazionale q(z|x); il reparametrization trick (Kingma-Welling 2014) sfrutta la trasformazione di una Normale standard per ottenere stimatori a bassa varianza del gradiente. In stochastic optimization, il rumore Gaussiano aggiunto in SGD-like algorithms (Welling-Teh 2011, SGLD) implementa Langevin dynamics e ha proprietà di convergenza a distribuzioni target proporzionali a exp(−U(θ)). In quantitative finance, il moto browniano è una v.a. continua a valori in spazi funzionali, e il calcolo di Itô estende il calcolo differenziale a processi continui non differenziabili. In signal processing, il rumore additivo gaussiano (AWGN) è il modello base di canale di comunicazione; il teorema di Shannon (1948) sulla capacità del canale richiede continuità per essere formulato. In differential privacy, meccanismi gaussiani e laplaciani aggiungono rumore continuo calibrato alla sensibilità della query; la composizione di meccanismi privati richiede analisi via Rényi divergence di densità continue. In diffusion models per generazione di immagini, le SDE dX = f(X,t) dt + g(t) dW generano densità continue su pixel/latent space, e il training avviene per matching dello score function ∇ log p_t; l'efficacia di questi modelli per generazione di alta qualità (Stable Diffusion, Imagen) deriva dal fatto che le densità coinvolte sono regolari e le trasformazioni stocastiche sono ben definite teoricamente.
Trabocchetti, edge case e fallimenti silenziosi
- P(X = x) = 0 ≠ impossibilità. Per v.a. continue, ogni singoletto ha probabilità zero ma è possibile come esito. Errore frequente in colloqui: "qual è la probabilità che la temperatura sia esattamente 25°C?" - la risposta corretta è 0, non "molto piccola". La concezione corretta è in termini di densità:
P(X ∈ [25 − ε, 25 + ε]) ≈ 2ε f(25). - Densità non è probabilità.
f_X(x)può essere arbitrariamente grande (es. Beta conα < 1ha densità che diverge in0). Solo l'integrale è probabilità: questo confonde studenti alla prima esposizione e produce bug in implementazioni custom di likelihood. - Confondere CDF e PDF.
Fè limitata in[0,1], monotona;fpuò essere illimitata e non monotona. In ML, errore comune scambiare inscipy.statsi metodi.pdfe.cdfproducendo log-likelihood scorretti. - MGF non sempre esiste. Per code pesanti (Cauchy, Pareto con
α < 1) la MGF non è definita; usare la funzione caratteristica che è sempre definita. - Trasformazione non monotona. Per
Y = X²conX ∼ N, dimenticare di sommare i due rami (positivo e negativo) dig⁻¹dà densità sbagliata di un fattore 2. - Underflow di densità Gaussiana. Per
|x − μ| ≫ σ,f(x)underflow in float64; calcolare sempre in log:log f(x) = −0.5 log(2πσ²) − (x−μ)²/(2σ²). - Memorylessness fallace nella vita reale. Hardware, biologia, mercati finanziari NON sono memoryless: usare Weibull, lognormal, o modelli a hazard non costante.
- CDF inversa numerica instabile vicino agli estremi. Per
p → 0op → 1,F⁻¹(p)esplode; usarescipy.stats.dist.isf(1-p)per la coda destra per maggiore precisione elogcdf/logsfper evitare cancellazioni.
Esercizi avanzati
- Box-Muller polar. Implementa il metodo polare di Marsaglia (rejection sampling sul disco unitario) e confronta velocità ed errore numerico vs Box-Muller standard. Quale è preferibile su GPU per latency e vettorizzazione? Misura speedup su
10⁸campioni. - Massima entropia. Mostra che la Normale è la distribuzione di massima entropia con media e varianza fissate. Usa moltiplicatori di Lagrange con vincoli
∫ f = 1,∫ x f = μ,∫ (x−μ)² f = σ²e calcolo variazionale. Riferimento: Cover-Thomas §12. - Cambio di variabile multivariato. Sia
(X, Y) ∼N(0, I),R = √(X²+Y²),Θ = atan2(Y, X). Mostra cheRedΘsono indipendenti,R ∼ Rayleigh,Θ ∼ U(0, 2π). Questo è il fondamento di Box-Muller. - Coniugata Beta-Bernoulli. Per
nosservazioni Bernoulli con priorBeta(α, β), deriva la posterior. Mostra che la moda della posterior coincide con MAP regolarizzato e che la mediana approssima MLE in regime di campione grande. - Tail bound Normale. Dimostra
P(Z > t) ≤ exp(−t²/2)pert > 0(Hoeffding lemma). Confronta con il bound preciso≤ ϕ(t)/t(Mills ratio). Implementa entrambi in Python e confronta la tightness pert ∈ [1, 10]. - Stima MLE Gaussiana con regularization. Implementa MLE penalizzato (L2 su
σ²) per evitare collasso a 0 in modelli misti gaussiani. Verifica conscipy.optimizee confronta con EM algorithm su dati simulati con 3 cluster.
Approccio operativo riassuntivo. Davanti a un dataset reale, il workflow standard è: (1) plot di density estimation (KDE) per ispezione visiva di forma, simmetria, code; (2) Q-Q plot contro Normale, Lognormale, t-Student per identificare la famiglia più adatta; (3) fit MLE su 2-3 candidate distributions con scipy.stats.; (4) goodness-of-fit via Kolmogorov-Smirnov, Anderson-Darling, o cross-validation likelihood; (5) selezione finale via AIC/BIC. In presenza di outlier e di code molto pesanti, si preferiscono modelli mixture o robust regression con t-Student come distribuzione di errore. Per simulazioni di Monte Carlo che richiedono campioni da distribuzioni non standard, l'inverse CDF method è il default; se non praticabile, ricorrere a Metropolis-Hastings o Hamiltonian MC.
Bibliografia essenziale
- G. Casella, R.L. Berger, Statistical Inference, 2a ed., Duxbury, 2002 - cap. 3-4.
- S. Resnick, A Probability Path, Birkhäuser, 2014 - densità misure-teoriche.
- W. Feller, vol. II, 2a ed., Wiley 1971 - processi continui e CLT.
- D. Kingma, M. Welling, Auto-Encoding Variational Bayes, ICLR 2014 (arXiv:1312.6114).
- D. Rezende, S. Mohamed, Variational Inference with Normalizing Flows, ICML 2015 (arXiv:1505.05770).
- MIT OCW 18.650 Statistics for Applications (Rigollet) - lez. 3-5.
- Stanford CS236 Deep Generative Models - note Ermon.
Prerequisiti tecnici
- Integrazione di Riemann e Lebesgue; calcolo integrale a una variabile.
- Misura di Lebesgue su
ℝ, σ-algebra di Borel. - Derivate parziali e Jacobiano in più variabili.
- Funzioni esponenziali, logaritmiche, gamma.
- Trasformata di Fourier (per funzione caratteristica).
- Python scientifico:
numpy,scipy.stats,scipy.integrate.
Risorse correlate
- Indice serie Probabilità e Statistica
- Articolo precedente: Variabili aleatorie discrete
- Prossimo articolo: Distribuzioni multivariate
- scipy.stats - Continuous distributions
- Rezende-Mohamed (2015) - Normalizing Flows arXiv
- MIT OCW 18.650
- Articolo correlato: CLT
- Sezione Università
Articolo aggiornato 2026-05-16, livello senior/graduate, basato su trascrizioni UniTO + fonti tier-1.
Commenti
Caricamento commenti...
Accedi per commentare