01 - Entropia di Shannon
Definizione e proprietà dell'entropia di Shannon: misura quantitativa dell'incertezza di una sorgente di informazione. Formula…
Teoria dell'Informazione
Serie «Teoria dell'Informazione»: si parte da «01 - Entropia di Shannon». Definizione e proprietà dell'entropia di Shannon: misura quantitativa dell'incertezza di una sorgente di informazione. Formula, entropia congiunta e condizionata, regola della catena.
Questa serie raccoglie 6 articoli (circa 63 minuti di lettura totale), pensati per un livello Avanzato. Gli argomenti principali trattati sono teoria informazione, entropia, shannon, teoria dell'informazione.
6Articoli63 minLettura totaleAvanzatoLivello
teoria informazioneentropiashannonteoria dell'informazioneinformazione mutuadivergenza kullback-leibler
Articoli della Serie
- 1
- 2
02 - Informazione mutua e divergenza di Kullback-Leibler
Informazione mutua I(X;Y): quanto Y riduce l'incertezza su X. Divergenza di Kullback-Leibler (KL): misura di distanza fra distribuzioni.
- 3
03 - Codifica di sorgente: Huffman e primo teorema di Shannon
Codici prefissi e disuguaglianza di Kraft. Costruzione del codice di Huffman. Primo teorema di Shannon: la lunghezza media di qualunque codice è >= H(X).
- 4
04 - Canale rumoroso e capacità: dalla probabilità d'errore al secondo teorema di Shannon
Il canale binario simmetrico, la capacità di un canale e il secondo teorema di Shannon: il fondamento della comunicazione affidabile su canali reali.
- 5
05 - Codici correttori d'errore: distanza di Hamming, bound di Hamming e Singleton
Distanza di Hamming, codici a blocchi lineari, bound di Hamming e Singleton per la correzione d'errore: dalla teoria alla pratica su dischi e reti.
- 6
06 - Compressione con perdita e rate-distortion: il terzo teorema di Shannon e la quantizzazione
La teoria rate-distortion di Shannon: compressione con vincolo di distortion, il terzo teorema, e il ponte verso la quantizzazione dei modelli di machine…
