Teoria dell'Informazione
Prerequisiti
Si richiede una conoscenza elementare della teoria della probabilità.
Il corso e' adatto agli studenti del III anno di matematica e fisica, ma e' assolutamente accessibile (almeno in gran parte) a studenti interessati del II anno. Il contenuto del corso è adatto anche a studenti della laurea magistrale e perfezionandi interessati.
Programma
Entropia di Shannon. Entropia relativa. Informazione mutua. Proprietà di equipartizione asintotica.Compressione dei dati, , diseguaglianza di Kraft, codifica di Huffman e di Shannon. Algoritmo di Lempel-Ziv. Tasso di entropia di un processo stocastico.Catene di Markov. Camminata aleatoriasu un grafo. Predizione, entropia e scommesse: criterio diKelly, corse di cavalli. Entropia di una lingua. Stima dell'entropia della lingua inglese.Teoria dell'informazione, codici, compressione dei dati epredizione.Capacità di un canale.Complessità di Kolmogorov e entropia. Caso e pseudocaso. <br>Entropia e sistemi dinamici:Entropia topologica. Entropia di Kolmogorov-Sinai.Schemi di Bernoulli. Catene di Markov. Grafi, camminialeatori su grafi. Teorema di Perron-Frobenius. Algoritmodi page-rank di Google.
Obiettivi formativi
Obiettivo del corso è introdurre le nozioni fondamentali della teoria dell’informazione e la loro interazione con le discipline correlate, in particolare la teoria ergodica.
Riferimenti bibliografici
Cover-Thomas: Elements of Information Theory 2nd edition Wiley (2006)Mennucci-Mitter: Probabilità e informazione 2nd edition Edizioni della Normale (2008)Mackay: Information Theory, Inference, and Learning Algorithms Cambridge University Press (2003)Further bibliographic references will be given during the lessons.
Moduli
| Modulo | Ore | CFU | Docenti |
|---|---|---|---|
| Teoria dell'Informazione | 40 | 6 | Stefano Marmi |
| Didattica integrativa | 10 | 0 | Stefano Marmi |