Teoria dell'Informazione
Prerequisiti
Si richiede una conoscenza elementare della teoria della probabilità.
Il corso e' adatto agli studenti del III anno di matematica e fisica, ma e' assolutamente accessibile (almeno in gran parte) a studenti interessati del II anno. Il contenuto del corso è adatto anche a studenti della laurea magistrale e perfezionandi interessati.
Programma
Entropia di Shannon. Entropia relativa. Informazione mutua. Proprietà di equipartizione asintotica. Compressione dei dati, diseguaglianza di Kraft, codifica di Huffman e di Shannon. Algoritmo di Lempel-Ziv. Tasso di entropia di un processo stocastico. Catene di Markov. Camminata aleatoria su un grafo. Predizione, entropia e scommesse: criterio di Kelly, corse di cavalli. Entropia di una lingua. Stima dell'entropia della lingua inglese. Teoria dell'informazione, codici, compressione dei dati e predizione. Entropia e sistemi dinamici: Entropia topologica. Entropia di Kolmogorov-Sinai. Schemi di Bernoulli. Teorema di Perron-Frobenius. Algoritmo di page-rank di Google.
Obiettivi formativi
Obiettivo del corso è introdurre le nozioni fondamentali della teoria dell’informazione e la loro interazione con le discipline correlate, in particolare la teoria ergodica.
Riferimenti bibliografici
Cover-Thomas: Elements of Information Theory 2nd edition Wiley (2006)Mennucci-Mitter: Probabilità e informazione 2nd edition Edizioni della Normale (2008) Mackay: Information Theory, Inference, and Learning Algorithms Cambridge University Press (2003) Grotto-Marmi: Introduzione ai sistemi dinamici Edizioni della Normale (2026) Further bibliographic references will be given during the lessons.