Didattica integrativa
Stefano Marmi
Modalità d'esame
<p>Orale </p>
Prerequisiti
Si richiede una conoscenza elementare della teoria della probabilità.
Il corso e' adatto agli studenti del III anno di matematica e fisica, ma e' assolutamente accessibile (almeno in gran parte) a studenti interessati del II anno. Il contenuto del corso è adatto anche a studenti della laurea magistrale e perfezionandi interessati.
Programma insegnamento
Entropia di Shannon. Entropia relativa. Informazione mutua. Proprietà di equipartizione asintotica.Compressione dei dati, , diseguaglianza di Kraft, codifica di Huffman e di Shannon. Algoritmo di Lempel-Ziv. Tasso di entropia di un processo stocastico.Catene di Markov. Camminata aleatoriasu un grafo. Predizione, entropia e scommesse: criterio diKelly, corse di cavalli. Entropia di una lingua. Stima dell'entropia della lingua inglese.Teoria dell'informazione, codici, compressione dei dati epredizione.Capacità di un canale.Complessità di Kolmogorov e entropia. Caso e pseudocaso. <br>Entropia e sistemi dinamici:Entropia topologica. Entropia di Kolmogorov-Sinai. Schemi di Bernoulli. Teorema di Perron-Frobenius. Algoritmo di page-rank di Google.
Riferimenti bibliografici
Cover-Thomas: Elements of Information Theory 2nd edition Wiley (2006)Mennucci-Mitter: Probabilità e informazione 2nd edition Edizioni della Normale (2008) Mackay: Information Theory, Inference, and Learning Algorithms Cambridge University Press (2003) Further bibliographic references will be given during the lessons.