Teoria dell'Informazione

10 Gen 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula con trasmissione su piattaforma Teams: variabili aleatorie, informazione di Hartley, entropia di Shannon e sue proprietà, entropia congiunta, entropia condizionale, regola della catena

11 Gen 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e su Teams: unicità dell'entropia di Shannon (con dimostrazione). Entropia relativa. Informazione mutua. Distanza tra due variabili aleatorie discrete.

17 Gen 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e su Teams: Informazione mutua condizionale, entropia relativa condizionale, regola della catena per l'entropia relativa e per l'informazione mutua. Testa e croce come processo stocastico e come sistema dinamico topologico e misurabile. Insieme di Cantor. Isomorfismo di spazi di probabilità. Scala del diavolo. Diseguaglianza di Markov e di Čebyšëv. Legge debole dei grandi numeri.

18 Gen 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e su Teams: convergenza di variabili aleatorie (in probabilità, quasi certa, in media quadratica, puntuale, debole). Funzione di distribuzione di una variabile aleatoria. Asymptotic equipartition property for i.i.d. variables. Typical set: definition and properties. Compression of sequences: entropy as expected code length.

24 Gen 2024 (1h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e su Teams: misura di probabilità empirica (frequenza dei simboli in una successione) e successioni fortemente tipiche. Proprietà di equipartizione asintotica per successioni fortemente tipiche. Relazione tra successioni fortemente e non fortemente tipiche.

25 Gen 2024 (2h 15m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e su Teams: sequenze bivariate fortemente tipiche e loro proprietà. Processi stocastici stazionari. Definizione di catena di Markov. Matrici stocastiche. Invarianza temporale, irriducibilità, aperiodicità. Distribuzione stazionaria. Tasso di entropia: definizione, esistenza per processi stazionari. Tasso di entropia di una catena di Markov. Cammini aleatori su grafi ed entropia.

31 Gen 2024 (2h 30m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e su Teams: convergenza a equilibrio in catene di Markov. Monotonia dell'entropia relativa. Cenno alle catene di Markov nascoste. Grafi, matrici di adiacenza. Enunciato del teorema di Perron-Frobenius. Conseguenze. Dimostrazione dell'unicità della distribuzione stazionaria per una catena di Markov aperiodica. Google PageRank: algoritmo e applicazioni.

01 Feb 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e su Teams: codici univocamente decodificabili. Codici prefissi. Lunghezza attesa di un codice. Diseguaglianza di Kraft per codici prefissi. Estensione al caso infinito. Teorema di McMillan (estensione al caso di codici univoci). L'entropia come limite inferiore (e superiore) della lunghezza attesa di un codice

07 Feb 2024 (1h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams.: entropia e ridondanza. Codifica di Huffman. Esempi. Condizioni per l'ottimalità di un codice prefisso

08 Feb 2024 (2h 15m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams: codici canonici, ottimalità dell'algoritmo di Huffman. Modelli Markov della lingua inglese. Valore di una scommessa, funzione di utilità, cenno alla prospect theory, massimizzazione dell'utilità logaritmica, criterio di Kelly per scommesse binarie.

12 Feb 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams: criterio di Kelly per le corse di cavalli. Caso con informazione riservata. Scommesse dipendenti. Criterio di Kelly per il mercato azionario (cenno al modello di Black - Scholes). Indice di Sharpe. Criterio di Kelly frazionario.

13 Feb 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams: Compressione di una successione e scommesse. Codifica aritmetica. Stima dell'entropia dell'inglese: metodo di Shannon e metodo di Cover. Risultati degli esperimenti di Shannon e di Cover. Cenno ai portafogli di minima varianza

14 Feb 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams: definizione di sistema dinamico misurabile. Conservazione della misura. Teorema di ricorrenza di Poincaré. Tempo di ritorno. Lemma di Kac. Esempi: rotazioni, mappa di raddoppiamento. Frequenze di visita di un insieme. Enunciato del teorema ergodico di Birkhoff. Definizione di ergodicità. Caratterizzazioni equivalenti. Ergodicità delle rotazioni irrazionali

15 Feb 2024 (2h 15m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams: legge di Benford. Unica ergodicità e uniforme distribuzione. Dimostrazione del lemma di Kac. Dimostrazione delle caratterizzazioni equivalenti dell'ergodicità. Mappa del panettiere

28 Feb 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams: mescolamento forte. Correlazione di variabili aleatorie. Decadimento delle correlazioni e mescolamento. Esempi (rotazioni, mappa del panettiere). Isomorfismo di sistemi dinamici misurabili. Mescolamento degli schemi di Bernoulli. Operatore di Koopman, enunciato del teorema ergodico di Von Neumann.

29 Feb 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams: catene di Markov come sistemi dinamici topologici e misurabili. Equivalenza tra irriducibilità della matrice stocastica e ergodicità della catena. Equivalenza tra aperiodicità e mescolamento. Metrica di Hilbert per un insieme convesso.

06 Mar 2024 (2h 45m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams: metrica di Hilbert per convessi e per coni, contrazioni e dimostrazione del teorema di Perron Frobenius. Definizione di sistema dinamico topologico. Insiemi spanning e insiemi separanti. Definizione di entropia topologica. Coniugazione topologica. Invarianza dell'entropia topologica per coniugazione. Definizione di entropia topologica mediante ricoprimenti aperti

07 Mar 2024 (1h 30m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams: entropia topologica di una catena di Markov topologica. Raggio spettrale e autovalore di Perron-Frobenius. Dizionario tra osservabili di sistemi dinamici misurabili e variabili aleatorie. Informazione associata a una partizione modulo insiemi di misura nulla. Definizione di entropia di una partizione finita o numerabile. Partizioni con entropia infinita.

13 Mar 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams: entropia di una partizione. Entropia condizionale di partizioni, regola della catena. Monotonia. Continuità. Tasso di entropia e definizione di entropia di Kolmogorov-Sinai. Relazione con l'entropia topologica, enunciato del principio variazionale. Partizioni generatrici e calcolo dell'entropia di Kolmogorov-Sinai. Enunciato del teorema di Shannon-Breiman-Mcmillan per processi stazionari ergodici.

14 Mar 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - In presenza

lezione in aula e trasmessa su Teams: aspettazione condizionata, teorema di convergenza delle martingale. Traccia della dimostrazione del teorema di Shannon Breiman McMillan. Teorema di Brin Katok. Teorema di Ornstein Weiss. Algoritmo di Lempel Ziv. Stima dell'entropia.

21 Mar 2024 (2h 00m)

Stefano Marmi - Corso (attività didattica) - A distanza

lezione a distanza trasmessa su Teams: Capacità di un canale di comunicazione. Proprietà. Canali simmetrici. Canale discreto senza memoria. Probabilità di errore. Tasso di trasmissione. Successioni congiuntamente tipiche. Secondo teorema di Shannon.

22 Mar 2024 (1h 30m)

Stefano Marmi - Corso (attività didattica) - A distanza

lezione a distanza trasmessa su Teams: caso, successioni casuali. Modelli di calcolo. Macchine di Turing. Complessità di Kolmogorov. Complessità di Kolmogorov condizionale. Esempi. Relazione tra complessità di Kolmogorov e entropia di Shannon