Responsible Generative Artificial Intelligence
Prerequisiti
Il corso non prevede prerequisiti.
Il corso è rivolto agli studenti del Corso ordinario di II livello della Scuola Normale Superiore (SNS) e ai dottorandi del Dottorato Nazionale in Intelligenza Artificiale (Università di Pisa)
e del Dottorato in Metodi computazionali e modelli matematici per le scienze e la finanza (SNS). Sono inoltre invitati a iscriversi anche i dottorandi degli altri corsi di dottorato della SNS
interessati agli argomenti trattati nel corso.
Programma
Il corso è articolato in tre moduli:
Modulo I – L'evoluzione dell'intelligenza artificiale generativa
Evoluzione dell'elaborazione del linguaggio naturale (NLP): dai sistemi basati su regole ai Large Language Models (LLM).
Modulo II – Fondamenti tecnici dell'intelligenza artificiale generativa
Architettura Transformer, transfer learning e calcolo su larga scala.
Modulo III – Intelligenza artificiale generativa responsabile
Sfide etiche, sociali e tecniche, tra cui bias, allucinazioni e interpretabilità.
Strategie di valutazione e mitigazione.
Seminari, casi di studio e attività pratiche.
Obiettivi formativi
Il corso offre un'introduzione completa all'intelligenza artificiale generativa, combinando contesto storico, fondamenti tecnici e aspetti legati all'IA responsabile. Dopo aver ripercorso l'evoluzione dell'elaborazione del linguaggio naturale (Natural Language Processing, NLP), con particolare attenzione ai principali cambiamenti di paradigma che hanno portato allo sviluppo dei moderni Large Language Models (LLM), il corso approfondisce le componenti tecniche fondamentali dei sistemi di IA generativa. Vengono inoltre analizzate le principali sfide etiche, sociali e pratiche connesse al loro impiego. Il percorso formativo è arricchito da seminari, casi di studio e attività pratiche, con l'obiettivo di integrare teoria e pratica e di fornire agli studenti le competenze tecniche e la consapevolezza critica necessarie per sviluppare e valutare sistemi di IA generativa in modo responsabile.
Riferimenti bibliografici
Reference bibliography
- Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017).
- Paaß, G., & Giesselbach, S. (2023). Foundation models for natural language processing: Pre-trained language models integrating media (p. 436). Springer Nature.
- Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." Proceedings of the 2019 conference of the North American chapter of the association for computational linguistics: human language technologies, volume 1 (long and short papers). 2019.
- Radford, Alec, et al. "Improving language understanding by generative pre-training." (2018).
- Brown, Tom, et al. "Language models are few-shot learners." Advances in neural information processing systems 33 (2020): 1877-1901.
- Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): 24824-24837.
- Kojima, Takeshi, et al. "Large language models are zero-shot reasoners." Advances in neural information processing systems 35 (2022): 22199-22213.
- Ouyang, Long, et al. "Training language models to follow instructions with human feedback." Advances in neural information processing systems 35 (2022): 27730-27744.
- Karpukhin, Vladimir, et al. "Dense Passage Retrieval for Open-Domain Question Answering." EMNLP (1). 2020.
- Dettmers, Tim, et al. "Qlora: Efficient finetuning of quantized llms." Advances in neural information processing systems 36 (2023): 10088-10115.
- Gallegos, Isabel O., et al. "Bias and fairness in large language models: A survey." Computational Linguistics 50.3 (2024): 1097-1179.
- Shuster, Kurt, et al. "Retrieval augmentation reduces hallucination in conversation." Findings of the Association for Computational Linguistics: EMNLP. 2021.
- Goodfellow, Ian, et al. "Generative adversarial networks." Communications of the ACM 63.11 (2020): 139-144.
- Bommasani, Rishi, et al. "On the opportunities and risks of foundation models." arXiv preprint arXiv:2108.07258 (2021).
- EMNLP 2024 Tutorial: Language Agents: Foundations, Prospects, and Risks https://language-agent-tutorial.github.io/
Moduli
| Modulo | Ore | CFU | Docenti |
|---|---|---|---|
| Responsible Generative Artificial Intelligence | 20 | 3 | Gizem Gezici, Fosca Giannotti |
| Didattica integrativa | 10 | 0 | Gizem Gezici |