Corsi di Laurea Corsi di Laurea Magistrale Corsi di Laurea Magistrale
a Ciclo Unico
Scuola di Ingegneria
ICT FOR INTERNET AND MULTIMEDIA - INGEGNERIA PER LE COMUNICAZIONI MULTIMEDIALI E INTERNET
Insegnamento
NEURAL NETWORKS AND DEEP LEARNING
INP9086459, A.A. 2019/20

Informazioni valide per gli studenti immatricolati nell'A.A. 2019/20

Principali informazioni sull'insegnamento
Corso di studio Corso di laurea magistrale in
ICT FOR INTERNET AND MULTIMEDIA - INGEGNERIA PER LE COMUNICAZIONI MULTIMEDIALI E INTERNET (Ord. 2019)
IN2371, ordinamento 2019/20, A.A. 2019/20
N0
porta questa
pagina con te
Curriculum ICT FOR LIFE AND HEALTH [004PD]
Crediti formativi 6.0
Tipo di valutazione Voto
Denominazione inglese NEURAL NETWORKS AND DEEP LEARNING
Dipartimento di riferimento Dipartimento di Ingegneria dell'Informazione (DEI)
Sito E-Learning https://elearning.dei.unipd.it/course/view.php?idnumber=2019-IN2371-004PD-2019-INP9086459-N0
Obbligo di frequenza No
Lingua di erogazione INGLESE
Sede PADOVA
Corso singolo È possibile iscriversi all'insegnamento come corso singolo
Corso a libera scelta È possibile utilizzare l'insegnamento come corso a libera scelta

Docenti
Responsabile ALBERTO TESTOLIN ING-INF/03

Mutuazioni
Codice Insegnamento Responsabile Corso di studio
SCP8082718 COMPUTATIONAL NEUROSCIENCE ALBERTO TESTOLIN SC2443
INP9086459 NEURAL NETWORKS AND DEEP LEARNING ALBERTO TESTOLIN IN2371

Dettaglio crediti formativi
Tipologia Ambito Disciplinare Settore Scientifico-Disciplinare Crediti
CARATTERIZZANTE Ingegneria delle telecomunicazioni ING-INF/03 6.0

Organizzazione dell'insegnamento
Periodo di erogazione Primo semestre
Anno di corso I Anno
Modalità di erogazione frontale

Tipo ore Crediti Ore di
didattica
assistita
Ore Studio
Individuale
LEZIONE 6.0 48 102.0

Calendario
Inizio attività didattiche 30/09/2019
Fine attività didattiche 18/01/2020
Visualizza il calendario delle lezioni Lezioni 2019/20 Ord.2019

Syllabus
Prerequisiti: Il corso richiede conoscenze di base di analisi matematica, algebra lineare e teoria della probabilità. È consigliabile aver familiarità con concetti base di machine learning. Richieste buone capacità di programmazione con linguaggio Python.
Conoscenze e abilita' da acquisire: Il corso tratta gli aspetti teorici e pratici delle moderne reti neurali artificiali, discutendone la rilevanza sia dal punto di vista delle applicazioni per l’Intelligenza Artificiale sia per la modellazione computazionale della cognizione umana e delle funzioni cerebrali. La discussione teorica dei vari tipi di reti neurali ed algoritmi di apprendimento sarà affiancata ad esercitazioni pratiche al computer (framework di programmazione PyTorch).
Modalita' di esame: La valutazione delle conoscenze ed abilità acquisite consisterà nello svolgimento di un progetto individuale, che verrà discusso durante l’esame orale. Il progetto verterà sull’implementazione software di uno o più modelli computazionali discussi durante il corso e dovrà essere descritto e commentato in un breve report. L’esame orale comprenderà anche domande generali sui concetti teorici trattati nel corso.
Criteri di valutazione: Conoscenza degli argomenti trattati a lezione ed acquisizione dei concetti e delle metodologie presentati nelle esercitazioni pratiche.
Contenuti: 1. Introduzione: modellazione computazionale e matematica dei sistemi neurali; basi di neuroscienze; livelli di analisi nelle neuroscienze sistemiche.
2. Modellazione del singolo neurone: morfologia, neuro-elettronica, principi di trasmissione sinaptica; modelli integrate-and-fire, modello di Hodgkin-Huxley.
3. Principi di codifica neurale: registrazione di risposte neuronali, spike trains, firing rates, local field potentials; curve di risposta e campi recettivi; principi di codifica efficiente e compressione dell’informazione.
4. Modellazione di reti di neuroni: architetture di rete; codifica basata su rappresentazioni localistiche / distribuite / sparse; esempi dal sistema visivo.
5. Apprendimento, memoria e plasticità: regole di plasticità sinaptica nei sistemi biologici (regola di Hebb, LTP, LTD, STDP); concetti di base di apprendimento automatico.
6. Apprendimento supervisionato: percettrone; regola delta; error backpropagation.
7. Deep learning supervisionato: metodi avanzati per l’ottimizzazione di reti multi-strato; architetture convolutive; transfer learning ed apprendimento multi-task.
8. Reti ricorrenti: backpropagation through time, reti long short-term memory.
9. Apprendimento non supervisionato: reti competitive e self-organizing maps; memorie associative e reti di Hopfield; autoencoders e macchine di Boltzmann.
10. Deep learning non supervisionato: modelli generativi gerarchici; generative adversarial networks.
11. Apprendimento con rinforzo: exploration-exploitation dilemma; Temporal-Difference (TD) learning, condizionamento e circuiti dopaminergici, deep reinforcement learning.
12. Casi di studio dalla modellazione neurocognitiva: percezione visiva, codifica spaziale, cognizione semantica; experience replay ed ippocampo.
13. Organizzazione su larga scala del cervello: proprietà strutturali e funzionali, oscillazioni ed attività nervosa spontanea; hardware neuromorfo.
Attivita' di apprendimento previste e metodologie di insegnamento: L’insegnamento è basato su didattica frontale per la parte teorica, e su esercitazioni al calcolatore per la parte pratica. Verranno impiegate tecniche di didattica interattiva (es: discussioni di gruppo su questioni aperte) per promuovere l’apprendimento interattivo e la capacità di riflettere sui concetti esposti.
Eventuali indicazioni sui materiali di studio: Tutti gli argomenti verranno trattati durante le lezioni e le slides verranno rese disponibili sul sito del corso. Gli appunti degli studenti dovranno essere integrati con le nozioni contenute nei libri di riferimento e con materiale aggiuntivo (principalmente articoli scientifici) reso disponibile sul sito del corso.
Testi di riferimento:
  • Goodfellow, I., Bengio, Y., and Courville, A., Deep Learning. --: MIT Press, 2016. Electronic version freely available online Cerca nel catalogo
  • Dayan, P., and L. F. Abbott, Theoretical neuroscience. --: MIT Press, 2001. Electronic version freely available online Cerca nel catalogo
  • Hertz, J., Krogh, A., and Palmer, R. G., Introduction To The Theory Of Neural Computation. --: Westview Press, 1991. Cerca nel catalogo