Quiz: Deep Learning Avanzato

Question 1

Come funziona il meccanismo di Multi-Head Attention nei Transformer?

Accepted Answer

Proietta query, key e value in piu sottospazi, calcola l'attention in ciascuno in parallelo, poi concatena i risultati per catturare relazioni diverse contemporaneamente

Question 2

Cosa e LoRA (Low-Rank Adaptation) e qual e il suo vantaggio nel fine-tuning degli LLM?

Accepted Answer

Un metodo di fine-tuning che inietta matrici di basso rango nelle layer del modello, addestrando solo queste anziche tutti i pesi, riducendo drasticamente i parametri allenabili

Question 3

Cosa si intende per quantizzazione di un modello neurale?

Accepted Answer

Ridurre la precisione numerica dei pesi (es. da float32 a int8), diminuendo dimensioni e costo di inferenza con minima perdita di accuratezza

Question 4

Cos'e il knowledge distillation e perche e utile?

Accepted Answer

Un processo in cui un modello piccolo (student) viene addestrato a imitare le "soft probabilities" di un modello grande (teacher), trasferendo conoscenza con un modello piu leggero

Question 5

Qual e lo scopo del Positional Encoding nei Transformer?

Accepted Answer

Iniettare informazione sulla posizione sequenziale dei token, poiche l'attention e invariante all'ordine senza di esso