Perche la trasposizione di una matrice e il prodotto matriciale sono operazioni fondamentali nel deep learning?

Il prodotto matriciale implementa la trasformazione lineare nei layer fully connected; la trasposizione e necessaria per calcolare gradienti e nelle operazioni di attention

Cosa misura la funzione di cross-entropy loss e perche e preferita alla MSE per i task di classificazione?

Misura la divergenza tra la distribuzione predetta e quella vera; penalizza fortemente le predizioni errate con alta confidenza, fornendo gradienti piu informativi della MSE per output categorici

Cosa e la distribuzione softmax e perche viene usata nell'ultimo layer di un classificatore multi-classe?

Trasforma un vettore di logit in una distribuzione di probabilita (valori in (0,1) che sommano a 1), permettendo di interpretare l'output come probabilita di classe

Cosa si intende per "learning rate" e perche e considerato l'iperparametro piu critico del training?

Il coefficiente che scala l'aggiornamento dei pesi ad ogni step; troppo alto causa divergenza o oscillazioni; troppo basso rallenta il training o blocca in minimi locali

Matematica per AI Domanda 1 di 5

Cosa rappresenta il gradiente di una funzione in un punto e come viene usato nel training delle reti neurali?