Qual e il problema del 'vanishing gradient' nelle reti neurali profonde?

I gradienti si avvicinano a zero nei layer iniziali, rendendo il training molto lento o impossibile

Quale caratteristica distingue una rete CNN (Convolutional Neural Network) da una rete fully connected?

Le CNN sfruttano condivisione dei pesi e localita spaziale tramite filtri convoluzionali, riducendo i parametri

ReLU evita il vanishing gradient per valori positivi e ha costo computazionale molto basso

Le RNN hanno connessioni ricorrenti che mantengono uno stato nascosto tra i time step, permettendo di elaborare sequenze

Deep Learning Domanda 1 di 5