AI On-Prem vs Cloud: Privacy, Costi e Sovranità dei Dati

Per la maggior parte dei workload aziendali, l'AI in cloud è una tassa sulla privacy che non devi pagare. Non è un'affermazione ideologica: è quello che si vede quando metti in fila il costo marginale reale di un modello on-prem contro il prezzo di listino di un'API a consumo, riga per riga.

Nota di metodo: i numeri di infrastruttura citati qui (VPS, costo mensile) sono quelli reali del mio stesso stack in produzione, dove Ollama on-prem è il provider AI primario per il motore RAG, la generazione assistita dei contenuti e alcune feature dei dev-tools, non un caso ipotetico da slide di vendita.

Perché la maggior parte delle aziende non ha bisogno del modello più potente sul mercato

La domanda che quasi nessun decision-maker si pone prima di firmare un contratto AI a consumo è: il mio workload ha davvero bisogno del modello più capace disponibile sul mercato, o sto pagando per un tetto di capacità che non uso mai? Ricerca interna su documenti, classificazione di ticket, riassunto di email, estrazione strutturata da moduli: un'ampia fetta dei task aziendali reali gira in modo accettabile su un modello locale da 8 miliardi di parametri, senza mai chiamare l'esterno. Il resto (ragionamento multi-step complesso, generazione creativa sofisticata, task multimodali avanzati) è dove il cloud mantiene un vantaggio reale, non immaginario.

Il problema non è scegliere un modello troppo debole. È pagare un canone pensato per il caso peggiore mentre il novanta percento del traffico è il caso medio.

Il costo reale: quello che il VPS costa davvero, non quello di listino

Il mio stack in produzione (backend Spring Boot, frontend Angular SSR, microservizio ML, database PostgreSQL, cache Redis, e Ollama come motore di inferenza) gira interamente su un singolo VPS Hetzner CCX23 (4 vCPU dedicati, 16 GB RAM), condiviso tra tutti questi servizi. Il costo di quel VPS è la riga di spesa infrastrutturale totale: non esiste una seconda fattura separata per l'AI, perché Ollama gira sulla stessa macchina, sugli stessi core, senza un provider terzo da pagare a consumo.

Trade-off dichiarato: cosa perdi scegliendo on-prem

Onestà del trade-off, non marketing: scegliere on-prem non è gratis in senso assoluto, è gratis nella fattura mensile. Tre costi reali restano. Primo, il tetto di modello: un modello da 8B parametri locale non compete con i modelli frontier su ragionamento complesso o task multimodali avanzati, e non c'è modo di aggirarlo senza cambiare hardware. Secondo, il burden operativo: patch di sicurezza, aggiornamenti del modello, monitoring, backup, tutto quello che un provider cloud gestisce per te resta a tuo carico quando l'infrastruttura è tua. Terzo, la latenza di rete dipende dalla capacità hardware locale invece che dalla scala di un data center dedicato: su un singolo VPS condiviso tra più servizi, un picco di carico va gestito con la stessa macchina che serve anche il backend applicativo. In cambio ottieni sovranità completa dei dati e una fattura fissa, prevedibile, che non dipende dal volume di richieste.

Quando il cloud resta la scelta giusta

On-prem non è un dogma, è un default per il caso medio. Se il workload richiede ragionamento multi-step su documenti molto lunghi, generazione multimodale avanzata, o burst di scala che una singola VPS non regge, il cloud resta la scelta tecnicamente corretta, a patto di accettarne il costo variabile e il trasferimento dei dati verso un terzo. La domanda utile per un decision-maker non è "on-prem o cloud" in astratto, ma "questo specifico workload ha bisogno del tetto di capacità che solo il cloud offre, o sto pagando quel tetto senza mai usarlo".

Sovranità dei dati: perché conta più del prezzo in certi settori

Per aziende che trattano dati sanitari, legali o finanziari con base giuridica in Europa, la domanda "dove vanno i miei dati quando chiamo l'API" non è secondaria: è un requisito di conformità sotto il GDPR, con implicazioni dirette su trasferimenti internazionali e responsabilità del titolare del trattamento. Con l'AI on-prem, la risposta è strutturalmente semplice: i dati non lasciano mai la macchina che li ospita, perché non esiste una chiamata di rete verso un processore terzo. Non è un vantaggio di marketing, è un cambio nella superficie di rischio: meno terze parti nella catena del trattamento, meno contratti da verificare, meno domande da rispondere in un audit.

A chi serve questo approccio

Il consiglio pratico per un decision-maker: se il workload AI aziendale è composto in maggioranza da task non critici sulla capacità del modello (ricerca interna, classificazione, riassunto, estrazione strutturata), e l'azienda opera sotto obblighi di residenza o conformità dei dati stringenti, l'AI on-prem su un singolo VPS non è un compromesso al ribasso: è la scelta più difendibile su costi prevedibili e superficie di rischio. Riservare il cloud ai casi in cui serve davvero il tetto di capacità superiore, non come default per ogni chiamata AI dell'azienda.