Question 1

Da dove arrivano i dati mostrati nella dashboard?

Accepted Answer

Da metriche reali raccolte sul VPS Hetzner CCX13 che esegue Ollama con il modello llama3.1:8b, il provider AI on-prem primario del sito.

Question 2

Cosa indica il badge "Modello Attivo" con stato Online/Degradato/Offline?

Accepted Answer

Riflette lo stato di salute del servizio Ollama: Online se risponde regolarmente, Degradato se le latenze sono anomale, Offline se il servizio non risponde alle richieste.

Question 3

Cosa significano p50/p95/p99 nella card Latenza?

Accepted Answer

Sono percentili del tempo di risposta: p50 è la latenza mediana, p95 e p99 mostrano i tempi peggiori sperimentati rispettivamente dal 5% e dall'1% delle richieste più lente.

Question 4

Come viene calcolato il risparmio stimato vs provider cloud?

Accepted Answer

Si stima il costo mensile che pagheresti per input/output a milione di token ai prezzi pubblici dei provider cloud su un workload di riferimento, confrontandolo con il costo fisso di €23/mese dell'istanza Hetzner CCX13.

Question 5

Perché il costo per token è sempre €0?

Accepted Answer

Perché Ollama gira on-prem sul VPS già pagato con canone fisso mensile: non ci sono costi variabili per token, a differenza dei provider cloud a consumo.

Newsletter AI Engineering EU