Salta al contenuto principale

Domain Knowledge Base - LLM Ops

Come funziona il dominio, prima di scrivere una riga di codice? Scegli un documento dall'albero a sinistra: ogni pagina spiega una parte del modello.

Regole di Business - LLMOps

Questo documento elenca le regole di business fondamentali del dominio LLMOps (operatività delle applicazioni basate su LLM), identificate con codice univoco BR-NNN. Ogni regola è technology-independent e descrive un vincolo invariante sul ciclo di vita operativo.

---

BR-001 - Ogni Prompt in produzione è versionato e immutabile

Codice: BR-001 Nome: Versioning immutabile dei prompt Descrizione: Ogni Prompt rilasciato in produzione deve avere una PromptVersion immutabile e identificabile. Una modifica al testo del prompt non sovrascrive la versione esistente ma crea una nuova versione. Ogni InferenceRequest registra la PromptVersion usata. Motivazione: Riproducibilità, possibilità di rollback e attribuzione di una regressione a una specifica versione del prompt. Priorità: ALTA Attori: Prompt Engineer, Deployment Manager Violazione: un deploy che muta un prompt esistente senza nuova versione viene rifiutato dalla pipeline. Tracciabilità: INV-01; prompt-release.md.

---

BR-002 - Nessuna promozione senza valutazione superata

Codice: BR-002 Nome: Quality gate obbligatorio prima del rilascio Descrizione: Una PromptVersion o un ModelDeployment non può essere promosso in produzione senza aver superato un EvaluationRun sul Dataset di valutazione con metriche sopra le soglie definite (faithfulness, correttezza, costo, latenza). Motivazione: Evitare regressioni di qualità non rilevate; le valutazioni offline precedono il traffico reale. Priorità: CRITICA Attori: Evaluator, Deployment Manager Violazione: il rilascio è bloccato; viene emesso ValutazioneFallita. Tracciabilità: evaluation-run.md; INV-02.

---

BR-003 - Tracciabilità completa di ogni inferenza

Codice: BR-003 Nome: Logging di input, output e metadati per ogni richiesta Descrizione: Ogni InferenceRequest deve registrare: prompt version, modello, parametri di campionamento, token in ingresso/uscita, latenza, costo, e (se applicabile) i chunk di contesto recuperati. I dati sensibili devono essere mascherati nei log. Motivazione: Observability, debugging, attribuzione dei costi e analisi delle regressioni. Priorità: ALTA Attori: Observability, Application Service Tracciabilità: INV-05; inference-serving.md.

---

BR-004 - Guardrail su input e output di ogni inferenza

Codice: BR-004 Nome: Filtraggio di sicurezza su prompt e completamento Descrizione: Ogni input non fidato e ogni output del modello deve attraversare i Guardrail per il rilevamento di prompt injection, PII, contenuti dannosi e output malformato prima della consegna all'utente o a sistemi a valle. Motivazione: Difesa da prompt injection, fuga di dati e contenuti inappropriati. Priorità: CRITICA Attori: Guardrail, Application Service Tracciabilità: OWASP LLM Top 10; INV-04.

---

BR-005 - Budget di costo e latenza per ogni richiesta

Codice: BR-005 Nome: Limiti operativi di costo e tempo di risposta Descrizione: Ogni InferenceRequest deve operare entro un budget di token e una soglia di latenza definiti. Richieste che superano i limiti vengono troncate, instradate a un modello più piccolo o rifiutate, mai lasciate libere di consumare risorse illimitate. Motivazione: Controllo dei costi e rispetto degli SLA di latenza. Priorità: ALTA Attori: Application Service, Deployment Manager Tracciabilità: INV-03; inference-serving.md.

---

BR-006 - Il corpus RAG mantiene la freschezza e la provenienza

Codice: BR-006 Nome: Reindicizzazione e tracciabilità delle fonti Descrizione: Il Dataset di conoscenza (corpus RAG) deve essere reindicizzato quando le fonti cambiano e ogni chunk deve mantenere il riferimento alla fonte e alla data di indicizzazione. Le risposte fondate citano la fonte. Motivazione: Evitare risposte basate su informazioni obsolete (drift del corpus) e garantire grounding verificabile. Priorità: ALTA Attori: Data Engineer, Retriever Tracciabilità: evaluation-run.md; INV-06.

---

BR-007 - Rilevamento del drift e allarme

Codice: BR-007 Nome: Monitoraggio continuo della qualità in produzione Descrizione: Il sistema deve monitorare in produzione metriche di qualità (tasso di allucinazione, distribuzione delle risposte, feedback utente, latenza, costo) e generare un AllarmeDrift quando deviano oltre soglia rispetto alla baseline. Motivazione: Rilevare degrado della qualità dovuto a cambi di modello, dati o pattern d'uso. Priorità: ALTA Attori: Monitor, Observability Tracciabilità: evaluation-run.md; INV-07.

---

BR-008 - Rollback rapido a una versione nota-buona

Codice: BR-008 Nome: Reversibilità di ogni rilascio Descrizione: Ogni ModelDeployment o PromptVersion in produzione deve poter essere ripristinato a una versione precedente nota-buona senza ricostruzione, in tempi compatibili con gli SLA. Le versioni precedenti restano disponibili per il rollback. Motivazione: Limitare l'impatto di una regressione rilevata in produzione. Priorità: ALTA Attori: Deployment Manager Tracciabilità: BR-001; prompt-release.md; INV-01.