Domain Knowledge Base - LLM Ops
Come funziona il dominio, prima di scrivere una riga di codice? Scegli un documento dall'albero a sinistra: ogni pagina spiega una parte del modello.
Regole di Business - LLMOps
Questo documento elenca le regole di business fondamentali del dominio LLMOps (operatività delle applicazioni basate su LLM), identificate con codice univoco BR-NNN. Ogni regola è technology-independent e descrive un vincolo invariante sul ciclo di vita operativo.
---
BR-001 - Ogni Prompt in produzione è versionato e immutabile
Codice: BR-001
Nome: Versioning immutabile dei prompt
Descrizione: Ogni Prompt rilasciato in produzione deve avere una PromptVersion immutabile e identificabile. Una modifica al testo del prompt non sovrascrive la versione esistente ma crea una nuova versione. Ogni InferenceRequest registra la PromptVersion usata.
Motivazione: Riproducibilità, possibilità di rollback e attribuzione di una regressione a una specifica versione del prompt.
Priorità: ALTA
Attori: Prompt Engineer, Deployment Manager
Violazione: un deploy che muta un prompt esistente senza nuova versione viene rifiutato dalla pipeline.
Tracciabilità: INV-01; prompt-release.md.
---
BR-002 - Nessuna promozione senza valutazione superata
Codice: BR-002
Nome: Quality gate obbligatorio prima del rilascio
Descrizione: Una PromptVersion o un ModelDeployment non può essere promosso in produzione senza aver superato un EvaluationRun sul Dataset di valutazione con metriche sopra le soglie definite (faithfulness, correttezza, costo, latenza).
Motivazione: Evitare regressioni di qualità non rilevate; le valutazioni offline precedono il traffico reale.
Priorità: CRITICA
Attori: Evaluator, Deployment Manager
Violazione: il rilascio è bloccato; viene emesso ValutazioneFallita.
Tracciabilità: evaluation-run.md; INV-02.
---
BR-003 - Tracciabilità completa di ogni inferenza
Codice: BR-003
Nome: Logging di input, output e metadati per ogni richiesta
Descrizione: Ogni InferenceRequest deve registrare: prompt version, modello, parametri di campionamento, token in ingresso/uscita, latenza, costo, e (se applicabile) i chunk di contesto recuperati. I dati sensibili devono essere mascherati nei log.
Motivazione: Observability, debugging, attribuzione dei costi e analisi delle regressioni.
Priorità: ALTA
Attori: Observability, Application Service
Tracciabilità: INV-05; inference-serving.md.
---
BR-004 - Guardrail su input e output di ogni inferenza
Codice: BR-004
Nome: Filtraggio di sicurezza su prompt e completamento
Descrizione: Ogni input non fidato e ogni output del modello deve attraversare i Guardrail per il rilevamento di prompt injection, PII, contenuti dannosi e output malformato prima della consegna all'utente o a sistemi a valle.
Motivazione: Difesa da prompt injection, fuga di dati e contenuti inappropriati.
Priorità: CRITICA
Attori: Guardrail, Application Service
Tracciabilità: OWASP LLM Top 10; INV-04.
---
BR-005 - Budget di costo e latenza per ogni richiesta
Codice: BR-005
Nome: Limiti operativi di costo e tempo di risposta
Descrizione: Ogni InferenceRequest deve operare entro un budget di token e una soglia di latenza definiti. Richieste che superano i limiti vengono troncate, instradate a un modello più piccolo o rifiutate, mai lasciate libere di consumare risorse illimitate.
Motivazione: Controllo dei costi e rispetto degli SLA di latenza.
Priorità: ALTA
Attori: Application Service, Deployment Manager
Tracciabilità: INV-03; inference-serving.md.
---
BR-006 - Il corpus RAG mantiene la freschezza e la provenienza
Codice: BR-006
Nome: Reindicizzazione e tracciabilità delle fonti
Descrizione: Il Dataset di conoscenza (corpus RAG) deve essere reindicizzato quando le fonti cambiano e ogni chunk deve mantenere il riferimento alla fonte e alla data di indicizzazione. Le risposte fondate citano la fonte.
Motivazione: Evitare risposte basate su informazioni obsolete (drift del corpus) e garantire grounding verificabile.
Priorità: ALTA
Attori: Data Engineer, Retriever
Tracciabilità: evaluation-run.md; INV-06.
---
BR-007 - Rilevamento del drift e allarme
Codice: BR-007
Nome: Monitoraggio continuo della qualità in produzione
Descrizione: Il sistema deve monitorare in produzione metriche di qualità (tasso di allucinazione, distribuzione delle risposte, feedback utente, latenza, costo) e generare un AllarmeDrift quando deviano oltre soglia rispetto alla baseline.
Motivazione: Rilevare degrado della qualità dovuto a cambi di modello, dati o pattern d'uso.
Priorità: ALTA
Attori: Monitor, Observability
Tracciabilità: evaluation-run.md; INV-07.
---
BR-008 - Rollback rapido a una versione nota-buona
Codice: BR-008
Nome: Reversibilità di ogni rilascio
Descrizione: Ogni ModelDeployment o PromptVersion in produzione deve poter essere ripristinato a una versione precedente nota-buona senza ricostruzione, in tempi compatibili con gli SLA. Le versioni precedenti restano disponibili per il rollback.
Motivazione: Limitare l'impatto di una regressione rilevata in produzione.
Priorità: ALTA
Attori: Deployment Manager
Tracciabilità: BR-001; prompt-release.md; INV-01.