Glossario

Agente

Nelle applicazioni LLM un agente è un sistema che usa un modello linguistico per decidere una sequenza di azioni, tipicamente invocando strumenti, osservando i risultati e iterando finché un obiettivo non è raggiunto. Si distingue da una singola chiamata prompt-risposta perché il controllo del flusso è delegato al modello anziché codificato a mano. Gli agenti affidabili limitano lo spazio delle azioni, pongono un tetto alle iterazioni e validano ogni output di uno strumento prima di reimmetterlo.

Workflow agentico

Un workflow agentico orchestra una o più chiamate LLM con strumenti, memoria e ramificazioni per portare a termine un compito multi-step. Spazia da pipeline fisse (concatenazione di prompt, routing) a loop aperti in cui il modello pianifica i propri passi. Anthropic distingue i workflow prevedibili dagli agenti autonomi e raccomanda il pattern più semplice che risolva il problema.

Chunking

Il chunking è il processo di suddivisione dei documenti sorgente in passaggi più piccoli prima di calcolarne gli embedding per il recupero. La dimensione del chunk e la sovrapposizione bilanciano recall e precisione: chunk troppo grandi diluiscono la rilevanza, chunk troppo piccoli perdono contesto. Le strategie comuni sono finestre a dimensione fissa con sovrapposizione, suddivisione per frasi o paragrafi e suddivisione consapevole della struttura per intestazioni.

Finestra di contesto

La finestra di contesto è il numero massimo di token che un modello può considerare in una singola richiesta, contando sia l'input (system prompt, messaggi, contesto recuperato, definizioni degli strumenti) sia l'output generato. Superarla causa troncamento o un errore API. Gestire la finestra - riassumendo la cronologia, riducendo i passaggi recuperati e paginando input lunghi - è una preoccupazione centrale dell'LLM Ops.

Embedding

Un embedding è un vettore numerico denso che rappresenta il significato semantico di un testo, prodotto da un modello di embedding. Testi con significato simile mappano su vettori vicini secondo una metrica di distanza come la similarità del coseno. Gli embedding alimentano la ricerca semantica e sono la spina dorsale del recupero nella maggior parte dei sistemi RAG.

Valutazione (Eval)

Una valutazione è una misura ripetibile della qualità di un sistema LLM rispetto a un dataset fisso di input ed esiti attesi. Le eval possono essere a confronto esatto, basate su regole o giudicate da un modello (LLM-as-judge), e fanno da gate ai rilasci come gli unit test fanno da gate al codice. Un eval set "golden" con risposte di riferimento ancorate è la risorsa più preziosa per rilasciare funzionalità LLM in sicurezza.

Faithfulness (fedeltà)

La faithfulness (o groundedness) misura se una risposta generata è supportata dal contesto recuperato anziché inventata. È una metrica RAG primaria: una risposta fedele non avanza alcuna affermazione non tracciabile ai passaggi forniti. Una bassa faithfulness indica allucinazione oppure un recupero che non è riuscito a far emergere l'evidenza necessaria.

Few-Shot Prompting

Il few-shot prompting include nel prompt una manciata di esempi input-output svolti per dimostrare formato e comportamento desiderati prima del compito reale. Indirizza il modello senza fine-tuning ed è particolarmente efficace per output strutturati e gestione dei casi limite. Gli esempi devono essere diversificati, corretti e rappresentativi della distribuzione reale.

Fine-Tuning

Il fine-tuning prosegue l'addestramento di un modello preaddestrato su un dataset curato così da adattarlo a un compito, formato o stile specifico. Modifica i pesi del modello, a differenza di prompting o retrieval, e si giustifica quando prompt engineering e RAG raggiungono un plateau. Migliora coerenza e latenza su compiti ristretti ma non aggiunge in modo affidabile nuova conoscenza fattuale e può causare regressioni se i dati sono di scarsa qualità.

Function Calling

Il function calling (uso di strumenti) consente a un modello di emettere una richiesta strutturata per invocare una funzione definita dallo sviluppatore con argomenti tipizzati, che l'applicazione esegue e restituisce al modello. Il modello non esegue mai codice; propone chiamate che l'host valida e dispaccia. È il meccanismo alla base di agenti, estrazione strutturata e integrazioni con sistemi esterni.

Grounding

Il grounding è la pratica di condizionare l'output di un modello a contesto autorevole, recuperato o fornito, così che le risposte siano ancorate a fonti verificabili. Il RAG è la tecnica di grounding dominante. Un grounding solido richiede sia un buon recupero sia un prompt che istruisca il modello a rispondere solo dal contesto fornito e ad astenersi quando è insufficiente.

Guardrail

I guardrail sono i controlli che vincolano ciò che un sistema LLM accetta in ingresso ed emette in uscita, coprendo sicurezza, formato, ambito e policy. Includono validazione dell'input, applicazione di schemi di output, filtri sui contenuti e regole di rifiuto. Guardrail efficaci sono stratificati: istruzioni nel prompt, validatori programmatici e un passaggio di moderazione indipendente.

Allucinazione

Un'allucinazione è un output del modello fluente e sicuro ma fattualmente errato o non supportato da alcuna fonte. Nasce perché i modelli linguistici predicono testo plausibile, non verità verificata. Le mitigazioni principali sono il grounding tramite recupero, l'istruzione di astenersi quando incerto, la citazione delle fonti e la valutazione della faithfulness rispetto al contesto.

Ricerca ibrida

La ricerca ibrida combina il recupero lessicale (keyword o BM25) con il recupero vettoriale denso e ne fonde i risultati, spesso tramite reciprocal rank fusion. Cattura sia le corrispondenze a termine esatto che gli embedding mancano sia le corrispondenze semantiche che le keyword mancano. È un default robusto per il RAG in produzione perché degrada con grazia quando un segnale è debole.

Inferenza

L'inferenza è l'atto di eseguire un modello addestrato per produrre output da un input, in contrapposizione all'addestramento. Nell'LLM Ops copre latenza, throughput, costo per token, batching e utilizzo dell'hardware. Ottimizzare l'inferenza (caching, quantizzazione, batching, modelli più piccoli per compiti facili) è dove si vince o si perde la maggior parte del costo in produzione.

LLM-as-Judge

L'LLM-as-judge usa un modello linguistico per valutare o confrontare gli output di un altro modello rispetto a criteri come correttezza, utilità o faithfulness. Scala la valutazione oltre ciò che gli umani possono etichettare a mano e correla ragionevolmente con il giudizio umano quando la rubrica è chiara. I rischi includono il bias di auto-preferenza e il bias di posizione, mitigati usando un modello giudice diverso e randomizzando l'ordine.

LLMOps

L'LLMOps è l'insieme di pratiche, strumenti e infrastruttura per sviluppare, distribuire, valutare e gestire applicazioni costruite su large language model. Estende l'MLOps con preoccupazioni specifiche degli LLM: gestione dei prompt, pipeline di recupero, costo dei token, latenza, eval, guardrail e monitoraggio continuo di output non deterministici in produzione.

Latenza

La latenza è il tempo tra l'invio di una richiesta e la ricezione della risposta, spesso suddiviso in time-to-first-token (TTFT) e tempo totale di generazione. Per gli LLM è dominata dalla lunghezza dell'output perché i token sono generati in sequenza. Streaming, output più brevi, modelli più piccoli e prompt caching sono le leve principali per ridurre la latenza percepita ed effettiva.

MLOps

L'MLOps è la disciplina che distribuisce e mantiene in modo affidabile modelli di machine learning in produzione, coprendo pipeline di dati, addestramento, versionamento, deploy e monitoraggio. L'LLMOps è una specializzazione dell'MLOps per applicazioni su foundation model, dove il modello è solitamente consumato via API anziché addestrato in casa, spostando l'enfasi su prompt, retrieval e valutazione.

Model Context Protocol (MCP)

Il Model Context Protocol è uno standard aperto che definisce come le applicazioni espongono strumenti, risorse e prompt ai client LLM tramite un'interfaccia comune. Introdotto da Anthropic, consente a un agente di connettersi a molte sorgenti di dati e strumenti attraverso un solo protocollo anziché integrazioni su misura. I server dichiarano le proprie capacità; i client (come IDE o app di chat) le scoprono e le invocano.

Prompt caching

Il prompt caching memorizza la rappresentazione elaborata di un prefisso di prompt stabile così che le richieste ripetute lo riutilizzino invece di rielaborare ogni token. Riduce sensibilmente costo e time-to-first-token quando un system prompt lungo, un documento o un blocco few-shot è riutilizzato tra le chiamate. La porzione cacheabile deve essere un prefisso esatto e immutabile; il contenuto dinamico va dopo di essa.

Prompt engineering

Il prompt engineering è la pratica di progettare istruzioni, contesto, esempi e formato di output forniti a un modello per ottenere comportamenti affidabili. Include la definizione del ruolo, vincoli espliciti, esempi few-shot e schemi di output. È la leva più economica e rapida per migliorare la qualità e va esaurita prima di ricorrere al fine-tuning.

Prompt injection

La prompt injection è un attacco in cui un input non fidato (testo dell'utente, un documento recuperato, il risultato di uno strumento) contiene istruzioni che dirottano il comportamento del modello, scavalcando il suo system prompt. L'injection indiretta nasconde istruzioni nel contenuto che il modello legge. Le difese includono separare le istruzioni fidate dai dati non fidati, accesso agli strumenti con privilegio minimo, validazione dell'output e non eseguire mai l'output del modello senza controlli.

Quantizzazione

La quantizzazione riduce la precisione numerica dei pesi del modello (per esempio da 16 bit a 8 o 4 bit) per ridurre l'occupazione di memoria e accelerare l'inferenza, a fronte di un certo costo in accuratezza. Permette a modelli più grandi di girare su hardware più piccolo o economico. Il compromesso tra dimensione, velocità e qualità va misurato sul compito target, non assunto.

RAG (Retrieval-Augmented Generation)

La Retrieval-Augmented Generation arricchisce il prompt di un modello con passaggi recuperati da una sorgente di conoscenza esterna al momento della query, così che le risposte riflettano dati attuali, proprietari o autorevoli su cui il modello non è stato addestrato. Una pipeline RAG recupera i chunk rilevanti, li assembla in contesto e genera una risposta ancorata con citazioni. È il pattern standard per il question answering su corpus privati.

Re-ranking

Il re-ranking riordina un insieme iniziale di candidati recuperati usando un modello più costoso e più accurato (tipicamente un cross-encoder) che valuta congiuntamente ogni coppia query-passaggio. Il retriever recupera in modo economico un ampio top-k; il re-ranker promuove in cima i pochi davvero rilevanti. Migliora sensibilmente la precisione al costo di latenza aggiuntiva per query.

Retrieval

Il retrieval è il passo che trova i passaggi più rilevanti per una query da un corpus indicizzato, usando ricerca lessicale, vettoriale o entrambe. La sua qualità pone un tetto alla qualità delle risposte RAG: il generatore non può usare evidenza che il retriever non fa mai emergere. Recall (abbiamo recuperato il passaggio giusto?) e precisione (il top-k è pulito?) sono le metriche che contano.

Ricerca semantica

La ricerca semantica ordina i documenti per significato anziché per sovrapposizione esatta di parole chiave, mappando query e documenti nello stesso spazio vettoriale e confrontandoli. Fa emergere risultati rilevanti che non condividono alcun termine letterale con la query. È la metà vettoriale della maggior parte dei sistemi di recupero e complementa la ricerca lessicale negli assetti ibridi.

System prompt

Il system prompt è l'istruzione di livello superiore che definisce ruolo, ambito, regole e formato di output di un modello per un'intera conversazione, separata dai turni dell'utente. È il luogo dove collocare regole di grounding, guardrail e persona. Mantenerlo stabile lo rende anche cacheabile, riducendo costo e latenza.

Temperatura

La temperatura è un parametro di campionamento che controlla la casualità nella generazione: valori bassi rendono l'output più deterministico e focalizzato, valori alti più vario e creativo. Per compiti fattuali, strutturati o di tool-calling si preferisce una temperatura bassa per coerenza; per il brainstorming un valore più alto aiuta. Non cambia la correttezza, solo la dispersione dei token campionati.

Token

Un token è l'unità atomica che un modello legge e genera - grossomodo un pezzo di parola, dove le parole inglesi comuni sono spesso un token e quelle più rare si suddividono in più token. Prezzo, limiti di contesto e latenza si misurano tutti in token, non in caratteri o parole. Stimare il numero di token è essenziale per il controllo dei costi e per restare entro la finestra di contesto.

Uso di strumenti (Tool Use)

L'uso di strumenti è la capacità con cui un modello invoca funzioni esterne - ricerca, esecuzione di codice, query su database, API - per estendersi oltre la generazione di testo. Il modello propone una chiamata strutturata; l'applicazione la esegue e restituisce il risultato perché il modello continui. Trasforma un chatbot in un sistema capace di agire e richiede una validazione rigorosa di ogni chiamata.

Database vettoriale

Un database vettoriale memorizza embedding e supporta una rapida ricerca approssimata dei vicini più prossimi (ANN) su di essi, spesso insieme a filtri sui metadati. È l'indice di recupero della maggior parte dei sistemi RAG. Esempi includono pgvector, Pinecone, Weaviate, Qdrant, Milvus e Redis con ricerca vettoriale; la scelta bilancia scala, costo, filtraggio e semplicità operativa.

Vector embedding

Vedi Embedding. Un vector embedding è la rappresentazione numerica memorizzata di un testo usata per la ricerca di similarità semantica; il termine sottolinea il suo ruolo di vettore indicizzato all'interno di un database vettoriale anziché l'atto di produrlo.

Chain-of-Thought

Il prompting chain-of-thought chiede al modello di ragionare passo dopo passo prima di dare la risposta finale, migliorando le prestazioni su compiti di ragionamento multi-step, aritmetica e logica. Il ragionamento intermedio può essere mostrato o nascosto, ma esporne uno non fidato agli utenti comporta rischi di fuga di informazioni e di injection. Aumenta costo dei token e latenza, quindi va applicato dove la profondità di ragionamento ripaga davvero.

Similarità del coseno

La similarità del coseno misura l'angolo tra due vettori, dando un punteggio da -1 a 1 che ignora la loro magnitudine e cattura l'orientamento. È la metrica di distanza più comune per confrontare embedding di testo perché riflette la vicinanza semantica indipendentemente dalla lunghezza del vettore. Gli indici vettoriali spesso ottimizzano specificamente per la ricerca per coseno o per prodotto interno.

Cross-encoder

Un cross-encoder è un modello che prende insieme una query e un passaggio candidato e produce un unico punteggio di rilevanza, considerando entrambi congiuntamente. È molto più accurato del bi-encoder usato per il recupero di primo stadio ma troppo lento per girare su un intero corpus, perciò si applica come re-ranker su una lista ristretta. Il pattern recupera-poi-riordina combina la velocità di un bi-encoder con l'accuratezza di un cross-encoder.

Drift

Il drift è il degrado graduale della qualità di un sistema distribuito man mano che il mondo, i dati o il modello sottostante cambiano nel tempo. Per le app LLM include l'obsolescenza del corpus, lo spostamento delle intenzioni degli utenti e gli aggiornamenti silenziosi del modello del provider. Il monitoraggio continuo rispetto a un eval set fisso è il modo per rilevare il drift prima che lo facciano gli utenti.

Modello guardiano (Guard Model)

Un modello guardiano (o di moderazione) è un modello separato, spesso più piccolo, che classifica input o output per violazioni di sicurezza, policy o ambito in modo indipendente dal generatore principale. Eseguirlo come passaggio distinto evita di affidarsi allo stesso modello sia per produrre sia per controllare il contenuto. È un livello fondamentale di difesa in profondità per i sistemi LLM in produzione.

Tasso di allucinazione

Il tasso di allucinazione è la frazione misurata di output che contengono affermazioni non supportate o fabbricate, valutata rispetto al contesto di grounding o al ground truth. Tracciarlo nel tempo e per rilascio trasforma "il modello a volte mente" in una metrica che si può ridurre. Si stima tipicamente con un controllo di faithfulness via LLM-as-judge su un set campionato o golden.

Idempotenza

L'idempotenza nell'LLM Ops significa progettare chiamate a strumenti e azioni con effetti collaterali in modo che riprovarle - comune con agenti non deterministici - non duplichi gli effetti. Una chiave di idempotenza consente al backend di deduplicare operazioni di creazione ripetute. È essenziale perché agenti e retry possono emettere la stessa azione più di una volta.

Observability

L'observability per i sistemi LLM è la capacità di ispezionare cosa è accaduto in una richiesta: i prompt inviati, il contesto recuperato, l'uso dei token, le chiamate agli strumenti, la latenza e l'output finale, di solito tramite tracing. È più difficile che per i servizi deterministici perché lo stesso input può produrre output diversi. Le tracce per richiesta con cattura completa di prompt e contesto sono il fondamento di debugging e valutazione.

Reciprocal Rank Fusion

La reciprocal rank fusion (RRF) è un metodo per combinare più liste ordinate di risultati in una sola sommando, per ciascun elemento, un punteggio basato sul suo rango reciproco in ciascuna lista. È il modo standard e leggero per fondere risultati lessicali e vettoriali nella ricerca ibrida. Non richiede calibrazione dei punteggi tra sistemi, il che la rende robusta nella pratica.

Output strutturato

L'output strutturato vincola un modello a emettere risposte in un formato analizzabile dalla macchina come JSON conforme a uno schema. Si ottiene tramite definizioni di funzioni/strumenti, modalità JSON o decodifica vincolata, ed è essenziale per convogliare in modo affidabile l'output del modello nel codice a valle. Valida sempre l'output rispetto allo schema anziché fidarti che il modello sia conforme.

Top-k

Top-k si riferisce al numero di passaggi meglio classificati che un retriever restituisce per una query e, separatamente, a una soglia di campionamento che limita la generazione ai k token successivi più probabili. Nel recupero, un k più grande aumenta il recall ma aggiunge rumore e token; nel campionamento, un k più piccolo rende l'output più focalizzato. Entrambi si regolano empiricamente sul compito target.