LLM (Large Language Model)
Un large language model è una rete neurale addestrata su vasti corpus testuali per predire token, capace di compiti linguistici generici tramite prompting. Esempi includono le famiglie Claude, GPT, Gemini e Llama. Nell'LLM Ops il modello è di solito consumato attraverso un'API anziché ospitato in casa.
RAG (Retrieval-Augmented Generation)
Il RAG è il pattern che recupera passaggi esterni rilevanti e li inserisce nel prompt così che il modello risponda da dati autorevoli anziché dalla memoria. È l'approccio dominante per il question answering ancorato su conoscenza privata o attuale.
ANN (Approximate Nearest Neighbour)
La ricerca ANN trova vettori vicini a un vettore query senza scandire l'intero indice, scambiando una piccola perdita di accuratezza per grandi guadagni di velocità. Algoritmi come HNSW e IVF rendono la ricerca vettoriale scalabile a milioni di embedding.
HNSW (Hierarchical Navigable Small World)
HNSW è un indice ANN basato su grafo che organizza i vettori in livelli navigabili, offrendo ricerca di similarità rapida e ad alto recall. È l'indice vettoriale predefinito in pgvector, Qdrant, Weaviate e nella ricerca vettoriale di Redis.
BM25 (Best Matching 25)
BM25 è una classica funzione di ranking lessicale che valuta i documenti per frequenza dei termini e frequenza inversa nei documenti con normalizzazione per lunghezza. È la metà keyword della ricerca ibrida ed eccelle nelle corrispondenze a termine esatto e su token rari che gli embedding mancano.
TTFT (Time To First Token)
Il TTFT è la latenza dall'invio di una richiesta alla ricezione del primo token generato. Domina la reattività percepita nelle UI in streaming e si riduce con prompt caching, prompt più brevi e modelli più piccoli o veloci.
TPM / RPM (Tokens / Requests Per Minute)
TPM e RPM sono i limiti di frequenza che i provider impongono su una chiave API, limitando rispettivamente token e richieste al minuto. I sistemi in produzione devono gestire le risposte 429 con backoff e possono richiedere code di richieste o tier superiori per restare entro i limiti.
MCP (Model Context Protocol)
MCP è uno standard aperto di Anthropic che consente alle applicazioni di esporre strumenti, risorse e prompt ai client LLM tramite un'interfaccia unica. Sostituisce la colla su misura per ogni integrazione con un protocollo comune di scoperta e invocazione.
SFT (Supervised Fine-Tuning)
L'SFT addestra un modello base su coppie input-output etichettate per specializzarlo su un compito o formato. È il metodo di fine-tuning più comune ed è tipicamente seguito da un'ottimizzazione delle preferenze per l'allineamento.
RLHF (Reinforcement Learning from Human Feedback)
L'RLHF allinea un modello alle preferenze umane addestrando un reward model su output ordinati e ottimizzando la policy contro di esso. È così che i modelli base vengono trasformati in assistenti utili e innocui.
DPO (Direct Preference Optimization)
Il DPO allinea un modello direttamente da coppie di preferenze senza addestrare un reward model separato né eseguire reinforcement learning, rendendo l'allineamento più semplice e stabile. È diventato un'alternativa popolare all'RLHF per il preference tuning.
LoRA (Low-Rank Adaptation)
LoRA è un metodo di fine-tuning efficiente nei parametri che congela i pesi base e addestra piccole matrici di adattamento a basso rango, riducendo drasticamente calcolo e archiviazione. Molti adattatori specifici per compito possono essere scambiati su un unico modello base condiviso.
PEFT (Parameter-Efficient Fine-Tuning)
PEFT è il termine ombrello per tecniche come LoRA, QLoRA e prefix tuning che adattano un modello addestrando una frazione minima di parametri. Rende il fine-tuning fattibile su hardware e budget modesti.
RAGAS (Retrieval-Augmented Generation Assessment)
RAGAS è un framework open-source per valutare le pipeline RAG con metriche senza riferimento come faithfulness, answer relevancy e context recall. È ampiamente usato per fare da gate alla qualità RAG in CI.
LLM-as-Judge
LLM-as-judge indica l'uso di un modello per valutare o confrontare gli output di altri modelli rispetto a una rubrica, scalando la valutazione oltre l'etichettatura manuale. I controlli sui bias includono un modello giudice diverso e l'ordine delle opzioni randomizzato.
CoT (Chain-of-Thought)
CoT è il prompting che elicita un ragionamento esplicito passo dopo passo prima della risposta finale, migliorando i compiti multi-step e aritmetici. Aumenta il costo dei token e va nascosto agli utenti quando il ragionamento è sensibile.
ReAct (Reason + Act)
ReAct è un pattern di agente che alterna tracce di ragionamento con azioni su strumenti e osservazioni in un loop finché il compito non è risolto. È alla base di molti agenti che usano strumenti, lasciando che il modello pianifichi, agisca e si corregga.
NER (Named Entity Recognition)
La NER è il compito di identificare e classificare porzioni di testo come persone, organizzazioni, date e importi. Gli LLM la eseguono tramite prompt di estrazione strutturata, e i dati NER etichettati sono comuni nei set di fine-tuning.
JSON Mode
La modalità JSON è una funzione del modello che vincola l'output a JSON valido, spesso rispetto a uno schema fornito, così che le risposte possano essere analizzate in modo affidabile dal codice a valle. È la base dell'output strutturato e va comunque validata programmaticamente.
Latenza p50 / p95 / p99
Sono latenze percentili: p50 è il tempo mediano della richiesta, mentre p95 e p99 catturano la coda che subiscono gli utenti più sfavoriti. Gli SLO si fissano di solito su p95 o p99 perché le medie nascondono gli outlier lenti.
SLO / SLA (Service Level Objective / Agreement)
Uno SLO è un obiettivo interno per una metrica di affidabilità (es. il 99% delle richieste sotto i 3s); uno SLA è la versione promessa esternamente con conseguenze. I servizi LLM fissano SLO su latenza, disponibilità e talvolta metriche di qualità.
TCO (Total Cost of Ownership)
Il TCO è il costo completo di esecuzione di una funzionalità LLM: token di input e output, embedding, store vettoriale, re-ranking, infrastruttura e valutazione umana. Il solo costo dei token lo sottostima, perciò routing dei modelli e caching mirano all'intero quadro.
RRF (Reciprocal Rank Fusion)
RRF combina diverse liste ordinate sommando per ciascun elemento punteggi di rango reciproco, producendo un'unica classifica senza calibrazione dei punteggi. È il modo standard e robusto per fondere risultati lessicali e vettoriali nella ricerca ibrida.
kNN (k-Nearest Neighbours)
Il recupero kNN restituisce i k vettori più vicini a una query secondo una metrica di distanza, in modo esatto (forza bruta) per corpus piccoli o approssimato (ANN) su larga scala. Il valore di k determina quanti passaggi candidati entrano nel contesto.
OOD (Out Of Distribution)
Gli input OOD differiscono nettamente da ciò che un modello o un eval set rappresenta, dove il comportamento è meno prevedibile. Rilevare e instradare le query OOD a un fallback o a un umano è un guardrail contro risposte sbagliate ma sicure.
PII (Personally Identifiable Information)
La PII è un dato che può identificare un individuo, come nomi, email o documenti nazionali. Le pipeline LLM devono rilevare e oscurare la PII prima di registrarla in log, inviarla ad API di terze parti o memorizzarla in indici vettoriali per rispettare gli obblighi di privacy.
DSPy
DSPy è un framework per programmare (anziché scrivere a mano) le pipeline LLM, dove prompt ed esempi few-shot sono ottimizzati automaticamente rispetto a una metrica. Tratta il prompting come un programma compilabile e regolabile.
Eval Set / Golden Set
Un eval set (golden set) è la collezione fissa di input e risposte di riferimento usata per misurare la qualità del sistema rilascio dopo rilascio. Trattarlo come immutabile - senza modificare le risposte per superarlo - è ciò che mantiene onesta la misura.
Context Stuffing
Il context stuffing è l'anti-pattern di stipare nel prompt quanti più passaggi recuperati possibile, il che aumenta costo e latenza e seppellisce l'evidenza rilevante nel rumore. Re-ranking e un top-k più stretto battono lo stuffing sia per qualità sia per prezzo.