Terminologia

LLM (Large Language Model)

Una rete neurale, tipicamente un Transformer, addestrata su grandi corpora testuali a predire il token successivo, il che le conferisce ampie capacità linguistiche e di ragionamento. Gli LLM sono il substrato che il prompt engineering orienta. Esempi includono le famiglie di modelli Claude, GPT e Gemini.

CoT (Chain-of-Thought)

Abbreviazione per il prompting che chiede al modello di mostrare i passaggi di ragionamento intermedi prima della risposta finale. Usato per migliorare le prestazioni su compiti di ragionamento a più passi. Si attiva con frasi come "ragiona passo dopo passo" o con esempi few-shot di tipo ragionato.

RAG (Retrieval-Augmented Generation)

Un'architettura che recupera documenti esterni rilevanti al momento della query e li inietta nel prompt, così che la risposta sia ancorata a dati attuali e autorevoli. Riduce le allucinazioni e disaccoppia la conoscenza dai pesi del modello. È il pattern standard per la risposta a domande su dati privati o recenti.

ICL (In-Context Learning)

La capacità di un LLM di apprendere un compito da istruzioni o esempi forniti nel prompt al momento dell'inferenza, senza aggiornamenti dei pesi. È il meccanismo alla base del prompting zero-shot e few-shot. L'adattamento dura solo per la richiesta corrente.

ReAct (Reason + Act)

Un pattern di prompting per agenti che alterna passi di ragionamento e azioni con strumenti con relative osservazioni in un ciclo. Permette al modello di pianificare, raccogliere informazioni e auto-correggersi. Ampiamente usato come base per gli agenti che usano strumenti.

SFT (Supervised Fine-Tuning)

L'addestramento di un modello base su coppie input/output curate per specializzarne il comportamento, spesso passo precedente all'allineamento basato sulle preferenze. Modifica i pesi del modello, a differenza del prompting. Prompt engineering e SFT sono strumenti complementari per orientare il comportamento.

RLHF (Reinforcement Learning from Human Feedback)

Una tecnica di allineamento che addestra un modello di ricompensa da confronti di preferenza umani e poi ottimizza l'LLM contro di esso. È una ragione importante per cui i modelli instruction-tuned seguono bene i prompt. L'RLHF plasma i default che i prompt poi affinano.

N-shot / Few-shot

"Few-shot" indica l'inclusione di una manciata di esempi nel prompt per dimostrare il pattern desiderato. Il numero si scrive spesso come N-shot (one-shot, five-shot). Gli esempi devono essere corretti, diversificati e coprire i casi limite.

Top-p

Un parametro di campionamento (nucleus sampling) che limita la scelta dei token al più piccolo insieme la cui probabilità cumulativa raggiunge p. Adatta l'insieme di candidati alla confidenza del modello. Regolare top-p oppure temperatura, non entrambi.

Top-k

Un parametro di campionamento che limita la scelta dei token ai k candidati più probabili. Un k più piccolo produce output più conservativo. È un'alternativa più semplice al nucleus sampling.

MCP (Model Context Protocol)

Uno standard aperto introdotto da Anthropic per connettere le applicazioni LLM a strumenti, fonti dati e prompt esterni tramite un'interfaccia client/server uniforme. Standardizza il modo in cui contesto e strumenti sono esposti a un modello, sostituendo il collante su misura per ogni integrazione. I server MCP espongono risorse, strumenti e template di prompt.

TPS / TPM (Token Per Secondo / Per Minuto)

Il TPS misura il throughput di generazione (token di output al secondo), una metrica di latenza chiave per lo streaming. Il TPM (token per minuto) è un'unità comune di limite di frequenza sulle API ospitate. Entrambi si budgetizzano in token, la valuta universale del serving degli LLM.

TTFT (Time To First Token)

La latenza dall'invio di una richiesta alla ricezione del primo token di output, la metrica di latenza percepita dominante per l'uso interattivo. Il caching dei prompt e prompt più brevi riducono il TTFT. È distinto dal tempo totale di generazione, che dipende dalla lunghezza dell'output e dal throughput.

KV Cache (Key-Value Cache)

La cache delle chiavi e dei valori di attenzione per i token già elaborati, che permette al modello di generare ogni nuovo token senza ricalcolare l'intera sequenza. È ciò che rende possibili il caching dei prompt e la decodifica autoregressiva veloce. Riutilizzare la KV cache di un prefisso stabile è la base del caching dei prompt.

OWASP LLM Top 10

Un elenco gestito dalla comunità dei rischi di sicurezza più critici per le applicazioni LLM, con il prompt injection al primo posto (LLM01). È il riferimento standard per la modellazione delle minacce dei sistemi LLM. Copre injection, gestione insicura degli output, avvelenamento dei dati e altro.

PII (Personally Identifiable Information)

Dati che possono identificare un individuo, che prompt e log possono contenere o far trapelare involontariamente. Gestire le PII in modo sicuro (redazione, minimizzazione, controllo accessi) è un requisito di conformità per le applicazioni LLM. La progettazione dei prompt dovrebbe evitare di inviare PII non necessarie al modello.

DPO (Direct Preference Optimization)

Un metodo di allineamento che ottimizza un modello direttamente su coppie di preferenza senza addestrare un modello di ricompensa separato, semplificando la pipeline RLHF. Come l'RLHF, plasma i default del modello anziché il comportamento per richiesta. Rilevante per chi fa prompt engineering come contesto sul perché i modelli si comportano come fanno.

Budget di token (Token Budget)

Il numero totale di token disponibili per una richiesta, condiviso tra system prompt, cronologia, contesto recuperato, input dell'utente e output. Gestire questo budget è centrale per l'ingegneria del contesto. Superarlo forza il troncamento o il fallimento della richiesta.

Prefill

Fornire l'inizio della risposta dell'assistente per vincolarne formato o contenuto, ad esempio iniziando un oggetto JSON con una parentesi graffa aperta. Il prefill orienta l'output e sopprime i preamboli. È una tecnica di formattazione affidabile sulle API chat che supportano un turno dell'assistente.

SLM (Small Language Model)

Un LLM compatto ottimizzato per bassa latenza, basso costo o deployment on-device, spesso usato per routing, classificazione o estrazione semplice. Gli SLM permettono a pipeline attente ai costi di riservare i modelli grandi ai passi difficili. Le tecniche di prompting sono trasferibili, ma i limiti di capacità richiedono prompt più semplici ed espliciti.

Tasso di allucinazione (Hallucination Rate)

Una proporzione misurata di output contenenti affermazioni non supportate o inventate, valutata rispetto al ground truth o al contesto fornito. È una metrica di qualità primaria per i sistemi fattuali e RAG. Ancoraggio e istruzioni di astensione la riducono.

Prompt esplorativo (Top-of-Funnel Prompt)

Termine informale per un prompt ampio ed esplorativo usato all'inizio dell'iterazione, prima che vincoli e formato siano fissati. Si contrappone a un prompt di produzione consolidato. La progressione da esplorativo a consolidato rispecchia il passaggio da prototipo a produzione.

NLI (Natural Language Inference)

Il compito di decidere se un'ipotesi è implicata, contraddetta o neutra rispetto a una premessa. I modelli NLI si usano per automatizzare il controllo di fedeltà nel RAG verificando se una risposta è implicata dal suo contesto. È alla base della valutazione automatica dell'ancoraggio.

BLEU / ROUGE

Metriche di sovrapposizione testuale basate su riferimenti (BLEU per la traduzione, ROUGE per il riassunto) che valutano il testo generato rispetto a un testo di riferimento per sovrapposizione di n-grammi. Sono economiche ma correlano debolmente con la qualità su compiti aperti, dove si preferiscono LLM-as-a-judge o valutazione umana. Restano utili come segnali rapidi di regressione.

Decadimento del contesto (Context Rot)

Termine informale per il degrado della qualità delle risposte man mano che contenuto irrilevante o eccessivo si accumula nella finestra di contesto, diluendo il segnale di cui il modello ha bisogno. Motiva la potatura della cronologia e il recupero di pochi passaggi di qualità superiore. La soluzione è la cura, non solo una finestra più grande.

ANN (Approximate Nearest Neighbor)

Una classe di algoritmi (come HNSW) che trovano rapidamente vettori vicini a un vettore di query senza una scansione esaustiva, abilitando ricerca semantica veloce su larga scala. Gli indici ANN alimentano il passo di recupero del RAG. Scambiano una piccola perdita di richiamo per grandi guadagni di velocità.

HNSW (Hierarchical Navigable Small World)

Un indice ANN basato su grafi molto usato nei database vettoriali per ricerca di similarità veloce e ad alto richiamo. È un default comune per i backend di recupero RAG. Bilancia velocità di query, richiamo e memoria tramite parametri regolabili.

Latenza P50 / P95 / P99

Metriche di latenza percentili: P50 è la mediana, P95 e P99 catturano la coda lenta sperimentata da una minoranza di richieste. La latenza di coda spesso domina l'esperienza utente nelle app LLM e si affronta con caching, prompt più brevi e streaming. Gli SLO si fissano tipicamente su P95 o P99.

Deriva (Drift)

La graduale divergenza tra il comportamento di un prompt in produzione e i requisiti attuali, causata da aggiornamenti del modello, cambiamenti nei dati o esigenze in evoluzione. Le eval eseguite su un set aureo fisso rilevano la deriva tra cambi di modello o prompt. Versionare i prompt e fissare i modelli riduce le sorprese.