Salta al contenuto principale

Configurazione

Split ogni N caratteri. Semplice e deterministico.

1002000

Testo di input

891 caratteri
3chunk prodotti
297 token stimati totali
297 char/chunk media

Chunk prodotti (3)

~99 token 396 char

La Retrieval-Augmented Generation (RAG) e' una tecnica che combina modelli linguistici con recupero di documenti esterni. Il processo RAG si divide in due fasi principali: indicizzazione e inferenza. Nella fase di indicizzazione, i documenti vengono suddivisi in chunk, convertiti in embedding e salvati in un vector store. Durante l'inferenza, la query dell'utente viene convertita in embedding,

~99 token 397 char

vengono recuperati i chunk piu' simili e il modello genera una risposta contestualizzata. La scelta della strategia di chunking impatta significativamente la qualita' dei risultati RAG. Chunk troppo piccoli perdono contesto, chunk troppo grandi riducono la precisione del retrieval. Le strategie piu' comuni includono: split fisso per semplicita', split per frase per coerenza semantica, split per

~23 token 91 char

paragrafo per testi strutturati, e sliding window per massimizzare il contesto disponibile.

Guida alle 8 strategie

Confronto strategie di chunking per pipeline RAG
StrategiaQuando usarlaProContro
Fixed SizeTesti uniformi senza strutturaDeterministico, veloceTaglia frasi a meta'
SentenceArticoli, news, testi narrativiPreserva frasi intereChunk di dimensione variabile
ParagraphBlog post, documenti strutturatiSemantica naturaleParagrafi molto lunghi o corti
RecursiveDocumenti misti con struttura variabileFlessibile, adattivoLogica piu' complessa
Semantic CosineTesti con argomenti mistiChunk semanticamente coerentiApprossimato senza embedding reali
Sliding WindowQA su testi tecnici, massimo contestoNessun contesto persoRidondanza, piu' chiamate embedding
Markdown HeaderDocumentazione, README, wikiRispetta la gerarchia MDSolo per testi Markdown
Token BucketControllo preciso token countRispetta word boundaryIgnora struttura semantica

Come utilizzare RAG Chunking Visualizer

Incolla il testo o carica l'esempio

Inserisci il tuo testo nell'area di input, oppure clicca "Carica esempio" per usare un testo dimostrativo pronto sul tema RAG.

Scegli strategia, dimensione e overlap

Seleziona una delle 8 strategie di chunking dal menu, regola la dimensione chunk (100-2000 caratteri) e, per sliding window, la percentuale di overlap (0-50%).

Analizza i chunk prodotti

La lista dei chunk si aggiorna automaticamente mostrando numero, token stimati e range di caratteri per ciascun blocco.

Attiva la heatmap di similarità

Clicca "Mostra Similarity Heatmap" per visualizzare la matrice Jaccard tra coppie di chunk e capire quanto si sovrappongono semanticamente.

Suggerimenti

  • Per documentazione tecnica (README, wiki) prova prima Markdown Header: preserva la struttura gerarchica dei titoli.
  • Se noti chunk troppo piccoli o che tagliano frasi a metà, aumenta la dimensione chunk o passa a una strategia Sentence/Paragraph.
  • Usa la heatmap per individuare overlap eccessivo tra chunk adiacenti quando lavori con Sliding Window: overlap troppo alto aumenta le chiamate di embedding senza benefici proporzionali.

Domande frequenti

Qual è la differenza tra le 8 strategie di chunking?

Fixed Size divide per lunghezza fissa (veloce ma taglia le frasi), Sentence e Paragraph rispettano i confini naturali del testo, Recursive è adattivo per documenti misti, Semantic Cosine raggruppa contenuti simili, Sliding Window aggiunge overlap per non perdere contesto, Markdown Header segue la gerarchia dei titoli, Token Bucket controlla con precisione il conteggio token. La tabella di confronto nella pagina riassume pro e contro di ognuna.

La heatmap usa embedding reali?

No. La similarità mostrata è calcolata con il coefficiente di Jaccard sui token set (parole deduplicate) di ogni coppia di chunk, non con embedding vettoriali veri. È un'approssimazione utile per un confronto qualitativo rapido tra strategie, non per decisioni di produzione.

Quale strategia scegliere per la mia pipeline RAG?

Dipende dal tipo di documento: usa Paragraph o Markdown Header per contenuti strutturati (blog, wiki, documentazione), Sentence per testi narrativi, Sliding Window quando il contesto tra chunk è critico per il retrieval (es. QA tecnico), Fixed Size solo per prototipazione rapida.

Cosa succede se il testo è molto corto o vuoto?

Se il campo testo è vuoto viene mostrato uno stato vuoto con invito a caricare l'esempio. Con testi molto brevi alcune strategie (es. Paragraph) possono produrre un solo chunk: prova a ridurre la dimensione chunk impostata per ottenere una suddivisione più granulare.

I miei dati vengono inviati a un server o a un modello AI?

No, il tool è 100% client-side: chunking, conteggio token stimato e calcolo Jaccard avvengono interamente nel browser. Nessun testo viene trasmesso a server esterni o a modelli LLM.