La Retrieval-Augmented Generation (RAG) e' una tecnica che combina modelli linguistici con recupero di documenti esterni. Il processo RAG si divide in due fasi principali: indicizzazione e inferenza. Nella fase di indicizzazione, i documenti vengono suddivisi in chunk, convertiti in embedding e salvati in un vector store. Durante l'inferenza, la query dell'utente viene convertita in embedding,
_RAG Chunking Visualizer
Paste your text and visually compare eight strategies for chunking in the RAG (Relation-Aware Graph) pipeline, including a heatmap of Jaccard similarities: 100% client-side – no data transmitted.
FreeServer-side (using Federico Calò's Angular and Spring Boot) or using a library like Ollama that can run on the client side but also has server-side rendering capabilities, available via GitHub.
Configuration
Split ogni N caratteri. Semplice e deterministico.
1002000
Input text
891 caratteri
Chunk prodotti (3)
vengono recuperati i chunk piu' simili e il modello genera una risposta contestualizzata. La scelta della strategia di chunking impatta significativamente la qualita' dei risultati RAG. Chunk troppo piccoli perdono contesto, chunk troppo grandi riducono la precisione del retrieval. Le strategie piu' comuni includono: split fisso per semplicita', split per frase per coerenza semantica, split per
paragrafo per testi strutturati, e sliding window per massimizzare il contesto disponibile.
Mastering the
| Strategy | When to use it | For | Against |
|---|---|---|---|
| Fixed Size | Plain texts without structure | Deterministic, fast | Cut sentences at meta' |
| Sentence | Articles, News, Narrative Texts | Non capisco la richiesta. Puoi fornire il testo da tradurre? | Variable-sized chunks |
| Paragraph | Structured documents | Natural Semantics | Long or short paragraphs |
| Recursive | Variable-structured mixed documents | Flexible, adaptable | More complex logic |
| Semantic Cosine | Mixed-topic texts | Semantically coherent chunks | Approximated without actual embeddings |
| Sliding Window | Technical QA on texts, maximum context. | No context lost | Redundancy, more called embeddings |
| Markdown Header | Documentation, READ ME, Wiki | Respect the Markdown hierarchy | Only for markdown texts |
| Token Bucket | Token Count Control | Respect word boundaries | Ignore semantic structure. |