Fragmentador RAG

RAG Chunker muestra cómo se dividirá un documento antes de indexarlo para generación aumentada por recuperación (RAG) o embeddings. Elige ventanas fijas de caracteres o tokens, o fragmentación por oraciones, párrafos, separadores recursivos o estructura Markdown, y revisa cada fragmento con su rango de caracteres, su recuento exacto de tokens, el solapamiento con sus vecinos y la ruta de encabezados. Las estadísticas muestran el número de fragmentos, los tokens totales, promedio y mediana, el fragmento más pequeño y el más grande, y cuánto texto duplica el solapamiento.

1. 1.Pega Markdown o texto plano, importa un archivo .md o .txt, o carga un ejemplo.
2. 2.Elige una estrategia y define el tamaño del fragmento y el solapamiento en caracteres o tokens.
3. 3.Para tamaños en tokens, elige o200k_base o cl100k_base; los recuentos son exactos.
4. 4.Revisa las estadísticas y las tarjetas; el texto resaltado se comparte con el fragmento vecino.
5. 5.En Avanzado, edita los separadores recursivos, define un tamaño mínimo o conserva la ruta de encabezados.
6. 6.Copia o descarga los fragmentos como texto plano, Markdown, JSON, JSONL o CSV.

Cada fragmento es un corte exacto de tu documento, así que su rango de caracteres siempre apunta al texto original. Los tamaños y el solapamiento en tokens se miden con el tokenizador exacto elegido, nunca se estiman a partir de caracteres; las entradas de Claude, Gemini y genérica son estimaciones y solo se ofrecen para tamaños en caracteres. Un bloque, una palabra o un token más grande que el tamaño se convierte en su propio fragmento y se marca como excedido. La herramienta no hace fragmentación semántica ni basada en embeddings, reconoce encabezados ATX (líneas que empiezan con #) pero no los subrayados, y las exportaciones usan campos de CodingTool en lugar de un esquema de LangChain o LlamaIndex. Los documentos de hasta 5 MB se procesan localmente en un worker en segundo plano.