RAG-разбиватель текста
Разбивайте документы на фрагменты для поиска по токенам, предложениям или структуре Markdown и проверяйте перекрытие
Без семантического разбиения: границы зависят от символов, токенов и структуры текста, а не от смысла.
JSON, JSONL и CSV используют поля CodingTool (id, text, startChar, endChar, tokens, metadata); это не формат LangChain или LlamaIndex.
Связанные инструменты
Что такое RAG Chunker?
RAG Chunker показывает, как документ будет разбит перед индексацией для генерации с дополненной выборкой (RAG) или эмбеддингов. Выберите фиксированные окна символов или токенов, разбиение по предложениям, абзацам, рекурсивным разделителям или с учётом Markdown и просмотрите каждый фрагмент с диапазоном символов, точным числом токенов, перекрытием с соседями и путём заголовков. Статистика показывает число фрагментов, общее, среднее и медианное число токенов, самый маленький и самый большой фрагмент и долю текста, дублируемого перекрытием.
Как пользоваться
- 1.Вставьте Markdown или обычный текст, импортируйте файл .md или .txt либо загрузите пример.
- 2.Выберите стратегию и задайте размер фрагмента и перекрытие в символах или токенах.
- 3.Для размера в токенах выберите o200k_base или cl100k_base — подсчёт точный.
- 4.Изучите статистику и карточки фрагментов; выделенный текст общий с соседним фрагментом.
- 5.В разделе «Дополнительно» измените рекурсивные разделители, задайте минимальный размер или сохраните путь заголовков.
- 6.Скопируйте или скачайте фрагменты как обычный текст, Markdown, JSON, JSONL или CSV.
Точность и ограничения
Каждый фрагмент — точный срез документа, поэтому его диапазон символов всегда указывает на исходный текст. Размер и перекрытие в токенах измеряются выбранным точным токенизатором и никогда не оцениваются по символам; варианты Claude, Gemini и общий — это оценки, они доступны только для размера в символах. Отдельный блок, слово или токен больше размера фрагмента становится отдельным фрагментом с пометкой о превышении. Инструмент не выполняет семантическое разбиение или разбиение по эмбеддингам, распознаёт заголовки ATX (строки, начинающиеся с #), но не подчёркнутые заголовки, а экспорт использует поля CodingTool, а не схему LangChain или LlamaIndex. Документы до 5 МБ обрабатываются локально в фоновом worker.
