RAG 文本分块工具
按 token、句子或 Markdown 结构将文档切分为检索分块，并检查重叠
不进行语义分块：边界依据字符、token 和文本结构，而非语义。
JSON、JSONL 和 CSV 使用 CodingTool 字段（id, text, startChar, endChar, tokens, metadata），不是 LangChain 或 LlamaIndex 格式。
什么是 RAG 分块工具？
RAG 分块工具会在你为检索增强生成（RAG）或向量嵌入建立索引之前，展示文档将如何被切分。可选择固定字符或 token 窗口，或按句子、段落、递归分隔符、Markdown 结构分块，并查看每个分块的字符范围、精确 token 数、与相邻分块的重叠和标题路径。统计信息显示分块数量、token 总数、平均值和中位数、最小和最大分块，以及重叠造成的重复文本比例。
使用方法
- 1.粘贴 Markdown 或纯文本，导入 .md / .txt 文件，或加载示例。
- 2.选择策略，并以字符或 token 设置分块大小和重叠。
- 3.以 token 计时，请选择 o200k_base 或 cl100k_base，计数是精确的。
- 4.查看统计和分块卡片；高亮文本与相邻分块共享。
- 5.在“高级”中编辑递归分隔符、设置最小分块大小或保留标题路径。
- 6.以纯文本、Markdown、JSON、JSONL 或 CSV 复制或下载分块。
准确性与限制
每个分块都是文档的精确切片，因此其字符范围始终指向原文。以 token 计的大小和重叠由所选的精确分词器测量，绝不按字符估算；Claude、Gemini 和通用选项是估算值，仅用于按字符计的大小。大于分块大小的单个块、单词或 token 会单独成为一个分块并标记为超出大小。本工具不做语义或基于嵌入的分块，能识别 ATX 标题（以 # 开头的行）但不识别下划线式标题，导出使用 CodingTool 字段而非 LangChain 或 LlamaIndex 架构。5 MB 以内的文档在后台 worker 中本地处理。
