RAG 文字分塊工具
依 token、句子或 Markdown 結構將文件切分為檢索分塊，並檢查重疊
不進行語意分塊：邊界依據字元、token 和文字結構，而非語意。
JSON、JSONL 和 CSV 使用 CodingTool 欄位（id, text, startChar, endChar, tokens, metadata），不是 LangChain 或 LlamaIndex 格式。
什麼是 RAG 分塊工具？
RAG 分塊工具會在你為檢索增強生成（RAG）或向量嵌入建立索引之前，顯示文件將如何被切分。可選擇固定字元或 token 視窗，或依句子、段落、遞迴分隔符、Markdown 結構分塊，並查看每個分塊的字元範圍、精確 token 數、與相鄰分塊的重疊和標題路徑。統計資訊顯示分塊數量、token 總數、平均值與中位數、最小與最大分塊，以及重疊造成的重複文字比例。
使用方式
- 1.貼上 Markdown 或純文字，匯入 .md / .txt 檔案，或載入範例。
- 2.選擇策略，並以字元或 token 設定分塊大小和重疊。
- 3.以 token 計時，請選擇 o200k_base 或 cl100k_base，計數為精確值。
- 4.查看統計和分塊卡片；醒目提示的文字與相鄰分塊共用。
- 5.在「進階」中編輯遞迴分隔符、設定最小分塊大小或保留標題路徑。
- 6.以純文字、Markdown、JSON、JSONL 或 CSV 複製或下載分塊。
準確性與限制
每個分塊都是文件的精確切片，因此其字元範圍一律指向原文。以 token 計的大小和重疊由所選的精確分詞器測量，絕不依字元估算；Claude、Gemini 和通用選項是估算值，僅用於以字元計的大小。大於分塊大小的單一區塊、字詞或 token 會單獨成為一個分塊並標示為超出大小。本工具不做語意或以嵌入為基礎的分塊，可辨識 ATX 標題（以 # 開頭的行）但不辨識底線式標題，匯出使用 CodingTool 欄位而非 LangChain 或 LlamaIndex 結構描述。5 MB 以內的文件在背景 worker 中於本機處理。
