RAG チャンカー
ドキュメントをトークン、文、Markdown 構造で検索用チャンクに分割し、オーバーラップを確認
セマンティック分割は行いません。境界は意味ではなく、文字、トークン、テキスト構造に基づきます。
JSON、JSONL、CSV は CodingTool のフィールド (id, text, startChar, endChar, tokens, metadata) を使います。LangChain や LlamaIndex の形式ではありません。
RAG Chunker とは
RAG Chunker は、検索拡張生成 (RAG) やエンベディング用にインデックスする前に、ドキュメントがどう分割されるかを表示します。固定の文字数やトークン数、文、段落、再帰的な区切り文字、Markdown 対応の分割から選び、各チャンクの文字範囲、正確なトークン数、隣接チャンクとのオーバーラップ、見出しパスを確認できます。統計にはチャンク数、合計・平均・中央値のトークン数、最小と最大のチャンク、オーバーラップで重複するテキストの量が表示されます。
使い方
- 1.Markdown やプレーンテキストを貼り付けるか、.md / .txt ファイルやサンプルを読み込みます。
- 2.戦略を選び、チャンクサイズとオーバーラップを文字数またはトークン数で設定します。
- 3.トークン単位の場合は o200k_base か cl100k_base を選びます。数は正確です。
- 4.統計とチャンクカードを確認します。強調表示されたテキストは隣のチャンクと共有されています。
- 5.詳細設定で再帰の区切り文字、最小チャンクサイズ、見出しパスの保持を設定します。
- 6.チャンクをプレーンテキスト、Markdown、JSON、JSONL、CSV でコピーまたはダウンロードします。
精度と制限
各チャンクはドキュメントの正確な切り出しなので、文字範囲は常に元のテキストを指します。トークン単位のサイズとオーバーラップは選択した正確なトークナイザーで測定し、文字数から推定することはありません。Claude、Gemini、汎用の項目は推定で、文字単位のサイズでのみ選べます。チャンクサイズより大きい 1 つのブロック、単語、トークンは単独のチャンクになり、サイズ超過として表示されます。セマンティック分割やエンベディングによる分割は行わず、ATX 見出し (# で始まる行) は認識しますが下線形式の見出しは認識しません。エクスポートは LangChain や LlamaIndex のスキーマではなく CodingTool のフィールドを使います。5 MB までのドキュメントをバックグラウンドの worker でローカル処理します。
