Pemotong Dokumen RAG
Pecah dokumen menjadi potongan retrieval berdasarkan token, kalimat, atau struktur Markdown dan periksa tumpang tindihnya
Tanpa pemotongan semantik: batas mengikuti karakter, token, dan struktur teks, bukan makna.
JSON, JSONL, dan CSV memakai kolom CodingTool (id, text, startChar, endChar, tokens, metadata); ini bukan format LangChain atau LlamaIndex.
Alat Terkait
Apa itu RAG Chunker?
RAG Chunker menunjukkan bagaimana dokumen akan dipecah sebelum Anda mengindeksnya untuk retrieval-augmented generation (RAG) atau embedding. Pilih jendela karakter atau token tetap, pemotongan per kalimat, paragraf, pemisah rekursif, atau sadar Markdown, lalu lihat setiap potongan beserta rentang karakter, jumlah token persis, tumpang tindih dengan tetangganya, dan jalur judulnya. Statistik menampilkan jumlah potongan, total, rata-rata, dan median token, potongan terkecil dan terbesar, serta seberapa banyak teks yang terduplikasi oleh tumpang tindih.
Cara menggunakan
- 1.Tempel Markdown atau teks biasa, impor file .md atau .txt, atau muat contoh.
- 2.Pilih strategi dan atur ukuran potongan serta tumpang tindih dalam karakter atau token.
- 3.Untuk ukuran token, pilih o200k_base atau cl100k_base; jumlahnya persis.
- 4.Tinjau statistik dan kartu potongan; teks yang disorot juga ada di potongan tetangga.
- 5.Di Lanjutan, ubah pemisah rekursif, atur ukuran potongan minimum, atau simpan jalur judul.
- 6.Salin atau unduh potongan sebagai teks biasa, Markdown, JSON, JSONL, atau CSV.
Akurasi dan batasan
Setiap potongan adalah irisan persis dari dokumen Anda, sehingga rentang karakternya selalu menunjuk kembali ke teks asli. Ukuran dan tumpang tindih dalam token diukur dengan tokenizer persis yang dipilih, tidak pernah diperkirakan dari karakter; entri Claude, Gemini, dan umum adalah estimasi dan hanya ditawarkan untuk ukuran karakter. Satu blok, kata, atau token yang lebih besar dari ukuran potongan menjadi potongan tersendiri dan ditandai melebihi ukuran. Alat ini tidak melakukan pemotongan semantik atau berbasis embedding, judul ATX (baris yang diawali #) dikenali tetapi judul bergaris bawah tidak, dan ekspor memakai kolom CodingTool, bukan skema LangChain atau LlamaIndex. Dokumen hingga 5 MB diproses secara lokal di worker latar belakang.
