RAG चंकर
दस्तावेज़ों को टोकन, वाक्यों या Markdown संरचना के आधार पर रिट्रीवल चंक में बाँटें और ओवरलैप जाँचें
सिमैंटिक चंकिंग नहीं: सीमाएँ अर्थ के बजाय अक्षरों, टोकन और टेक्स्ट संरचना पर आधारित हैं।
JSON, JSONL और CSV में CodingTool फ़ील्ड (id, text, startChar, endChar, tokens, metadata) हैं; यह LangChain या LlamaIndex फ़ॉर्मैट नहीं है।
संबंधित टूल्स
RAG Chunker क्या है?
RAG Chunker दिखाता है कि रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) या एम्बेडिंग के लिए इंडेक्स करने से पहले दस्तावेज़ कैसे बँटेगा। निश्चित अक्षर या टोकन विंडो, या वाक्य, अनुच्छेद, रिकर्सिव विभाजक या Markdown-आधारित चंकिंग चुनें, और हर चंक को उसकी अक्षर सीमा, सटीक टोकन गिनती, पड़ोसियों के साथ ओवरलैप और शीर्षक पथ के साथ देखें। आँकड़े चंक की संख्या, कुल, औसत और माध्यिका टोकन, सबसे छोटा और सबसे बड़ा चंक, और ओवरलैप से दोहराया गया टेक्स्ट दिखाते हैं।
उपयोग कैसे करें
- 1.Markdown या सादा टेक्स्ट पेस्ट करें, .md या .txt फ़ाइल इम्पोर्ट करें, या उदाहरण लोड करें।
- 2.रणनीति चुनें और चंक का आकार और ओवरलैप अक्षरों या टोकन में तय करें।
- 3.टोकन आकार के लिए o200k_base या cl100k_base चुनें; गिनती सटीक होती है।
- 4.आँकड़े और चंक कार्ड देखें; हाइलाइट टेक्स्ट पड़ोसी चंक के साथ साझा है।
- 5.उन्नत में रिकर्सिव विभाजक बदलें, न्यूनतम चंक आकार तय करें या शीर्षक पथ रखें।
- 6.चंक को सादा टेक्स्ट, Markdown, JSON, JSONL या CSV के रूप में कॉपी या डाउनलोड करें।
सटीकता और सीमाएँ
हर चंक आपके दस्तावेज़ का सटीक हिस्सा है, इसलिए उसकी अक्षर सीमा हमेशा मूल टेक्स्ट की ओर इशारा करती है। टोकन में आकार और ओवरलैप चुने गए सटीक टोकनाइज़र से मापे जाते हैं, अक्षरों से कभी अनुमान नहीं लगाया जाता; Claude, Gemini और सामान्य विकल्प अनुमान हैं और केवल अक्षर-आधारित आकार के लिए दिए जाते हैं। चंक आकार से बड़ा कोई एक ब्लॉक, शब्द या टोकन अपना अलग चंक बनता है और आकार से बड़ा चिह्नित होता है। यह टूल सिमैंटिक या एम्बेडिंग-आधारित चंकिंग नहीं करता, ATX शीर्षक (# से शुरू होने वाली पंक्तियाँ) पहचानता है पर रेखांकित शीर्षक नहीं, और एक्सपोर्ट LangChain या LlamaIndex स्कीमा के बजाय CodingTool फ़ील्ड का उपयोग करते हैं। 5 MB तक के दस्तावेज़ बैकग्राउंड worker में स्थानीय रूप से प्रोसेस होते हैं।
