ตัวแบ่งชังก์ RAG

RAG Chunker แสดงว่าเอกสารจะถูกแบ่งอย่างไรก่อนนำไปทำดัชนีสำหรับ retrieval-augmented generation (RAG) หรือ embedding เลือกหน้าต่างอักขระหรือโทเค็นแบบคงที่ หรือแบ่งตามประโยค ย่อหน้า ตัวคั่นแบบเรียกซ้ำ หรือโครงสร้าง Markdown แล้วดูแต่ละชังก์พร้อมช่วงอักขระ จำนวนโทเค็นที่แม่นยำ ส่วนซ้อนทับกับชังก์ข้างเคียง และเส้นทางหัวข้อ สถิติแสดงจำนวนชังก์ โทเค็นรวม ค่าเฉลี่ย ค่ามัธยฐาน ชังก์ที่เล็กและใหญ่ที่สุด และปริมาณข้อความที่ซ้ำจากส่วนซ้อนทับ

1. 1.วาง Markdown หรือข้อความธรรมดา นำเข้าไฟล์ .md หรือ .txt หรือโหลดตัวอย่าง
2. 2.เลือกกลยุทธ์ แล้วตั้งขนาดชังก์และส่วนซ้อนทับเป็นอักขระหรือโทเค็น
3. 3.สำหรับขนาดแบบโทเค็น ให้เลือก o200k_base หรือ cl100k_base ซึ่งนับได้แม่นยำ
4. 4.ตรวจสถิติและการ์ดชังก์ ข้อความที่ไฮไลต์จะซ้ำกับชังก์ข้างเคียง
5. 5.ในส่วนขั้นสูง แก้ไขตัวคั่นแบบเรียกซ้ำ ตั้งขนาดชังก์ขั้นต่ำ หรือเก็บเส้นทางหัวข้อ
6. 6.คัดลอกหรือดาวน์โหลดชังก์เป็นข้อความธรรมดา Markdown, JSON, JSONL หรือ CSV

ทุกชังก์เป็นส่วนที่ตัดออกจากเอกสารของคุณอย่างตรงตัว ช่วงอักขระจึงชี้กลับไปยังข้อความต้นฉบับเสมอ ขนาดและส่วนซ้อนทับแบบโทเค็นวัดด้วยตัวตัดโทเค็นที่แม่นยำที่เลือก ไม่เคยประมาณจากอักขระ ตัวเลือก Claude, Gemini และทั่วไปเป็นค่าประมาณและมีให้เฉพาะขนาดแบบอักขระ บล็อก คำ หรือโทเค็นเดียวที่ใหญ่กว่าขนาดชังก์จะกลายเป็นชังก์ของตัวเองและถูกระบุว่าเกินขนาด เครื่องมือนี้ไม่แบ่งตามความหมายหรือ embedding รู้จักหัวข้อแบบ ATX (บรรทัดที่ขึ้นต้นด้วย #) แต่ไม่รู้จักหัวข้อแบบขีดเส้นใต้ และไฟล์ส่งออกใช้ฟิลด์ของ CodingTool ไม่ใช่สคีมาของ LangChain หรือ LlamaIndex เอกสารขนาดไม่เกิน 5 MB จะประมวลผลในเครื่องผ่าน worker เบื้องหลัง