ตัวสำรวจโทเค็นไนเซอร์ AI
ดูว่าข้อความกลายเป็นโทเค็นอย่างไร พร้อม ID ไบต์ และออฟเซ็ต
วางข้อความหรือโหลดตัวอย่างเพื่อดูโทเค็น
จำนวนนับเฉพาะข้อความดิบ ไม่รวมรูปแบบข้อความแชตและโทเค็นพิเศษที่ API เพิ่มเข้าไป แบ่งข้อความลักษณะนี้เป็นชังก์ด้วย RAG Chunker · ประมาณค่าใช้จ่าย API
เครื่องมือที่เกี่ยวข้อง
เครื่องมือนี้แสดงอะไร
ตัวสำรวจโทเค็นไนเซอร์ AI แบ่งข้อความของคุณด้วย byte-pair encoding แบบเดียวกับที่โมเดลของ OpenAI ใช้ (o200k_base และ cl100k_base) และแสดงแต่ละโทเค็นเป็นช่วงหนึ่ง เลือกโทเค็นเพื่อดู ID ข้อความที่ถอดรหัส ไบต์ในรูปแบบ hex ช่วงไบต์ UTF-8 และอักขระที่โทเค็นครอบคลุม สถิติแสดงจำนวนโทเค็น อักขระ ไบต์ UTF-8 และอักขระต่อโทเค็น
จำนวนแบบแม่นยำและค่าประมาณ
o200k_base และ cl100k_base แม่นยำ เพราะคลังคำที่เผยแพร่ไว้ทำงานในเบราว์เซอร์ของคุณ ID โทเค็นและจำนวนจึงตรงกับตัวเข้ารหัส ส่วน Claude, Gemini และตัวเลือกทั่วไปเป็นค่าประมาณจากฮิวริสติกในเครื่องที่ปรับเทียบแล้ว ให้เพียงจำนวนโดยประมาณ ติดป้ายค่าประมาณเสมอ และไม่แสดงขอบเขตโทเค็น เพราะไม่มีโทเค็นไนเซอร์ของโมเดลเหล่านั้นในเครื่อง โมเดลที่ไม่อยู่ในรายการไม่รองรับ
ไบต์ อีโมจิ และข้อความหลายภาษา
โทเค็นคือลำดับไบต์ ไม่ใช่อักขระ อีโมจิหรืออักขระจากอักษรที่ไม่ใช่ละตินอาจถูกแบ่งไปหลายโทเค็น แต่ละโทเค็นมีเพียงส่วนหนึ่งของอักขระ และเมื่อถอดรหัสแยกจะกลายเป็นอักขระแทนที่ เครื่องมือนี้จัดกลุ่มโทเค็นเหล่านั้นเป็นช่วงเดียว แสดง ID ทั้งหมด และเก็บออฟเซ็ตไบต์ที่แน่นอนไว้
การเปรียบเทียบโทเค็นไนเซอร์
เลือกโทเค็นไนเซอร์ตัวที่สองในช่องเปรียบเทียบกับ เพื่อดูยอดรวมทั้งสอง ผลต่าง และเปอร์เซ็นต์การเปลี่ยนแปลง ช่วยให้เห็นว่าการเปลี่ยนโมเดลส่งผลต่อขนาดพรอมต์มากแค่ไหน การเปรียบเทียบที่มีค่าประมาณใช้เป็นแนวทางเท่านั้น
ความเป็นส่วนตัวและข้อจำกัด
การแปลงเป็นโทเค็นทำงานในเครื่องผ่าน worker เบื้องหลัง และข้อความของคุณจะไม่ถูกบันทึกหรือส่งไปที่ใด ข้อความไม่เกิน 50,000 อักขระจะอัปเดตทันที ข้อความที่ยาวกว่าสูงสุด 2 MB จะประมวลผลเมื่อเลือกแปลงเป็นโทเค็น มุมมองแสดง 5,000 โทเค็นแรก ขณะที่จำนวนและรายการที่คัดลอกรวมทุกโทเค็น จำนวนนับเฉพาะข้อความดิบ ไม่รวมรูปแบบข้อความหรือโทเค็นพิเศษที่ API เพิ่มเข้าไป
