Penjelajah Tokenizer AI
Lihat cara teks menjadi token, lengkap dengan ID, byte, dan offset
Tempel teks atau muat contoh untuk melihat token-nya.
Jumlah hanya mencakup teks mentah. Format pesan chat dan token khusus yang ditambahkan API tidak termasuk. Pecah teks seperti ini menjadi chunk dengan RAG Chunker · Perkirakan biaya API
Alat Terkait
Apa yang ditampilkan
Penjelajah Tokenizer AI memecah teks Anda dengan byte-pair encoding yang sama dengan yang dipakai model OpenAI (o200k_base dan cl100k_base) dan menggambar setiap token sebagai satu rentang. Pilih token untuk melihat ID, teks hasil dekode, byte mentah dalam hex, rentang byte UTF-8, dan karakter yang dicakupnya. Statistik menampilkan jumlah token, karakter, byte UTF-8, dan karakter per token.
Jumlah pasti dan perkiraan
o200k_base dan cl100k_base bersifat pasti: kosakata yang dipublikasikan berjalan di browser Anda, sehingga ID token dan jumlahnya sesuai dengan encoder. Claude, Gemini, dan opsi umum adalah perkiraan dari heuristik lokal yang dikalibrasi. Opsi ini hanya memberi jumlah estimasi, selalu diberi label Perkiraan, dan tidak pernah menampilkan batas token karena tokenizer-nya tidak tersedia secara lokal. Model yang tidak tercantum tidak didukung.
Byte, emoji, dan teks multibahasa
Token adalah urutan byte, bukan karakter. Emoji atau karakter dari aksara non-Latin dapat terpecah ke beberapa token; masing-masing token hanya memuat sebagian karakter dan jika berdiri sendiri didekode menjadi karakter pengganti. Penjelajah ini mengelompokkan token seperti itu ke dalam satu rentang, mencantumkan semua ID-nya, dan menjaga offset byte yang tepat.
Membandingkan tokenizer
Pilih tokenizer kedua di Bandingkan dengan untuk melihat kedua total, selisih, dan persentase perubahannya. Perbandingan ini berguna untuk melihat seberapa besar pergantian model memengaruhi ukuran prompt; perbandingan yang melibatkan perkiraan hanya bersifat indikatif.
Privasi dan batasan
Tokenisasi berjalan secara lokal di worker latar belakang, dan teks Anda tidak pernah disimpan atau dikirim ke mana pun. Teks hingga 50.000 karakter diperbarui langsung; teks yang lebih panjang hingga 2 MB diproses saat Anda memilih Tokenisasi. Tampilan merender 5.000 token pertama, sedangkan jumlah dan daftar yang disalin mencakup semua token. Jumlah hanya mencakup teks mentah, tanpa format pesan atau token khusus yang ditambahkan API.
