AI टोकनाइज़र एक्सप्लोरर

AI टोकनाइज़र एक्सप्लोरर आपके टेक्स्ट को उन्हीं byte-pair encoding से बाँटता है जिन्हें OpenAI मॉडल इस्तेमाल करते हैं (o200k_base और cl100k_base) और हर टोकन को एक स्पैन के रूप में दिखाता है। किसी टोकन को चुनकर उसका ID, डिकोड किया गया टेक्स्ट, hex में बाइट, UTF-8 बाइट सीमा और उसमें आने वाले अक्षर देखें। आँकड़ों में टोकन की गिनती, अक्षर, UTF-8 बाइट और प्रति टोकन अक्षर दिखते हैं।

o200k_base और cl100k_base सटीक हैं: प्रकाशित शब्दावली आपके ब्राउज़र में चलती है, इसलिए टोकन ID और गिनती एन्कोडर से मेल खाती हैं। Claude, Gemini और सामान्य विकल्प एक कैलिब्रेट किए गए लोकल अनुमान पर आधारित हैं। ये केवल अनुमानित गिनती देते हैं, हमेशा अनुमान लेबल के साथ दिखते हैं और कभी टोकन सीमाएँ नहीं दिखाते, क्योंकि इनके टोकनाइज़र लोकल रूप से उपलब्ध नहीं हैं। सूची में न दिए गए मॉडल समर्थित नहीं हैं।

टोकन बाइट के क्रम होते हैं, अक्षर नहीं। कोई इमोजी या गैर-लैटिन लिपि का अक्षर कई टोकन में बँट सकता है; हर टोकन में अक्षर का केवल एक हिस्सा होता है और अकेले डिकोड करने पर वह रिप्लेसमेंट अक्षर बन जाता है। एक्सप्लोरर ऐसे टोकन को एक स्पैन में समूहित करता है, उनके सभी ID दिखाता है और सटीक बाइट ऑफ़सेट बनाए रखता है।

इससे तुलना करें में दूसरा टोकनाइज़र चुनें और दोनों कुल संख्या, अंतर तथा प्रतिशत परिवर्तन देखें। इससे पता चलता है कि मॉडल बदलने से प्रॉम्प्ट का आकार कितना बदलता है; अनुमान वाली तुलना केवल संकेत देती है।

टोकनाइज़ेशन बैकग्राउंड वर्कर में लोकल रूप से चलता है और आपका टेक्स्ट कभी सहेजा या कहीं भेजा नहीं जाता। 50,000 अक्षरों तक का टेक्स्ट लाइव अपडेट होता है; 2 MB तक का लंबा टेक्स्ट टोकनाइज़ करें चुनने पर चलता है। व्यू पहले 5,000 टोकन दिखाता है, जबकि गिनती और कॉपी की गई सूचियों में सभी टोकन शामिल होते हैं। गिनती में केवल कच्चा टेक्स्ट है, API द्वारा जोड़ा गया संदेश फ़ॉर्मैट या विशेष टोकन नहीं।