AI 分詞器瀏覽器
查看文字如何變成 token，包含 ID、位元組與位移
貼上文字或載入範例以查看其 token。
計數僅涵蓋原始文字，不包含聊天訊息格式以及 API 加入的特殊 token。 使用 RAG Chunker 將這類文字切分成區塊 · 估算 API 成本
工具顯示的內容
AI 分詞器瀏覽器 使用與 OpenAI 模型相同的 byte-pair encoding（o200k_base 與 cl100k_base）切分文字，並將每個 token 顯示為一個片段。選取 token 可查看其 ID、解碼文字、hex 格式的位元組、UTF-8 位元組範圍以及它涵蓋的字元。統計資訊顯示 token 數、字元數、UTF-8 位元組數與每 token 字元數。
精確計數與近似值
o200k_base 與 cl100k_base 是精確的：公開的詞表在您的瀏覽器中執行，因此 token ID 與數量和編碼器一致。Claude、Gemini 與通用選項是根據本機校準啟發式得出的近似值，只提供估計數量，一律標示為「近似」，且不會顯示 token 邊界，因為它們的分詞器無法在本機使用。未列出的模型不受支援。
位元組、表情符號與多語言文字
token 是位元組序列，而不是字元。表情符號或非拉丁文字的字元可能被拆分到多個 token；每個 token 只包含字元的一部分，單獨解碼時會變成替代字元。本工具會將這些 token 合併為一個片段，列出所有 ID，並保留精確的位元組位移。
比較分詞器
在「比較對象」中選擇第二個分詞器，即可看到兩個總數、差值與百分比變化。這有助於了解更換模型會讓提示詞大小改變多少；涉及近似值的比較僅供參考。
隱私與限制
分詞在背景 worker 中於本機執行，您的文字不會被儲存或傳送到任何地方。50,000 個字元以內的文字即時更新；更長的文字（最多 2 MB）會在選擇「分詞」後處理。檢視畫面顯示前 5,000 個 token，而計數與複製的清單包含全部 token。計數僅涵蓋原始文字，不包含 API 加入的訊息格式或特殊 token。
