AI 分词器浏览器
查看文本如何变成 token，包含 ID、字节和偏移量
粘贴文本或加载示例以查看其 token。
计数仅涵盖原始文本，不包括聊天消息格式以及 API 添加的特殊 token。 使用 RAG Chunker 将此类文本切分为块 · 估算 API 成本
工具展示的内容
AI 分词器浏览器 使用与 OpenAI 模型相同的 byte-pair encoding（o200k_base 和 cl100k_base）切分文本，并将每个 token 显示为一个片段。选择 token 可查看其 ID、解码文本、hex 格式的字节、UTF-8 字节范围以及它覆盖的字符。统计信息显示 token 数、字符数、UTF-8 字节数和每 token 字符数。
精确计数与近似值
o200k_base 和 cl100k_base 是精确的：公开的词表在您的浏览器中运行，因此 token ID 和数量与编码器一致。Claude、Gemini 和通用选项是基于本地校准启发式的近似值，只给出估算数量，始终标注为“近似”，并且不会显示 token 边界，因为它们的分词器无法在本地使用。未列出的模型不受支持。
字节、表情符号与多语言文本
token 是字节序列，而不是字符。表情符号或非拉丁文字的字符可能被拆分到多个 token 中；每个 token 只包含字符的一部分，单独解码时会变成替换字符。本工具会把这些 token 合并为一个片段，列出所有 ID，并保留精确的字节偏移量。
对比分词器
在“对比对象”中选择第二个分词器，即可看到两个总数、差值和百分比变化。这有助于了解更换模型会让提示词的大小变化多少；涉及近似值的对比仅供参考。
隐私与限制
分词在后台 worker 中本地运行，您的文本不会被保存或发送到任何地方。50,000 个字符以内的文本实时更新；更长的文本（最多 2 MB）在选择“分词”后处理。视图显示前 5,000 个 token，而计数和复制的列表包含全部 token。计数仅涵盖原始文本，不包括 API 添加的消息格式或特殊 token。
