AI トークナイザーエクスプローラー

AI トークナイザーエクスプローラー は OpenAI のモデルが使うものと同じ byte-pair encoding（o200k_base と cl100k_base）でテキストを分割し、各トークンをスパンとして表示します。トークンを選ぶと、ID、デコード結果、hex のバイト列、UTF-8 のバイト範囲、対応する文字を確認できます。統計にはトークン数、文字数、UTF-8 バイト数、トークンあたりの文字数が表示されます。

o200k_base と cl100k_base は正確です。公開された語彙がブラウザー内で実行されるため、トークン ID と件数はエンコーダーと一致します。Claude、Gemini、汎用オプションは、調整済みのローカルなヒューリスティックによる近似です。推定件数のみを示し、常に「近似」と表示され、トークナイザーをローカルで利用できないためトークンの境界は表示されません。一覧にないモデルには対応していません。

トークンは文字ではなくバイト列です。絵文字やラテン文字以外の文字は複数のトークンに分かれることがあり、それぞれのトークンは文字の一部しか持たないため、単独でデコードすると置換文字になります。このツールはそうしたトークンを 1 つのスパンにまとめ、すべての ID を列挙し、正確なバイトオフセットを保持します。

「比較対象」で 2 つ目のトークナイザーを選ぶと、両方の合計、差分、変化率が表示されます。モデルを変えるとプロンプトのサイズがどれだけ変わるかを把握するのに役立ちます。近似を含む比較は目安にすぎません。

トークン化はバックグラウンドの worker でローカルに実行され、テキストが保存されたり外部に送信されたりすることはありません。50,000 文字までのテキストはリアルタイムで更新され、それより長いテキスト（最大 2 MB）は「トークン化」を選ぶと処理されます。表示されるのは最初の 5,000 トークンですが、件数とコピーするリストにはすべてのトークンが含まれます。件数は元のテキストのみが対象で、API が追加するメッセージ書式や特殊トークンは含みません。