Обозреватель токенизаторов ИИ
Смотрите, как текст превращается в токены, с ID, байтами и смещениями
Вставьте текст или загрузите пример, чтобы увидеть его токены.
Подсчёт учитывает только исходный текст. Форматирование сообщений чата и специальные токены, которые добавляет API, не учитываются. Разбить такой текст на фрагменты в RAG Chunker · Оценить стоимость API
Связанные инструменты
Что показывает инструмент
Обозреватель токенизаторов ИИ делит текст с помощью тех же byte-pair encoding, что используют модели OpenAI (o200k_base и cl100k_base), и показывает каждый токен отдельным фрагментом. Выберите токен, чтобы увидеть его ID, декодированный текст, байты в hex, диапазон байтов UTF-8 и символы, которые он охватывает. В статистике — количество токенов, символов, байтов UTF-8 и символов на токен.
Точный и приблизительный подсчёт
o200k_base и cl100k_base точны: опубликованный словарь работает в вашем браузере, поэтому ID и количество токенов совпадают с кодировщиком. Claude, Gemini и общий вариант — приближения на основе откалиброванной локальной эвристики. Они дают только оценку количества, всегда помечены как «Приближение» и не показывают границы токенов, потому что их токенизаторы недоступны локально. Модели, которых нет в списке, не поддерживаются.
Байты, эмодзи и многоязычный текст
Токены — это последовательности байтов, а не символы. Эмодзи или символ нелатинской письменности может разделиться на несколько токенов; каждый из них содержит лишь часть символа и по отдельности декодируется как символ замены. Инструмент объединяет такие токены в один фрагмент, перечисляет все их ID и сохраняет точные смещения в байтах.
Сравнение токенизаторов
Выберите второй токенизатор в поле «Сравнить с», чтобы увидеть оба итога, разницу и изменение в процентах. Это помогает понять, насколько смена модели меняет размер промпта; сравнение с приближением носит лишь ориентировочный характер.
Конфиденциальность и ограничения
Токенизация выполняется локально в фоновом worker, а текст нигде не сохраняется и никуда не отправляется. Текст до 50 000 символов обновляется в реальном времени; более длинный текст, до 2 МБ, обрабатывается по кнопке «Токенизировать». В представлении отображаются первые 5 000 токенов, а подсчёт и копируемые списки включают все токены. Подсчёт учитывает только исходный текст, без форматирования сообщений и специальных токенов, которые добавляет API.
