Explorador de tokenizadores de IA
Mira cómo el texto se convierte en tokens, con ID, bytes y desplazamientos
Pega texto o carga un ejemplo para ver sus tokens.
Los recuentos cubren solo el texto sin procesar. No incluyen el formato de los mensajes de chat ni los tokens especiales que añade una API. Divide este tipo de texto en fragmentos con RAG Chunker · Estimar el coste de la API
Herramientas relacionadas
Qué muestra el explorador
El explorador de tokenizadores de IA divide tu texto con las mismas codificaciones byte-pair que usan los modelos de OpenAI (o200k_base y cl100k_base) y dibuja cada token como un tramo. Selecciona un token para ver su ID, el texto decodificado, los bytes en hex, su rango de bytes UTF-8 y los caracteres que abarca. Las estadísticas muestran el número de tokens, caracteres, bytes UTF-8 y caracteres por token.
Recuentos exactos y aproximados
o200k_base y cl100k_base son exactos: el vocabulario publicado se ejecuta en tu navegador, así que los ID y los recuentos coinciden con el codificador. Claude, Gemini y la opción genérica son aproximaciones basadas en una heurística local calibrada. Solo dan un recuento estimado, siempre llevan la etiqueta Aproximación y nunca muestran límites de tokens, porque sus tokenizadores no están disponibles localmente. Los modelos que no aparecen en la lista no son compatibles.
Bytes, emoji y texto en varios idiomas
Los tokens son secuencias de bytes, no caracteres. Un emoji o un carácter de un alfabeto no latino puede repartirse entre varios tokens; cada uno contiene solo una parte del carácter y, por separado, se decodifica como el carácter de reemplazo. El explorador agrupa esos tokens en un solo tramo, enumera todos sus ID y conserva los desplazamientos exactos en bytes.
Comparar tokenizadores
Elige un segundo tokenizador en Comparar con para ver ambos totales, la diferencia y la variación porcentual. Sirve para ver cuánto afecta un cambio de modelo al tamaño del prompt; una comparación que incluye una aproximación es solo orientativa.
Privacidad y límites
La tokenización se ejecuta localmente en un worker en segundo plano y tu texto nunca se guarda ni se envía a ningún sitio. El texto de hasta 50.000 caracteres se actualiza en vivo; el texto más largo, hasta 2 MB, se procesa al pulsar Tokenizar. La vista muestra los primeros 5.000 tokens, mientras que los recuentos y las listas copiadas incluyen todos. Los recuentos cubren solo el texto sin procesar, sin el formato de mensajes ni los tokens especiales que añade una API.
