AI 토크나이저 탐색기
텍스트가 토큰이 되는 과정을 ID, 바이트, 오프셋과 함께 확인
텍스트를 붙여넣거나 예제를 불러와 토큰을 확인하세요.
개수는 원본 텍스트만 대상으로 합니다. 채팅 메시지 형식과 API가 추가하는 특수 토큰은 포함되지 않습니다. RAG Chunker로 이런 텍스트를 청크로 나누기 · API 비용 추정
이 도구가 보여 주는 것
AI 토크나이저 탐색기는 OpenAI 모델이 사용하는 것과 같은 byte-pair encoding(o200k_base, cl100k_base)으로 텍스트를 나누고 각 토큰을 스팬으로 표시합니다. 토큰을 선택하면 ID, 디코딩된 텍스트, hex로 표시한 바이트, UTF-8 바이트 범위, 해당 문자를 확인할 수 있습니다. 통계에는 토큰 수, 문자 수, UTF-8 바이트, 토큰당 문자 수가 표시됩니다.
정확한 개수와 근사치
o200k_base와 cl100k_base는 정확합니다. 공개된 어휘가 브라우저에서 실행되므로 토큰 ID와 개수가 인코더와 일치합니다. Claude, Gemini, 일반 옵션은 보정된 로컬 휴리스틱에 기반한 근사치입니다. 추정 개수만 제공하고 항상 근사치로 표시되며, 해당 토크나이저를 로컬에서 사용할 수 없어 토큰 경계를 보여 주지 않습니다. 목록에 없는 모델은 지원되지 않습니다.
바이트, 이모지, 다국어 텍스트
토큰은 문자가 아니라 바이트 시퀀스입니다. 이모지나 라틴 문자가 아닌 글자는 여러 토큰으로 나뉠 수 있으며, 각 토큰은 문자의 일부만 담고 있어 단독으로 디코딩하면 대체 문자가 됩니다. 이 도구는 이런 토큰을 하나의 스팬으로 묶고 모든 ID를 나열하며 정확한 바이트 오프셋을 유지합니다.
토크나이저 비교
비교 대상에서 두 번째 토크나이저를 선택하면 두 합계, 차이, 변화율을 볼 수 있습니다. 모델을 바꿀 때 프롬프트 크기가 얼마나 달라지는지 파악하는 데 유용하며, 근사치가 포함된 비교는 참고용입니다.
개인정보 보호와 제한
토큰화는 백그라운드 worker에서 로컬로 실행되며 텍스트는 저장되거나 어디로도 전송되지 않습니다. 50,000자까지의 텍스트는 실시간으로 업데이트되고, 그보다 긴 텍스트(최대 2 MB)는 토큰화를 선택하면 처리됩니다. 화면에는 처음 5,000개 토큰이 표시되지만 개수와 복사한 목록에는 모든 토큰이 포함됩니다. 개수는 원본 텍스트만 대상으로 하며 API가 추가하는 메시지 형식이나 특수 토큰은 포함하지 않습니다.
