RAG 청커
문서를 토큰, 문장 또는 Markdown 구조에 따라 검색용 청크로 나누고 겹침을 확인하세요
의미 기반 청크 분할은 하지 않습니다. 경계는 의미가 아니라 문자, 토큰, 텍스트 구조를 따릅니다.
JSON, JSONL, CSV는 CodingTool 필드(id, text, startChar, endChar, tokens, metadata)를 사용하며 LangChain이나 LlamaIndex 형식이 아닙니다.
RAG Chunker란?
RAG Chunker는 검색 증강 생성(RAG)이나 임베딩을 위해 색인하기 전에 문서가 어떻게 나뉘는지 보여 줍니다. 고정 문자 수나 토큰 수, 문장, 문단, 재귀 구분자, Markdown 인식 분할 중에서 선택하고, 각 청크의 문자 범위, 정확한 토큰 수, 이웃 청크와의 겹침, 제목 경로를 확인하세요. 통계에는 청크 수, 전체·평균·중앙값 토큰, 가장 작은 청크와 가장 큰 청크, 겹침으로 중복되는 텍스트의 양이 표시됩니다.
사용 방법
- 1.Markdown이나 일반 텍스트를 붙여 넣거나 .md, .txt 파일 또는 예제를 불러옵니다.
- 2.전략을 고르고 청크 크기와 겹침을 문자 또는 토큰 단위로 설정합니다.
- 3.토큰 단위라면 o200k_base 또는 cl100k_base를 선택합니다. 개수는 정확합니다.
- 4.통계와 청크 카드를 검토합니다. 강조된 텍스트는 이웃 청크와 공유됩니다.
- 5.고급에서 재귀 구분자를 편집하거나 최소 청크 크기를 정하거나 제목 경로를 유지합니다.
- 6.청크를 일반 텍스트, Markdown, JSON, JSONL, CSV로 복사하거나 다운로드합니다.
정확도와 제한
모든 청크는 문서를 정확히 잘라 낸 조각이므로 문자 범위는 항상 원문을 가리킵니다. 토큰 단위 크기와 겹침은 선택한 정확한 토크나이저로 측정하며 문자 수로 추정하지 않습니다. Claude, Gemini, 일반 항목은 추정치이며 문자 단위 크기에서만 제공됩니다. 청크 크기보다 큰 블록, 단어, 토큰 하나는 별도의 청크가 되고 크기 초과로 표시됩니다. 의미 기반이나 임베딩 기반 분할은 하지 않으며, ATX 제목(#로 시작하는 줄)은 인식하지만 밑줄형 제목은 인식하지 않습니다. 내보내기는 LangChain이나 LlamaIndex 스키마가 아닌 CodingTool 필드를 사용합니다. 최대 5 MB의 문서를 백그라운드 worker에서 로컬로 처리합니다.
