🧩 토크나이저: AI가 텍스트를 보는 방법
AI는 글자와 단어를 읽지 않습니다. 그는 "토큰"(텍스트 조각)을 봅니다. 무엇이든 붙여넣고 텍스트가 어떻게 토큰으로 바뀌는지 확인하세요.
Клубника·—·strawberry.·Сколько·в·ней·букв·«r»?·🍓
17 토큰49 문자2.9 캐릭터/토큰
🍓 AI가 글자 수를 셀 수 없는 이유
AI의 '딸기'는 10자가 아닌 2~3개의 토큰입니다. 그는 토큰 안에 있는 개별 문자 "r"을 볼 수 없으므로 문자 수를 세는 데 종종 실수를 합니다. 이제 그 이유를 알 수 있습니다.
💸 귀하의 언어가 "더 비쌀" 수 있습니다.
다른 언어의 동일한 문구 = 다른 수의 토큰. 러시아어와 많은 언어는 종종 영어보다 "더 비쌉니다". 토큰이 많을수록 AI에는 더 비싸고 속도가 느려집니다. 바라보다:
EN 🇬🇧
8
RU 🇷🇺
14
中文 🇨🇳
8
🧠 상황 창: AI가 '잊는' 이유
AI는 제한된 메모리, 즉 "컨텍스트 창"을 가지고 있습니다. 토큰이 너무 많으면 가장 오래된 토큰이 날아가고 AI는 대화의 시작을 "잊습니다".
17 / 8,000 사용된 토큰