토큰 (Token)
인공지능 언어 모델이 글을 읽고 쓸 때 문장을 잘게 쪼개어 처리하는 가장 기초적인 데이터 단위입니다.
토큰(Token)이란 대형 언어 모델(LLM)이 인간의 언어를 인식하고 처리할 때 사용하는 가장 작은 글자 조각 단위를 뜻합니다. 인공지능은 문장을 통째로 이해하거나 한 글자 단위로 읽지 않고, 단어, 형태소, 혹은 몇 개의 철자가 묶인 토큰 단위로 글을 잘게 나누어 계산합니다. 일상에서 사용하는 화폐처럼, 토큰은 인공지능이 글을 입력받고 답변을 출력할 때 소모되는 기본 단위 역할을 합니다.
챗GPT 같은 생성형 AI를 사용할 때 대화가 길어지면 이전 내용을 잊어버리거나 글 작성이 중간에 끊기는 현상을 경험하게 됩니다. 이는 AI의 기억 용량인 컨텍스트 창(Context Window)이 문자 수나 단어 수가 아니라 바로 토큰 수로 제한되어 있기 때문입니다.
토큰은 어떻게 나뉘는가: 단어와 글자의 중간 개념
영어에서는 대략 하나의 단어가 1개에서 2개 안팎의 토큰으로 쪼개집니다. 띄어쓰기나 구두점도 독립된 토큰으로 처리되는 경우가 많습니다. 인공지능은 문맥 속에서 자주 함께 쓰이는 글자 덩어리를 묶어서 하나의 토큰으로 기억하기 때문에, 자주 등장하는 표현일수록 적은 수의 토큰으로 변환됩니다.
반면 한국어는 구조적인 이유로 토큰 수가 더 많이 소모됩니다. 한국어는 어근에 조사와 어미가 붙는 교착어이며, 자음과 모음이 결합해 한 음절을 이루는 복잡한 체계를 지니고 있습니다. 영어를 기준으로 학습된 모델 체계에서는 한국어 한 글자가 여러 개의 토큰으로 쪼개지기도 하므로, 같은 뜻의 문장이라도 영어보다 한국어가 더 많은 토큰을 소모하는 경향이 있습니다.
동네 가게 사장님의 예시로 보는 토큰 계산
예를 들어 서울 마포구에서 작은 베이커리를 운영하는 사장님이 네이버 스마트스토어 상세페이지나 인스타그램에 올릴 신제품 홍보 문구를 AI로 작성한다고 가정해 보겠습니다.
- 영어 문장 입력:
Freshly baked bread every morning.이 문장은 공백과 단어를 합쳐 약 6개의 토큰으로 변환됩니다. - 한국어 문장 입력:
매일 아침 갓 구워낸 신선한 빵을 준비합니다.이 문장은 글자 수는 비슷해 보이지만, '구워낸', '빵을', '준비합니다'처럼 어간과 조사가 결합된 표현 때문에 약 15개 이상의 토큰으로 계산될 수 있습니다.
결과적으로 같은 정보를 전달하더라도 한국어 프롬프트를 보낼 때 모델이 처리해야 하는 데이터 덩어리가 더 커지며, 이는 질문을 보낼 때와 답변을 받을 때 모두 동일하게 적용됩니다.
토큰이 AI 환경에서 중요한 이유
토큰은 AI 서비스의 성능과 운영 비용 전반을 결정짓는 핵심 기준입니다.
- 컨텍스트 창의 한계: 모델이 한 번에 기억할 수 있는 입력과 출력의 합계는 토큰으로 정해져 있습니다. 긴 계약서나 주민센터 공지문을 요약할 때 본문이 제한 토큰을 넘어서면 뒷부분을 아예 읽지 못합니다.
- API 이용 비용: 개발자나 기업이 AI 모델을 연결해 앱을 만들 때 부과되는 비용은 호출 횟수가 아니라 '입력 토큰'과 '출력 토큰'의 양을 기준으로 정산됩니다.
- 응답 속도: 생성해야 하는 출력 토큰 수가 많을수록 AI가 계산해야 하는 연산량이 늘어나 답변이 완성되는 시간이 길어집니다.
토큰 수 계산 시 흔히 하는 실수
가장 흔한 실수는 한글 글자 수 세기 프로그램의 결과를 토큰 수와 동일하게 생각하는 것입니다. 한국어 1,000자는 토큰 계산기로 측정했을 때 모델의 어휘집 구성에 따라 1,500토큰에서 많게는 2,500토큰까지 늘어날 수 있습니다.
또한 불필요한 줄바꿈, 특수문자, 과도한 이모티콘을 남발하면 의미 전달과 상관없이 토큰이 낭비됩니다. 효율적으로 질문을 구성하려면 핵심 정보 위주로 문맥을 간결하게 다듬고, 긴 문서를 다룰 때는 장이나 절 단위로 문서를 나누어 입력하는 습관이 필요합니다.
자주 묻는 질문
글자 수와 토큰 수는 왜 다른가요?
글자 수는 눈에 보이는 낱자 하나하나를 센 것이지만, 토큰은 인공지능이 통계적으로 자주 함께 등장하는 음절이나 단어 덩어리를 묶어서 자른 데이터 조각이기 때문에 숫자가 일치하지 않습니다.
한국어로 질문하면 비용이 더 많이 드나요?
대부분의 인공지능 모델 어휘집이 영어 중심으로 구성되어 있어 한국어 문장은 같은 의미의 영어 문장보다 더 많은 토큰으로 쪼개집니다. 따라서 토큰 단위로 비용을 정산하는 API를 사용할 때는 한국어 텍스트가 상대적으로 더 많은 비용을 소모합니다.
토큰 수를 미리 확인하려면 어떻게 하나요?
각 AI 서비스 개발사에서 공식 제공하는 토큰 계산기 웹 도구에 텍스트를 붙여넣으면 문장이 몇 개의 토큰으로 쪼개지는지 색상별로 시각화하여 바로 확인할 수 있습니다.
