토큰화 (Tokenization)
인공지능 모델이 자연어를 이해하고 계산할 수 있도록 문장을 잘게 쪼개어 토큰 단위로 나누는 전처리 과정입니다.
토큰화(Tokenization)란 인공지능이 사람의 글을 계산하고 이해할 수 있도록 문장을 더 작은 조각인 토큰(Token)으로 나누는 전처리 과정입니다. 대형 언어 모델은 사람이 쓰는 활자 자체를 직접 읽는 것이 아니라, 문장을 수치화된 고유 번호 목록으로 변환하여 받아들이는데, 그 번호를 붙이기 전 단계가 바로 텍스트를 적절한 크기로 자르는 토큰화입니다.
인공지능을 다룰 때 토큰화는 단순한 첫걸음을 넘어 모델의 성능과 응답 속도, 사용 비용을 결정하는 핵심 축으로 작동합니다.
단어 사전과 서브워드: 토큰을 자르는 규칙
토큰화는 모델을 처음 학습시킬 때 정해 둔 거대한 단어 사전을 기준으로 이루어집니다. 자주 쓰이는 표현이나 일반적인 단어는 통째로 하나의 토큰을 배정받지만, 드물게 쓰이는 단어나 신조어, 오타가 섞인 단어는 더 작은 글자 조각(서브워드)으로 잘게 쪼개집니다.
예를 들어 일상적으로 널리 쓰이는 표현은 사전에 한 번에 등록되어 있어 하나의 번호로 변환됩니다. 반면 복잡한 고유명사나 사전에 없는 조합은 여러 개의 조각으로 쪼개져 처리됩니다. 모델 내부의 사전 크기는 무한하지 않기 때문에, 이러한 분할 방식을 통해 사전의 크기를 적절히 유지하면서도 세상의 모든 단어를 표현할 수 있게 만듭니다.
한국어에서 토큰화가 유독 까다로운 이유
한국어는 단어 뒤에 조사나 어미가 유기적으로 붙는 교착어 구조를 띱니다. 띄어쓰기 규칙이 비교적 엄격한 영어와 달리 한국어는 띄어쓰기 하나에 따라 의미가 달라지거나, 어간에 다양한 조사가 덧붙으면서 무수히 많은 변형이 생깁니다.
서울 성동구 성수동의 어느 카페 키오스크에 적힌 '성수동카페에서'라는 문구를 생각해보겠습니다. 영어 모델 기반의 사전으로 이를 자르면 '성수동', '카페', '에서'로 깔끔하게 떨어지지 않고 무의미한 음절 단위나 바이트 단위로 잘게 부서지는 현상이 벌어집니다. 반면 한국어의 특성을 깊이 고려한 모델은 어간과 조사를 논리적으로 분리해 토큰 개수를 절약하고 의미 왜곡을 줄입니다. 다국어 기반 모델에서 한국어 입력 시 유독 글자 수 대비 많은 토큰이 소모되는 이유도 바로 여기에 있습니다.
인공지능이 글자 수를 세지 못하는 이유
토큰화 방식을 이해하면 인공지능이 가끔 보이는 기묘한 오류들의 원인을 쉽게 알 수 있습니다. 대표적인 사례가 특정 단어의 철자 수를 정확히 세지 못하거나, 끝말잇기 놀이에서 어색한 실수를 저지르는 경우입니다.
인공지능은 텍스트를 개별 자음이나 모음 단위로 보는 것이 아니라, 통째로 묶인 토큰 덩어리로 인식합니다. 마치 사람이 한자 단어를 보고 획수를 즉각 세지 못하는 것처럼, 모델에게도 단어는 쪼개진 덩어리들의 조합일 뿐입니다. 또한 한 글자만 틀린 오타가 발생해도 완전히 다른 토큰들의 조합으로 분해되기 때문에, 사소한 맞춤법 오류 하나가 모델의 추론 방향을 크게 흔들어 놓기도 합니다.
문맥 공간과 비용을 절약하는 실전 작성법
토큰 수가 늘어난다는 것은 모델의 기억 공간(컨텍스트 윈도우)을 그만큼 낭비하고, 처리 비용을 더 지불해야 한다는 뜻입니다. 효율적인 결과물을 얻기 위해 다음 원칙을 지키는 것이 좋습니다.
- 불필요한 공백과 줄바꿈 정리: 연속된 공백이나 무의미하게 반복된 줄바꿈 기호는 독자적인 토큰을 차지하므로 전송 전 깔끔히 다듬습니다.
- 맞춤법과 표준어 준수: 인터넷 신조어나 맞춤법이 틀린 표현은 여러 개의 서브워드로 쪼개져 불필요한 토큰 낭비를 유발합니다.
- 중복된 지시문 압축: 프롬프트 안에서 비슷한 명령을 길게 반복하기보다 명확한 핵심 명사 위주로 간결하게 정리합니다.
- 정형화된 서식 활용: 긴 서술형 텍스트 대신 쉼표나 기호로 구분된 데이터 구조를 사용하면 모델이 적은 토큰으로도 관계를 빠르게 파악합니다.
자주 묻는 질문
한국어는 왜 영어보다 토큰이 더 많이 나오나요?
대다수 글로벌 모델의 사전이 영어 데이터를 중심으로 설계되었기 때문입니다. 영어는 온전한 단어 하나가 1토큰으로 잡히는 경우가 많지만, 한국어는 알파벳에 비해 사전 등록 비중이 낮아 한 글자가 서너 조각으로 쪼개지기 쉽습니다.
오타가 있으면 토큰 수가 왜 늘어나나요?
모델의 사전에 등록되지 않은 생소한 글자 조합으로 인식되기 때문입니다. 사전에 없는 단어는 인공지능이 처리할 수 있는 가장 작은 문자 단위나 바이트 단위로 잘게 분해되므로 토큰 수가 급격히 증가합니다.
토큰화 방식에는 어떤 종류가 있나요?
단어를 띄어쓰기 기준으로 나누는 단어 단위, 글자 하나씩 나누는 문자 단위, 그리고 둘의 장점을 섞어 자주 나오는 글자 묶음을 추출하는 서브워드(Subword) 분할 방식 등이 있습니다. 현대 언어 모델은 대부분 서브워드 방식을 채택합니다.
