Tokenization(分詞 / 斷詞處理)
Tokenization 是 AI 模型將人類輸入的自然語言文本,依照預設詞彙表切割成最小語意片段(Token)的基礎預處理技術。
Tokenization(斷詞處理)是自然語言處理與大型語言模型理解人類對話的第一道工序。簡單來說,它就像是一把精準的文字切刀,負責將長篇大論的句子、標點符號甚至是程式碼,依照模型在訓練期間建立好的詞彙庫,切割成一個個被稱為「Token」的基礎片段,再轉換為電腦能夠進行數學運算的數字編號。
電腦本質上無法直接感應「文字的情緒」或「字面的意義」,它只能理解數值。當我們在聊天視窗輸入一句話時,背後的 Tokenizer(斷詞器)會先將這串文字拆解,模型才有辦法依序計算下一個最可能出現的詞,最後再將產生的 Token 還原為我們讀得懂的語言。
Tokenizer 的運作原理:常見詞成塊,生僻詞拆解
大型語言模型使用的斷詞演算法,通常不是單純按照字典查單字,也不是完全逐字切分,而是採用「子詞(Subword)」切分機制。詞彙庫的容量有限,因此系統會保留最常出現的高頻詞彙,而遇到罕見詞或拼錯的字時,則將其拆成更小的字根或甚至單一字元。
如果一個字詞非常普及,它在斷詞庫裡就會擁有專屬的位置,只佔用一個 Token;相反地,冷門詞彙、特殊術語或錯字,因為在訓練資料中少見,就必須被拆成兩到三個以上的零碎片段組合而成。
在地視角:從珍珠奶茶與夜市菜單看斷詞差異
以台灣的日常生活情境為例,若你在提示詞中寫入「我要一杯珍珠奶茶微糖去冰」:
- 高頻常見詞:像「珍珠奶茶」、「去冰」等極為常見的組合,在訓練良好的中文斷詞庫中,往往能被直接視為獨立單位,有效壓縮處理空間。
- 地名與混雜語境:若輸入「高雄六合夜市的土魠魚羹」,其中的「土魠魚」屬於較具地方特色的飲食名稱,若詞庫沒有完整收錄,系統可能會被迫拆解為「土」、「魠」、「魚」三個獨立片段,甚至其中的罕見字還需要多個編碼才能呈現。
這也解釋了為什麼繁體中文在某些以英文為主的模型中,消耗的 Token 數量往往高於相同語意的英文句子。英文單字常以詞根切分,而繁體中文若在詞庫內涵蓋不足,就容易落入「一字多切」的窘境,進而佔用更多模型記憶空間。
為什麼 AI 總是數不清單字有幾個字母?
許多人初次接觸生成式 AI 時,常會發現模型連算單字有幾個字母、或者數一段中文有幾句話都會出錯。這項盲點的根本原因就是 Tokenization。因為模型眼裡看到的從來不是一個個獨立的字母或中文字筆畫,而是一個個打包好的 Token 代碼。除非該單字恰好被拆解成個別字母,否則模型只能從代表整組詞彙的編號去猜測結構,自然容易產生計算偏差。
實務技巧:如何精準控制斷詞量與提示詞品質
了解斷詞原理後,在日常使用或串接系統時,可以掌握以下幾項原則來提升效率並節省額外負擔:
- 減少錯字與火星文:打錯字會破壞原本的高頻詞結構,迫使斷詞器將其切成多個破碎符號,白白浪費對話額度。
- 剔除冗贅格式:不必要的連續空格、大量重複的驚嘆號或特殊裝飾字元,在斷詞時都會被視為獨立片段計算。
- 繁體與專有名詞清楚明確:面對公家機關名稱(如:衛福部健保署)或特定學校(如:成功大學),使用標準稱呼能讓斷詞器更準確識別,減少拆解誤差。
常見誤解:斷詞就等於空白鍵切字嗎?
最常見的迷思是誤以為斷詞處理只是「遇到空格就切開」。西方語言或許有空白做為天然邊界,但繁體中文、日文等東亞語言,詞與詞之間緊密相連。如果只靠空格,中文根本無法被模型理解。因此,現代的 Tokenizer 是基於統計機率與演算法,在數十億句子的文本海中找出最適當的切分路徑,它絕非簡單的空白鍵切割工具,而是支撐整套 AI 語意理解體系的基礎積木。
常見問題
tokenization 是什麼?
Tokenization 是 AI 處理文本的前置步驟,負責將人類寫出的長句、標點或程式碼,依據詞庫規則切割成模型能運算的一塊塊微小單位(Token)。
為什麼同樣意思的句子,中文消耗的 Token 常常比英文多?
多數國際模型的基礎詞彙庫以英文資料為主,英文常見詞的收錄較齊全;繁體中文若在詞庫中收錄不足,單一中文字就可能被拆分成多個子詞片段,導致計算數量增加。
標點符號和換行符號也會被斷詞處理嗎?
會。逗號、句號、換行以及特殊的程式符號都會經過斷詞器處理,並各自佔用相對應的 Token 數量。
斷詞處理是在模型產生回答時發生的嗎?
斷詞發生在模型運算之前與之後。輸入時,Tokenizer 先把文字切片並編碼給模型思考;模型輸出答案時,也是先吐出 Token 編號,再解碼組裝回人類看得懂的文字。
