Na ile tokenów model Qwen 3.8 Max rozbija słowo „niezależność"?
Model nie widzi liter ani słów, tylko tokeny ze swojego słownika. Angielski odpowiednik, „independence", zajmuje u niego 1 token.
Poprawna odpowiedź: 2. Zmierzyłem to, wysyłając słowo w dwudziestu powtórzeniach i dzieląc wynik przez dwadzieścia, żeby narzut techniczny zapytania nie zaburzył pomiaru. Angielskie słowo mieści się prawie zawsze w jednym tokenie, polskie potrzebuje od dwóch do dziesięciu. To jest właśnie ten podatek, który płacisz za pisanie po polsku.
Skąd to wiem: Polski podatek tokenowy, cztery pomiary na pięciu modelach
seria: 0
trafione: 0 / 0