Na ile tokenów model Kimi K3 rozbija słowo „przedstawiciel"?
Model nie widzi liter ani słów, tylko tokeny ze swojego słownika. Angielski odpowiednik, „representative", zajmuje u niego 1 token.
Poprawna odpowiedź: 6. Zmierzyłem to, wysyłając słowo w dwudziestu powtórzeniach i dzieląc wynik przez dwadzieścia, żeby narzut techniczny zapytania nie zaburzył pomiaru. Angielskie słowo mieści się prawie zawsze w jednym tokenie, polskie potrzebuje od dwóch do dziesięciu. To jest właśnie ten podatek, który płacisz za pisanie po polsku.
Skąd to wiem: Polski podatek tokenowy, cztery pomiary na pięciu modelach
seria: 0
trafione: 0 / 0