Na ile tokenów model Kimi K3 rozbija słowo „współpraca"?
Model nie widzi liter ani słów, tylko tokeny ze swojego słownika. Angielski odpowiednik, „cooperation", zajmuje u niego 3 tokeny.
Poprawna odpowiedź: 7. Zmierzyłem to, wysyłając słowo w dwudziestu powtórzeniach i dzieląc wynik przez dwadzieścia, żeby narzut techniczny zapytania nie zaburzył pomiaru. Angielskie słowo mieści się prawie zawsze w jednym tokenie, polskie potrzebuje od dwóch do dziesięciu. To jest właśnie ten podatek, który płacisz za pisanie po polsku.
Skąd to wiem: Polski podatek tokenowy, cztery pomiary na pięciu modelach
seria: 0
trafione: 0 / 0