Ile tokenów ma polski tekst i dlaczego płacisz za niego więcej
Model nie liczy liter ani słów, tylko tokeny. Polszczyzna dzieli się na nie gorzej niż angielski, więc ta sama treść kosztuje u nas więcej i szybciej wypełnia okno kontekstu. Pokazuję, skąd to się bierze i jak to policzyć na własnym tekście.
👁 168 przeczytań
- Polskie słowa zajmują więcej tokenów niż angielskie, bo fleksja i ogonki rzadko mają własny token w słowniku - rozpadają się na 2-4 kawałki.
- Tokeny wyjściowe kosztują u większości dostawców kilkukrotnie więcej niż wejściowe, co oznacza inną ekonomię dla streszczania i dla generowania tekstu.
- Prompt systemowy leci przy każdym wywołaniu API, a w niektórych wdrożeniach ta jedna pozycja zjadała ponad połowę faktury.
Pierwszy rachunek za API, który mnie zaskoczył, dotyczył prostego zadania: streszczania polskich artykułów. Liczba znaków zgadzała się z tym, co zakładałem, liczba wywołań też, a kwota wyszła wyraźnie wyższa. Powód okazał się banalny i nie miał nic wspólnego z cennikiem. Modele nie rozliczają się od znaków ani od słów, tylko od tokenów, a polszczyzna dzieli się na tokeny gorzej niż angielski.
Czym jest token, jeśli pominąć wykład
Token to kawałek tekstu, na który model tnie wejście, zanim cokolwiek z nim zrobi. Czasem to całe słowo, czasem sylaba, czasem pojedyncza litera albo sama spacja. Podział nie jest przypadkowy: powstaje ze statystyki tekstu, na którym budowano słownik. Sekwencje, które w tym tekście występowały często, dostały własny token. Rzadkie rozpadają się na kawałki.
To jedno zdanie wyjaśnia całą resztę. W korpusach treningowych angielszczyzna ma miażdżącą przewagę, więc częste angielskie słowa mają swój jeden token. Polskie słowo z ogonkiem, przedrostkiem i końcówką fleksyjną najczęściej takiego tokenu nie ma, bo w statystyce było zbyt rzadkie. Rozpada się na dwa, trzy, czasem cztery kawałki.
Ile to konkretnie kosztuje
Nie podam jednej liczby, bo zależy od tekstu. Krótkie zdania z popularnych słów wypadają lepiej, teksty specjalistyczne z odmianą przez przypadki wypadają gorzej. Zamiast wierzyć mi na słowo, wklej własny fragment do licznika tokenów. Liczenie idzie tym samym tokenizatorem, którego używają modele rodziny GPT, i dzieje się w Twojej przeglądarce, więc możesz spokojnie wrzucić tam prompt systemowy z firmowymi danymi.
W tym samym narzędziu mam gotowe porównanie na parze, której nikt nie może podważyć: pierwszy artykuł Powszechnej deklaracji praw człowieka w wersji polskiej i angielskiej. To jest ten sam tekst w dwóch językach, przetłumaczony przez ludzi, nie przeze mnie. Przepuszczam obie wersje przez ten sam tokenizator i pokazuję wynik obok siebie. Możesz też podstawić własną parę i sprawdzić, ile wychodzi na Twoich materiałach.
Drugi koszt, o którym mało kto myśli
Pieniądze to połowa sprawy. Druga połowa to okno kontekstu, czyli ile tekstu model w ogóle jest w stanie wziąć pod uwagę naraz. Jeśli polski tekst zajmuje więcej tokenów, to szybciej wypełnia to okno. Przy dokumencie, który po angielsku zmieściłby się z zapasem, po polsku możesz uderzyć w limit.
Do tego dochodzi rzecz, której specyfikacje nie mówią wprost: jakość odpowiedzi spada, zanim okno się zapełni. Z moich obserwacji przy przekroczeniu mniej więcej połowy deklarowanego okna model zaczyna gubić szczegóły z początku materiału. Nie jest to twarda granica ani liczba z benchmarku, tylko praktyczna wskazówka: jeśli zależy Ci na precyzji, nie dowoź kontekstu pod korek.
Co z tym realnie zrobić
Pierwsza pokusa to przetłumaczyć prompt na angielski. Robiłem tak i przestałem. Owszem, wejście robi się tańsze, ale odpowiedź po polsku i tak trzeba dostać, więc oszczędność jest połowiczna, a jakość polskiego wyniku przy angielskim poleceniu bywa gorsza, zwłaszcza przy tekstach, które mają brzmieć naturalnie.
Rzeczy, które działają, są mniej efektowne. Przycinanie promptu systemowego, bo w wielu wdrożeniach to on jest najdroższą częścią: leci z każdym pojedynczym zapytaniem. Nieprzesyłanie całej historii rozmowy, kiedy wystarczy ostatnia wymiana. Wycinanie stopek, nawigacji i śmieci z materiału, który wklejasz do analizy. Wybór modelu do zadania, a nie do wszystkiego, bo różnica w stawce między modelem najtańszym a flagowym potrafi być dziesięciokrotna.
Gdzie sprawdzić stawki
Nie przepłacaj za te subskrypcje
Prowadzę sklep z rocznymi dostępami do narzędzi AI - te same konta, o których piszę wyżej, tylko taniej niż w cenniku producenta.
Cen nie zapisuję w tekstach, bo zmieniają się częściej, niż zdążę je poprawić. Aktualne stawki wraz z przeliczeniem po kursie średnim Narodowego Banku Polskiego trzymam na stronie kosztów AI i to samo źródło zasila kalkulatory w narzędziach. Dzięki temu liczba, którą widzisz w liczniku tokenów, jest tą samą liczbą, którą zapłacisz.
Jeśli po drodze złapiesz się na tym, że nie wiesz, czy w ogóle potrzebujesz najdroższego modelu, sprawdź to osobno w doradcy modeli. Sześć pytań i konkretna odpowiedź, zamiast wybierania po nazwie.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Policz rachunek, zanim go dostaniesz
Prosty rachunek, który warto zrobić raz przy każdym wdrożeniu. Weź swój prompt systemowy, policz jego tokeny i pomnóż przez liczbę zapytań, które przewidujesz na miesiąc. To jest koszt, który ponosisz zawsze, niezależnie od tego, o co pytają użytkownicy, bo prompt systemowy leci przy każdym pojedynczym wywołaniu. Widziałem wdrożenia, w których ta jedna pozycja zjadała ponad połowę faktury, a jej skrócenie o jedną trzecią nie odbiło się na jakości odpowiedzi w żaden mierzalny sposób.
Druga rzecz, która lubi zaskakiwać: tokeny wyjściowe kosztują u większości dostawców kilkukrotnie więcej niż wejściowe. To znaczy, że zadanie, w którym model dostaje krótkie polecenie i pisze długi tekst, ma zupełnie inną ekonomię niż zadanie, w którym dostaje długi dokument i odpowiada jednym zdaniem. Przy streszczaniu płacisz głównie za wejście, przy generowaniu głównie za wyjście. Jeśli prosisz model o odpowiedź w konkretnej długości, robisz to nie tylko dla siebie, ale i dla rachunku.
W liczniku tokenów obie te rzeczy są w kalkulatorze pod tabelą: podajesz, ile razy wyślesz tekst i jak długiej odpowiedzi się spodziewasz, a dostajesz kwotę w złotówkach dla każdego modelu z osobna. To zajmuje minutę i zwykle zmienia decyzję o tym, którego modelu użyć.
Polszczyzna kosztuje w AI więcej i na razie nic tego nie zmieni. Można to tylko policzyć i wziąć pod uwagę, zamiast odkrywać na fakturze.
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →Najczęstsze pytania
Dlaczego płacę więcej za przetwarzanie polskiego tekstu przez API niż angielskiego?
Polskie słowa rozpadają się na więcej tokenów, bo w korpusach treningowych dominuje angielski i polskie wyrazy z ogonkami, przedrostkami i końcówkami fleksyjnymi rzadko mają własny token. Jedno polskie słowo może kosztować 2-4 tokeny zamiast jednego.
Co to jest token w modelach językowych?
Token to kawałek tekstu, na który model tnie wejście przed przetworzeniem - może to być całe słowo, sylaba, pojedyncza litera albo sama spacja. Podział zależy od statystyki tekstu użytego do budowy słownika, więc częste angielskie słowa dostają jeden token, a rzadkie rozpadają się na kawałki.
Czy przetłumaczenie promptu na angielski obniży koszty API?
Oszczędność jest połowiczna, bo odpowiedź po polsku i tak trzeba dostać, a jakość polskiego wyniku przy angielskim poleceniu bywa gorsza - szczególnie gdy tekst ma brzmieć naturalnie. Skuteczniejsze jest przycinanie promptu systemowego i wycinanie zbędnych elementów z przesyłanego materiału.
Jak okno kontekstu modelu wiąże się z tokenami w polskim tekście?
Polski tekst zajmuje więcej tokenów, więc szybciej wypełnia okno kontekstu - dokument, który po angielsku zmieściłby się z zapasem, po polsku może uderzyć w limit. Z obserwacji autora przy przekroczeniu mniej więcej połowy deklarowanego okna model zaczyna gubić szczegóły z początku materiału.
Podobne tematy na Promptowym
