Alfabet łaciński chroni polski przed „podatkiem od tokenizera”. Gorzej mają khmerski i ol chiki
Badanie Coalition for Language Equity in AI Research pokazuje, że w zestawie 200 języków różnica w liczbie tokenów dla tej samej treści sięga siedemnastokrotności. Zestawiłem ten mechanizm z wcześniejszymi pomiarami dla polskiego - i okazuje się, że o wysokości dopłaty decyduje nie liczba użytkowników, lecz to, czy język zapisuje się łacinką.

Spis treści 5
👁 114 przeczytań
Asturyjski ma kilkaset tysięcy użytkowników i w zasadzie nie istnieje w danych z Common Crawl. Mimo to w analizie opublikowanej we wrześniu przez Coalition for Language Equity in AI Research wypada przyzwoicie - tanio, bez wielkiej nadwyżki tokenów. Birmański, tybetański, khmerski, laotański, tifinagh i ol chiki wypadają najgorzej, i to konsekwentnie w prawie wszystkich badanych modelach. Różnica między tymi grupami nie bierze się z liczby mówiących ani z zasobności internetu w danym języku. Bierze się z alfabetu.
Trzy liczby z samego badania
Autorzy nazwali zjawisko „tokenizer tax” - ukrytą dopłatą, którą płaci każdy, kto nie promptuje po angielsku. Tokeny to jednostki, na jakie model dzieli tekst, obraz albo dźwięk, i to od ich liczby zależy rachunek w API, opóźnienie odpowiedzi oraz to, ile historii rozmowy zmieści się w oknie kontekstu.

W zestawie dwudziestu najpopularniejszych języków internetu najdroższy wymagał od półtora do pięciu razy więcej tokenów niż najtańszy - wynika z opisu badania, który 26 października 2026 opublikował Rest of World. Po rozszerzeniu próby do dwustu języków rozpiętość w jednym z modeli urosła siedemnastokrotnie. To już nie jest niuans optymalizacyjny, tylko mnożnik rachunku.
Ilustracją, którą badacze umieścili w pracy, jest jedno zdanie - „People should benefit from AI, regardless of the language they speak” - przepuszczone przez tokenizer OpenAI po angielsku i w malajalam. Angielska wersja rozpada się na rozpoznawalne słowa. Malajalam rozpada się na kilka fragmentów na każde słowo, bez poszanowania granic znaków wielobajtowych. Ten sam sens, dwa zupełnie różne rachunki.
Gdzie w tej skali stoi polski
Zestawiłem wynik badania z pomiarami, które robiłem wcześniej dla polskiego w czterech modelach - wychodziła nadwyżka rzędu czterdziestu procent wobec angielskiego, czasem bliżej trzy- do pięciokrotności przy krótkich, mocno fleksyjnych frazach. Umieszczenie tego na skali CLEAR daje obraz, który mnie zaskoczył: polski jest w dolnej części przedziału „najpopularniejszej dwudziestki”, a nie w okolicach grupy najbardziej poszkodowanej.
Powód jest prozaiczny. Polski zapisuje się łacinką, dzieli trzon leksykalny z angielskim w terminologii technicznej, a ogonki - ą, ć, ę, ł, ń, ó, ś, ź, ż - to pojedyncze znaki dwubajtowe wtopione w słowa, których reszta jest dla tokenizera znajoma. Tokenizer rozbija „przetwarzanie” na kilka kawałków, ale każdy z tych kawałków rozpoznaje. Przy ol chiki czy tifinagh model widzi ciąg znaków, których praktycznie nie spotkał podczas uczenia słownika, więc schodzi do poziomu pojedynczych bajtów. Stąd siedemnastokrotność.
Nie przepłacaj za te subskrypcje
Prowadzę sklep z rocznymi dostępami do narzędzi AI - te same konta, o których piszę wyżej, tylko taniej niż w cenniku producenta.
To przesuwa sens wcześniejszej diagnozy. Polskie firmy płacą dopłatę, ale mieszczą się w tej samej grupie co niemiecki, hiszpański czy turecki - dopłata jest mierzalna i bolesna przy skali, lecz nie dyskwalifikująca. Problem strukturalny, o którym pisze CLEAR, dotyczy języków, które nigdy nie trafiły do słownika tokenizera, i tu polski akurat wygrał los na loterii alfabetu.
Co konkretnie widać w zestawieniu dwóch wymiarów
Poniżej zestawiam dwie zmienne, które badacze rozdzielili: obecność języka w danych treningowych i rodzaj pisma. Przykłady i kierunek wyników pochodzą z pracy CLEAR, pozycję polskiego dodaję na podstawie własnych pomiarów tokenizera.
| Język | Zasób danych w sieci | Pismo | Nadwyżka tokenów |
| Angielski | bardzo duży | łacińskie | punkt odniesienia |
| Polski | średni | łacińskie | umiarkowana |
| Asturyjski | brak w Common Crawl | łacińskie | niewielka |
| Malajalam | średni | malajalam | duża |
| Birmański, tybetański, khmerski | mały | rzadkie w słowniku | skrajna |
Przekątna tej tabeli jest sednem sprawy. Asturyjski i khmerski mają podobnie mizerną obecność w danych, a rozjeżdżają się o rząd wielkości - bo asturyjski, jak piszą autorzy, „korzysta z przewagi pisma łacińskiego, a także z reprezentacji innych pokrewnych języków romańskich, takich jak włoski”. Malajalam ma zasoby porównywalne z niejednym językiem europejskim i mimo to płaci wielokrotność. Zmienną sprawczą jest pismo, nie popularność.
Rachunek, którego nie widać na fakturze
Autorzy badania ujmują skutek biznesowy wprost:
Startup w Bengaluru może płacić dopłatę od każdego promptu i każdej odpowiedzi, podczas gdy jego konkurent w Austin nie płaci. Podatek od tokenizera ma też skutki wykraczające poza koszt. Wyższa liczba tokenów przekłada się na wyższe opóźnienie i mniejszą efektywną pojemność kontekstu. Te kary uderzają najmocniej tam, gdzie moc obliczeniowa i łączność już są ograniczone. Nierówność tokenizacji jest ograniczeniem tego, kto może uczestniczyć w gospodarce AI. - badanie Coalition for Language Equity in AI Research, cytowane przez Rest of World 26 października 2026
Druga część tego cytatu jest ważniejsza od pierwszej, a prawie nikt o niej nie pisze. Koszt za milion tokenów widać w panelu rozliczeniowym i da się go zoptymalizować. Skurczonego okna kontekstu nie widać nigdzie - produkt po prostu działa gorzej, a nikt nie wie dlaczego.
Pratyush Choudhury, współzałożyciel Activate AI - pierwszego indyjskiego funduszu venture capital poświęconego wyłącznie sztucznej inteligencji, który zainwestował między innymi w ElevenLabs, Sarvam i Wispr Flow - opisał to na przykładzie korepetytora. Zapamiętanie wcześniejszych błędów ucznia i udzielonych wyjaśnień jest częścią dobrej lekcji. Jeśli ta historia zżera okno kontekstu dużo szybciej w jednym języku, strata sięga jakości usługi, nie tylko rachunku.
Dla polskiego zespołu budującego asystenta obsługi klienta oznacza to prostą rzecz: przy tym samym limicie kontekstu mieści się mniej historii zgłoszenia niż w wersji anglojęzycznej. Nie dostaniesz komunikatu o błędzie. Dostaniesz model, który „zapomina”, o co klient pytał trzy wiadomości wcześniej, i zaczyna zmyślać - przy czym winę zrzucisz na model, a nie na tokenizer.
Co z tym robią zbieracze danych
Ścieżka naprawy, którą wskazują rozmówcy Rest of World, prowadzi przez dane źródłowe, nie przez negocjowanie cenników. Raoul Nanavati, współzałożyciel i prezes mumbajskiego Navana.ai, wskazał projekt RESPIN - wspólną inicjatywę z Indyjskim Instytutem Nauki finansowaną przez Fundację Gatesów, w której zebrano teksty od rodzimych użytkowników trzydziestu ośmiu dialektów wraz z nagraniami czytanej mowy.
Logika jest taka: skoro tokenizer karze pismo, którego nie widział, to trzeba mu je pokazać w ilości wystarczającej, by trafiło do słownika. To działa tylko wtedy, gdy ktoś kolejnej generacji modelu zbuduje słownik od nowa, uwzględniając te dane. Przy modelach już wytrenowanych - a w cennikach na listopad 2026 stoją GPT-6.1 Sol i Terra, Claude Opus 5.5 i Sonnet 5.5, Gemini 4 Argon i Carbon - słownik tokenizera jest zamrożony. Dopłata zostaje do następnego szkolenia.
Polski kontekst ma tu jeden wymiar praktyczny. Zbiory mowy i tekstu dla polskiego powstają od lat w ramach publicznych projektów językowych, a łacinka już siedzi w każdym tokenizerze - więc marginalna korzyść z kolejnych danych jest dla polskiego mniejsza niż dla khmerskiego. Jeśli polski zespół chce ściąć rachunek, szybciej osiągnie to przez skracanie promptów systemowych i trzymanie instrukcji po angielsku niż przez czekanie na lepszy tokenizer.
Badanie CLEAR obejmuje dwieście języków i udostępnia interaktywne wykresy porównujące modele - kolejnym krokiem, który zapowiada koalicja, jest rozszerzenie analizy o tokenizery multimodalne, gdzie ten sam mechanizm dotyczy obrazu i dźwięku, a nie tylko tekstu.
Źródła:
- Rest of World - AI models cost more when you don’t use English, 26 października 2026
- OpenAI - Tokenizer, sprawdzone 18 listopada 2026

Autor
Twórca i autor Promptowego, polskiego serwisu o sztucznej inteligencji. Codziennie śledzi premiery modeli, narzędzia i regulacje AI, i tłumaczy je prostym, konkretnym językiem.
Czytaj dalej
Magazyn · Birmański i tybetański tracą najwięcej, asturyjski prawie nic - decyduje alfabet, nie liczba użytkownikówBadanie Coalition for Language Equity in AI Research z września 2026 pokazuje, że w zestawie 200 języków różnica w liczbie tokenów na ten sam tekst...
Magazyn · Polski prompt kosztuje o 40 procent więcej niż angielski. Policzyłem dopłatę za ogonki w czterech modelachBadanie Coalition for Language Equity in AI Research nazwało to podatkiem od tokenizatora. Przełożyłem ten mechanizm na polszczyznę: ten sam tekst po...
Magazyn · 1000 dolarów dziennie za demo z AI. Policzyłem, ile kosztuje jedna rozmowa z wirtualną siostrąCzteroosobowe studio Easy Fox wzięło kredyt bankowy, żeby utrzymać darmowe demo gry na Steamie, bo rachunek za API modeli językowych przekroczył...- generatornia.plMidjourney cena 2026: plany od 10 USD, limity GPU i ukryte koszty
- przelomowy.plTest 10 modeli AI w zakupach: więcej rozumowania podnosi pewność, nie trafność wyboru
- przewagi.plAutomatyzacja faktur: zacznij od obiegu i wyjątków, potem dodaj AI
- jutropis.plKE konsultuje formularz oceny wpływu AI na prawa podstawowe


