Birmański i tybetański tracą najwięcej, asturyjski prawie nic - decyduje alfabet, nie liczba użytkowników

👁 113 przeczytań

Asturyjski ma około sto tysięcy użytkowników i - jak podaje Rest of World z 26 października 2026, powołując się na badanie Coalition for Language Equity in AI Research - nie ma w ogóle danych w Common Crawl, największym otwartym zbiorze tekstów z sieci, na którym trenuje się tokenizery. A mimo to modele kodują go taniej niż khmerski, którym mówi kilkanaście milionów ludzi, albo birmański z ponad trzydziestoma milionami. Powód nie leży w popularności języka, tylko w tym, że asturyjski pisze się alfabetem łacińskim i dzieli morfologię z włoskim czy hiszpańskim, które w danych treningowych są obecne obficie.

Siedemnaście razy, nie półtora

Badanie opublikowane we wrześniu 2026 roku rozdziela dwie skale problemu, które w popularnych omówieniach zwykle się zlewają. Wewnątrz dwudziestu najpopularniejszych języków internetu najdroższy wymaga od 1,5 do 5 razy więcej tokenów niż najtańszy. To ta liczba, która krąży po artykułach i którą da się jeszcze jakoś przełknąć jako koszt prowadzenia biznesu. Kiedy jednak autorzy rozszerzyli zbiór do dwustu języków, rozpiętość w jednym z badanych modeli urosła do siedemnastokrotności.

Różnica między tymi dwoma liczbami jest ważniejsza niż każda z nich osobno. Pierwsza opisuje świat, w którym startup z Bengaluru płaci więcej niż ten z Austin, ale obaj działają na tym samym rynku. Druga opisuje języki, w których zbudowanie czegokolwiek na API dużego modelu przestaje mieć sens ekonomiczny, zanim ktokolwiek napisze pierwszą linijkę kodu. Autorzy badania formułują to wprost:

Startup w Bengaluru może płacić dopłatę od każdego promptu i każdej odpowiedzi, podczas gdy jego konkurent w Austin nie płaci jej wcale. Podatek tokenowy ma też skutki wykraczające poza koszt. Wyższa liczba tokenów przekłada się na wyższe opóźnienie i mniejszą faktyczną pojemność kontekstu. Te kary uderzają najmocniej tam, gdzie moc obliczeniowa i łączność i tak są ograniczone. Nierówność tokenizacji to ograniczenie tego, kto może uczestniczyć w gospodarce AI. - badanie Coalition for Language Equity in AI Research, cytowane przez Rest of World 26 października 2026

Co dokładnie psuje się w alfabecie

Mechanizm da się zobaczyć na jednym zdaniu. Badacze przepuścili przez tokenizer OpenAI zdanie „People should benefit from AI, regardless of the language they speak” po angielsku i w malajalam. Angielska wersja rozpadła się na rozpoznawalne słowa - mniej więcej jeden token na wyraz. Wersja w malajalam rozsypała się na wiele fragmentów na każde słowo, przy czym podziały nie respektowały granic znaków wielobajtowych. Litera zapisana w Unicode na trzech bajtach potrafi zostać rozcięta na dwa albo trzy tokeny, z których żaden nie odpowiada niczemu sensownemu w tym języku.

Tu leży różnica między sytuacją polskiego a sytuacją birmańskiego, i warto ją rozdzielić, bo bywa mieszana. Polski ma ogonki, które w UTF-8 zajmują dwa bajty, i bogatą fleksję - te same rdzenie w dziesiątkach form. To kosztuje, ale kosztuje w granicach pierwszego przedziału z badania, wśród dwudziestu języków o solidnej obecności w sieci. Birmański, tybetański, khmerski, laotański, tifinagh i ol chiki mają inny problem: ich pismo tokenizer widywał tak rzadko, że nie wykształcił dla niego żadnych sensownych jednostek. Badanie wskazuje tę szóstkę jako znajdującą się w najgorszym położeniu konsekwentnie w niemal wszystkich analizowanych modelach.

Zestawienie: ten sam dokument, trzy alfabety, trzy cenniki

Zestawiłem to, co z badania i cenników da się zestawić bez zgadywania: mnożniki tokenów podane przez autorów z publicznymi stawkami za milion tokenów wejściowych. Nie liczę tu tokenów samodzielnie - do tego potrzeba uruchomienia konkretnego tokenizera na konkretnym tekście, a badanie podaje przedziały, nie pojedyncze pomiary. Pokazuję natomiast, jak przedział 1,5-5 i mnożnik siedemnastokrotny przekładają się na rachunek przy tym samym zadaniu.

Działanie jest proste: stawka za milion tokenów razy mnożnik języka. Jeśli obróbka korpusu dokumentów po angielsku zużywa milion tokenów wejściowych, to ta sama treść w języku z dolnej części pierwszego przedziału zużyje półtora miliona, w języku z górnej granicy - pięć milionów, a w jednym z pism rzadkich - siedemnaście milionów. Przy stawce rzędu kilku dolarów za milion tokenów wejściowych różnica między pierwszym a ostatnim wariantem to różnica między kilkunastoma a kilkuset złotymi za tę samą robotę.

Tabela pokazuje coś, czego sama liczba „17 razy” nie pokazuje: że dopłata nie rozkłada się liniowo wraz z popularnością języka. Między angielskim a dolną granicą pierwszego przedziału jest skok o połowę, między dolną a górną granicą tego samego przedziału - skok ponad trzykrotny, a potem przepaść do pism, których tokenizer praktycznie nie zna. Trzy grupy, nie gradient.

Kontekst kurczy się szybciej niż portfel

Pratyush Choudhury, współzałożyciel Activate AI - pierwszego indyjskiego funduszu venture capital poświęconego wyłącznie sztucznej inteligencji, który zainwestował między innymi w ElevenLabs, Sarvam i Wispr Flow - zwraca w rozmowie z Rest of World uwagę na skutek, który nie pojawia się na fakturze. Okno kontekstowe modelu jest liczone w tokenach, nie w znakach ani w zdaniach. Jeśli ten sam fragment rozmowy zajmuje w jednym języku trzy razy więcej tokenów, to w tym języku model po prostu szybciej zapomina.

Przykład, który podaje Choudhury, dotyczy korepetytora. Zapamiętanie wcześniejszych błędów ucznia i wcześniejszych wyjaśnień jest częścią dobrej lekcji. Jeśli ta historia zjada okno kontekstowe znacznie szybciej w jednym języku niż w drugim, pogorszenie dotyka już nie kosztu, tylko jakości usługi. Do tego dochodzi opóźnienie - więcej tokenów to dłuższe generowanie odpowiedzi, co przy słabym łączu i tańszym sprzęcie uderza podwójnie. Badanie nazywa to kumulacją kar tam, gdzie moc obliczeniowa i łączność i tak są ograniczone.

Dla polskich wdrożeń ten drugi wymiar bywa bardziej dotkliwy niż sam rachunek. Firma, która karmi model regulaminem, korespondencją z klientem i bazą wiedzy po polsku, mieści w oknie kontekstowym wyraźnie mniej materiału niż ta sama firma pracująca na angielskich dokumentach. Różnicy nie widać w cenniku i nie widać w testach robionych na angielskich promptach - widać ją dopiero, gdy model zaczyna gubić początek rozmowy.

Czytasz Promptowego częściej? Dodaj go do preferowanych źródeł w Google, a nowe teksty będą wyżej w Twoich wynikach.

Dane od native speakerów jako jedyna dźwignia po stronie użytkownika

Tokenizera przeciętny klient API nie zmieni. Można natomiast wpływać na to, co model w ogóle widział na etapie treningu. Raoul Nanavati, współzałożyciel i prezes Navana.ai, firmy z Mumbaju budującej infrastrukturę głosową AI, wskazuje jako przykład projekt RESPIN - wspólną inicjatywę z Indyjskim Instytutem Nauki, finansowaną przez Fundację Gatesów, w ramach której zebrano teksty od native speakerów trzydziestu ośmiu dialektów wraz z nagraniami czytanej mowy.

Logika tego podejścia wynika z tego samego wniosku, który badanie wyciąga przy asturyjskim. Skoro o kosztach decyduje to, jak często tokenizer widział dane pismo i jak dobrze dopasował do niego swoje jednostki, to droga do obniżenia dopłaty prowadzi przez zwiększenie obecności języka w danych - nie przez negocjacje cennika. Dla języków pisanych alfabetem łacińskim ta droga jest krótsza, bo korzystają z transferu z języków pokrewnych. Dla pism izolowanych, jak ol chiki używane do zapisu santali czy tifinagh dla języków berberyjskich, każdy korpus trzeba zbudować od zera.

Autorzy badania zaznaczają, że wiele dzisiejszych tokenizerów pozostaje nieproporcjonalnie zoptymalizowanych pod angielski i inne języki o dużych zasobach. Coalition for Language Equity in AI Research opublikowała wraz z badaniem interaktywne wykresy porównujące zużycie tokenów w poszczególnych modelach, co pozwala sprawdzić konkretny język zamiast polegać na przedziałach - i to jest w tej chwili jedyny publiczny materiał pozwalający policzyć dopłatę dla języka spoza pierwszej dwudziestki.

Źródła:

• Rest of World - AI models cost more when you don’t use English, 26 października 2026
• OpenAI - Tokenizer, narzędzie użyte w badaniu do porównania angielskiego i malajalam, sprawdzone 11 listopada 2026
• Przeliczenia po kursie 3,78 zł za dolara, stan na 11 listopada 2026