Słownik AI / Token
⚙️ Technika
Token
Kawałek tekstu (część słowa), którym operuje model. Limity i ceny liczy się w tokenach.
Token to podstawowa jednostka, którą operuje model językowy - kawałek tekstu, zwykle krótszy niż słowo. W języku angielskim jedno słowo to średnio nieco ponad jeden token; polski, przez odmianę i ogonki, bywa „droższy” i to samo zdanie potrafi zająć więcej tokenów.
Tokeny to waluta świata AI: w nich liczy się okno kontekstu, limity użycia i ceny API (koszt za milion tokenów wejścia i wyjścia). Gdy narzędzie mówi, że tekst jest za długi - chodzi właśnie o liczbę tokenów, nie znaków.
Pojęcia powiązane