› Token to najmniejszy kawałek tekstu, na jaki model dzieli to, co dostaje i co pisze.
› Nie jest to litera ani słowo, tylko coś pomiędzy: częsty wyraz bywa jednym tokenem, rzadki rozpada się na kilka kawałków.
› To jednostka, w której liczy się limity, pamięć i rachunki za API, więc warto wiedzieć, jak działa.
› Ile to jest w praktyce Dla angielskiego przyjmuje się z grubsza, że token to około czterech znaków, czyli trzy czwarte słowa.