Co uruchomisz na własnej karcie
Pytanie „czy to pójdzie na mojej karcie” ma policzalną odpowiedź: wagi razy liczba bitów, plus pamięć podręczna uwagi, która rośnie z długością kontekstu i potrafi zaskoczyć bardziej niż sam model. Wybierz sprzęt i rozmiar modelu, a pokażę, co się zmieści, co trzeba zrzucić do pamięci systemowej i ile mniej więcej tokenów na sekundę z tego wyjdzie.
Twój sprzęt
Wartości podstawiają się z listy i są danymi katalogowymi producenta. Możesz je nadpisać, bo realnie dostępna pamięć zależy od tego, co jeszcze masz uruchomione, a na komputerach Apple pamięć jest wspólna dla procesora i układu graficznego, więc modelowi nie oddasz wszystkiego.
Model, który chcesz uruchomić
Dwie ostatnie liczby to budowa modelu. Podstawiam wartości typowe dla tej wielkości; jeśli znasz dokładne z karty modelu, wpisz swoje.
Werdykt
Wszystkie kwantyzacje na tym sprzęcie
Ta sama liczba parametrów, różna dokładność wag. Schodzenie poniżej czterech bitów zwykle widać w jakości odpowiedzi, zwłaszcza przy polszczyźnie i przy kodzie.
| Kwantyzacja | Bity na wagę | Wagi | Razem z uwagą | Mieści się | Tokeny na sekundę |
|---|
Ile kontekstu udźwigniesz
Pamięć uwagi przy różnych długościach
To jest ta pozycja, która zaskakuje. Model mieści się bez trudu, a przy stu tysiącach tokenów kontekstu nagle brakuje pamięci.
Maksimum, które wejdzie
tokenów przy obecnych ustawieniach, czyli mniej więcej - słów polskiego tekstu.
Liczę jeden token na 0,55 polskiego słowa, bo tyle wychodzi na realnych tekstach. Dokładnie policzysz to w liczniku tokenów.