Ile pamięci potrzeba, żeby uruchomić model AI u siebie na komputerze

👁 147 przeczytań

Najczęstsze pytanie, jakie dostaję o modelach uruchamianych lokalnie, brzmi zawsze tak samo: czy to pójdzie na mojej karcie. Odpowiedź jest policzalna, tylko rozbija się na trzy składniki, z których jeden zwykle wypada z rachunku i to on odpowiada za większość rozczarowań. Przykład z pomiaru: Gemma 4 31B zajmuje 19,2 GB VRAM w Ollamie. Co konkretnie pójdzie na karcie 8, 12 i 24 GB, na Macu i na samym procesorze, rozpisałem w przewodniku Lokalne AI.

Składnik pierwszy: wagi

Model to zbiór liczb, a każda z nich zajmuje miejsce. Wzór jest tak prosty, że można go zrobić w pamięci: liczba parametrów razy liczba bitów na parametr, podzielona przez osiem, i wychodzą bajty.

Model o ośmiu miliardach parametrów w pełnej dokładności szesnastu bitów to blisko piętnaście gigabajtów. Ten sam model w czterobitowej kwantyzacji schodzi w okolice pięciu. Model siedemdziesięciomiliardowy w tej samej czterobitowej kwantyzacji to około czterdziestu gigabajtów, czyli więcej, niż ma jakakolwiek karta konsumencka.

Składnik drugi: kwantyzacja, czyli co tracisz

Kwantyzacja polega na zapisaniu tych samych wag z mniejszą dokładnością. Osiem bitów wobec pełnych szesnastu daje różnicę w jakości, której w praktyce nie widać. Sześć bitów to bezpieczny sufit, jeśli masz zapas pamięci. Cztery bity to wybór domyślny większości ludzi i sensowny kompromis.

Poniżej czterech bitów zaczyna się robić ciekawie w złym znaczeniu. Model dalej odpowiada, ale częściej gubi wątek, a przy polszczyźnie i przy kodzie widać to wcześniej niż przy prostej angielskiej konwersacji. Jeśli musisz zejść do trzech bitów, żeby coś się zmieściło, prawie zawsze lepiej wychodzi wzięcie mniejszego modelu w wyższej dokładności.

Składnik trzeci: ten, o którym się zapomina

Pamięć podręczna uwagi. Model zapamiętuje w niej to, co już przeczytał, żeby nie liczyć tego od nowa przy każdym kolejnym tokenie. Jej rozmiar nie zależy od wielkości modelu w prosty sposób, za to rośnie liniowo z długością kontekstu.

W praktyce wygląda to tak: model mieści się na karcie bez trudu przy ośmiu tysiącach tokenów kontekstu, a przy stu trzydziestu tysiącach brakuje kilkunastu gigabajtów, choć sam model ani drgnął. To jest ten moment, w którym ludzie piszą, że coś się zepsuło, a arytmetyka po prostu się nie zgadza. Tę pamięć też można kwantyzować, do ośmiu albo czterech bitów, i to zwykle jest najtańszy sposób na odzyskanie miejsca.

Wszystkie trzy składniki liczy kalkulator pamięci dla modeli lokalnych. Wybierasz kartę z listy, rozmiar modelu, kwantyzację i długość kontekstu, a dostajesz rozbicie na wagi, pamięć uwagi i narzut, razem z informacją, ile warstw zmieści się na karcie, jeśli całość się nie mieści.

Prędkość zależy od czegoś innego, niż myślisz

Przy generowaniu odpowiedzi karta nie liczy tak dużo, jak się wydaje. Dla każdego kolejnego tokenu musi za to przeczytać wszystkie wagi modelu. To znaczy, że wąskim gardłem jest przepustowość pamięci, a nie moc obliczeniowa.

Stąd bierze się prosta reguła: podziel przepustowość pamięci karty przez rozmiar modelu w pamięci, a dostaniesz rząd wielkości liczby tokenów na sekundę. Realny wynik będzie niższy o kilkanaście procent przez narzut oprogramowania, ale kierunek się zgadza. Stąd też wynika, że karta z mniejszą liczbą rdzeni, ale szybszą pamięcią, potrafi generować szybciej od mocniejszej z wolniejszą.

Zrzucanie warstw do pamięci systemowej

Kiedy model nie mieści się w całości, część warstw ląduje w pamięci systemowej. Programy pozwalają to zrobić jednym parametrem i wygląda to na wygodne wyjście. Nie jest.

Magistrala do pamięci systemowej jest kilkanaście razy wolniejsza od pamięci karty, więc każdy token przechodzi przez to wąskie gardło. Spadek nie wynosi kilkunastu procent, tylko rząd wielkości. Z trzydziestu tokenów na sekundę robią się dwa i praca przy takim modelu przestaje przypominać rozmowę.

Wniosek jest niepopularny, ale konsekwentny: lepiej działa mniejszy model, który mieści się w całości, niż większy rozłożony na dwie pamięci. W kalkulatorze widać to od razu, bo prędkość liczę osobno dla części na karcie i dla części w pamięci systemowej.

Kiedy w ogóle warto trzymać model u siebie

Bo to nie jest wybór oczywisty. Model uruchomiony lokalnie prawie zawsze będzie słabszy od tego, który dostaniesz przez interfejs czatu za kilkadziesiąt złotych miesięcznie, a sprzęt zdolny do sensownej pracy kosztuje tyle, co kilka lat takiego abonamentu. Jeśli liczysz wyłącznie pieniądze, rachunek zwykle wychodzi na niekorzyść lokalnego rozwiązania.

Są jednak trzy sytuacje, w których to się spina. Pierwsza to dane, które nie mogą wyjść poza firmę, i tu żaden cennik nie ma znaczenia, bo alternatywy po prostu nie ma. Druga to praca masowa: jeśli przepuszczasz przez model dziesiątki tysięcy dokumentów dziennie, koszt stały zaczyna bić koszt zmienny. Trzecia to niezależność od cudzych decyzji, czyli pewność, że model, który dziś działa, będzie działał tak samo za rok, bez zmiany zachowania po cichej aktualizacji i bez limitów nałożonych przez dostawcę.

Jeśli żadna z tych trzech sytuacji Cię nie dotyczy, model lokalny zostaje ciekawą zabawką, a nie narzędziem pracy. Nie ma w tym nic złego, warto tylko wiedzieć, po co się w to wchodzi, zanim wyda się pieniądze na kartę.

Przed kupnem czegokolwiek policz najpierw, ile pamięci realnie potrzebujesz przy kontekście, z którego zamierzasz korzystać. To jest jedna liczba i oszczędza sporo pieniędzy.

Najczęściej zadawane pytania

Ile pamięci GPU zajmuje model AI o 8 miliardach parametrów?

Model o ośmiu miliardach parametrów w pełnej dokładności szesnastu bitów zajmuje blisko piętnaście gigabajtów. Ten sam model w czterobitowej kwantyzacji schodzi w okolice pięciu gigabajtów.

Dlaczego model AI nagle przestaje się mieścić w pamięci karty graficznej przy długim kontekście?

Przyczyną jest pamięć podręczna uwagi, która rośnie liniowo z długością kontekstu. Model może mieścić się na karcie bez trudu przy ośmiu tysiącach tokenów, a przy stu trzydziestu tysiącach brakuje kilkunastu gigabajtów, choć sam model ani drgnął.

Czy warto uruchamiać model AI lokalnie zamiast korzystać z płatnego czatu?

Model uruchomiony lokalnie prawie zawsze będzie słabszy od tego dostępnego przez interfejs czatu za kilkadziesiąt złotych miesięcznie, a sprzęt zdolny do sensownej pracy kosztuje tyle, co kilka lat takiego abonamentu. Lokalne rozwiązanie opłaca się głównie wtedy, gdy dane nie mogą wyjść poza firmę, gdy przetwarza się dziesiątki tysięcy dokumentów dziennie lub gdy potrzebna jest niezależność od decyzji zewnętrznego dostawcy.

// czytaj dalejBielik AI: polski model, który uruchomisz u siebie i użyjesz komercyjnie za darmoWarsztatLM Studio: model AI na własnym komputerze bez konta, abonamentu i internetuArtykułyJak uruchomić Bielika lokalnie na własnym komputerzeAI