RTX Spark ze 128 GB: jakie modele AI się zmieszczą (liczę krok po kroku)

👁 116 przeczytań

128 GB pamięci wspólnej w laptopie z RTX Spark nie znaczy, że model AI dostanie 128 GB. Według reguły z dokumentacji Nvidii grafika weźmie z tego około 102 GB. To i tak ponad cztery razy więcej niż 24 GB na mojej karcie RTX 4090, więc zmieszczą się modele, o których na zwykłym komputerze mogę tylko poczytać: Llama 70B w 8 bitach, GPT-OSS 120B, Mistral Large 123B. Poniżej liczę to krok po kroku, tak żebyś mógł podstawić własny model, i porównuję z tym, co zmierzyłem na RTX 4090. Sprzętu z RTX Spark jeszcze nie testowałem, to są wyliczenia, nie pomiary.

Krok 1: ile pamięci dostanie grafika

W RTX Spark procesor i grafika korzystają z jednej puli pamięci. Nvidia dzieli ją na trzy części: fragment zarezerwowany tylko dla grafiki (Windows pokazuje go jako dedykowaną pamięć GPU), pamięć wspólną dla procesora i grafiki oraz resztę wyłącznie dla procesora. Pamięć wspólna to według dokumentacji „pamięć po rezerwacji minus 16 GB”, ale nie mniej niż 50% i nie więcej niż 80% tej pamięci.

Nvidia nie podaje, ile wynosi rezerwacja, ale dla dużych konfiguracji prawie nie zmienia wyniku. Przy 128 GB górny limit 80% wchodzi zawsze, więc grafika ma do dyspozycji rezerwację plus 80% reszty: od 102,4 GB przy rezerwacji bliskiej zera do około 103 GB przy 4 GB rezerwacji.

Od tego budżetu odejmuję jeszcze 3 GB na sterownik, bufory i samą aplikację. Zostaje około 99 GB na wagi modelu i pamięć rozmowy.

Krok 2: ile waży model

Rozmiar wag liczę ze wzoru: liczba parametrów razy liczba bitów na parametr, podzielone przez 8. Liczbę bitów biorę ze średnich dla formatów llama.cpp, w których najczęściej uruchamia się modele lokalnie:

• Q4_K_M (najpopularniejsze 4 bity): ok. 4,85 bita na parametr,
• Q8_0 (prawie bez straty jakości): ok. 8,5 bita,
• FP16 / BF16 (pełna precyzja): 16 bitów,
• MXFP4 (natywny format GPT-OSS): ok. 4,25 bita.

Czy wzór się sprawdza? Mam na to własne pomiary z RTX 4090. Qwen 3.8 27B w Q4 według wzoru waży 16,4 GB, a w Ollamie zmierzyłem przyrost zajętości karty o 15,6 GB. Gemma 4 31B w wersji QAT zajęła 19,2 GB. Wzór trzyma się pomiaru z dokładnością do około 2 GB, więc w tabeli niżej zostawiam sobie zapas.

Krok 3: pamięć rozmowy

Druga część rachunku to pamięć podręczna kontekstu (KV cache). Rośnie z długością rozmowy i dla dużych modeli bywa większa niż się wydaje. Wzór: 2 × liczba warstw × liczba głowic KV × wymiar głowicy × 2 bajty na każdy token. Dla Llamy 3.3 70B (80 warstw, 8 głowic KV, wymiar 128) to 0,33 MB na token:

• 8 tys. tokenów kontekstu: ok. 2,7 GB,
• 32 tys.: ok. 10,7 GB,
• 128 tys.: ok. 43 GB.

Dlatego model, który „mieści się” na styk, w praktyce zmieści się tylko z krótkim kontekstem. ASUS pisze na stronie ProArta P16 o modelach do 120 mld parametrów z kontekstem miliona tokenów, ale nie podaje, o który model chodzi. Dla gęstego modelu 70B milion tokenów kontekstu to ponad 300 GB samej pamięci rozmowy, więc ta obietnica może dotyczyć tylko modeli z bardzo oszczędną pamięcią kontekstu.

Wynik: co zmieści się w 128 GB

Budżet: ok. 99 GB na wagi i kontekst. Wagi liczone wzorem, dla modeli zmierzonych przeze mnie podaję pomiar.

Nemotron 3.5 Bolt 74B-A9B to model, który Nvidia wydała razem z platformą i opisuje jako przygotowany pod konfiguracje 24 GB. Żeby 74 mld parametrów zmieściło się w 24 GB, wagi muszą mieć średnio około 2,6 bita, więc ta wersja jest mocniej skompresowana niż typowe 4 bity. Na 128 GB można uruchomić go w zwykłej kwantyzacji 4-bitowej.

Obrazy i wideo

Przy grafice i wideo duża pamięć daje co innego niż przy tekście: nie większe modele, tylko mniej kombinowania. FLUX 3 Klein (5,6 mld parametrów) chodzi już na kartach 8 GB, mierzyłem 7,3-7,5 GB. Wan 2.2 TI2V 5B zajął u mnie około 20 GB. Większy Wan 2.2 A14B ma dwa eksperty po 14 mld parametrów, każdy w BF16 to około 28 GB. Na 24 GB trzeba go kwantyzować do 8 bitów albo GGUF i przeładowywać ekspertów, w 102 GB zmieszczą się oba naraz w pełnej precyzji. ASUS chwali się na stronie P16 aplikacją MuseTree z modelami FLUX i Wan w formacie NVFP4, który Blackwell liczy sprzętowo.

Szybkość: tu RTX 4090 wygrywa

Zmieścić to jedno, a wygenerować szybko to drugie. Przy każdym nowym tokenie układ musi przeczytać z pamięci wszystkie aktywne wagi modelu, więc górny limit szybkości to przepustowość pamięci podzielona przez rozmiar aktywnych wag. RTX 4090 ma 1008 GB/s, RTX Spark według dokumentacji Nvidii 300 GB/s, czyli ponad trzy razy mniej.

Ten limit mogę skalibrować własnym pomiarem: Qwen 3.8 27B Q4 na RTX 4090 ma sufit 1008 / 15,6 = 65 tokenów na sekundę, a zmierzyłem 47,4, czyli 73% sufitu. Przyjmując podobną sprawność, wychodzi szacunek dla RTX Spark:

Wniosek z tych liczb jest mniej oczywisty niż „128 GB jest lepsze”. Model, który mieści się w 24 GB, RTX 4090 wygeneruje około trzy razy szybciej. Za to modelu 70B moja karta w ogóle nie uniesie: gdy część warstw liczy procesor, szybkość spada kilkukrotnie. Na 4090 Qwen 27B przy 12 GB na karcie zrobił 6,9 tok/s zamiast 47,4. Model 70B, który na RTX Spark da szacunkowo 5 tokenów na sekundę w całości w pamięci grafiki, na 24 GB byłby jeszcze wolniejszy.

Wyjątkiem są modele mieszanki ekspertów, które czytają przy każdym tokenie tylko część wag. GPT-OSS 120B ma 117 mld parametrów, ale aktywnych na token tylko 5,1 mld, czyli w MXFP4 około 2,7 GB do przeczytania. Sufit to około 110 tok/s. Na RTX 4090 mniejszy GPT-OSS 20B osiągnął u mnie 237 tok/s, około 45% swojego sufitu. Przy podobnej sprawności GPT-OSS 120B na RTX Spark dałby około 50 tok/s. To byłby najciekawszy model na tę platformę i sprawdzę go jako pierwszy.

Osobna sprawa to wczytanie długiego promptu (prefill). To praca obliczeniowa, nie pamięciowa, i tu liczy się moc grafiki: 1 PFLOP w FP4 według Nvidii. Ile z tego zostaje w praktyce, pokaże dopiero pomiar.

Co z tego wynika przy zakupie

• Jeśli używasz modeli do około 30 mld parametrów, RTX Spark nie da ci nic, czego nie da szybsza karta z 24 lub 32 GB. Da za to mobilność i ciszę.
• Jeśli chcesz modele 70B i większe lokalnie, 128 GB to najprostsza droga w laptopie z Windows. Licz się z prędkością rzędu kilku tokenów na sekundę dla modeli gęstych.
• Wersja 64 GB (ok. 48 GB dla grafiki) zmieści Llamę 70B w Q4 tylko z krótkim kontekstem. Do dużych modeli to za mało na wygodną pracę.
• Rozmiar dla dowolnego modelu policzysz w kalkulatorze ile VRAM potrzebuje model. Dla RTX Spark wpisz jako pamięć karty wartość z tabeli w kroku 1.

Egzemplarz testowy ASUS ProArt ze 128 GB jest w drodze. Kiedy dotrze, zmierzę na nim te same modele, w tym Qwen 3.8 27B, Gemmę 4 31B i GPT-OSS 120B, i porównam z tymi szacunkami. Wyniki trafią do huba Nvidia RTX Spark. Ceny laptopów ze 128 GB są w tekście laptopy z RTX Spark: modele i ceny, a wszystko o modelach na własnym sprzęcie w przewodniku Lokalne AI.

Najczęstsze pytania

Ile pamięci z 128 GB może użyć model AI na RTX Spark?

Według reguły z dokumentacji Nvidii grafika dostaje rezerwację plus 80% pozostałej pamięci, czyli przy 128 GB około 102-103 GB. Po odjęciu kilku GB na sterownik i program zostaje ok. 99 GB na model i kontekst.

Czy Llama 70B zmieści się na RTX Spark?

Tak. W 4 bitach waży ok. 43 GB i zostawia miejsce na kontekst 128 tys. tokenów. W 8 bitach (ok. 75 GB) też się mieści, ale kontekst trzeba ograniczyć do około 60 tys. tokenów. W pełnej precyzji FP16 (ok. 141 GB) już nie.

Czy RTX Spark jest szybszy od RTX 4090 w lokalnym AI?

Dla modeli mieszczących się w 24 GB nie: pamięć RTX 4090 jest ponad trzy razy szybsza, więc generowanie też. RTX Spark wygrywa tam, gdzie model nie mieści się na karcie i musiałby częściowo liczyć się na procesorze.

Ile pamięci wybrać do modeli 70B?

128 GB. Wersja 64 GB daje grafice ok. 48 GB, co wystarcza na Llamę 70B w 4 bitach tylko z krótkim kontekstem.