PROMPTOWY NA ANDROIDZIE
Blog pod ręką. Teraz w nowej odsłonie.
Wygodny czytnik, zapisane artykuły i wygląd, który znasz z Promptowego.
Słownik AI / VRAM
⚙️ Technika
VRAM
Pamięć karty graficznej - to ona decyduje, jak duży model uruchomisz lokalnie.
VRAM to pamięć operacyjna karty graficznej. Przy lokalnym uruchamianiu AI to ona jest głównym ograniczeniem: model musi zmieścić się w VRAM, żeby działać szybko. Stąd pierwsze pytanie w self-hostingu brzmi nie „jaki procesor”, tylko „ile masz VRAM-u”.
Orientacyjnie: małe modele mieszczą się w 8 GB, średnie potrzebują kilkunastu, a duże - dziesiątek gigabajtów. Kwantyzacja pozwala upchnąć większy model w mniejszej pamięci kosztem odrobiny jakości; alternatywą jest pamięć współdzielona w komputerach Apple.
Pojęcia powiązane