Izraelski startup twierdzi, że wąskim gardłem AI nie jest moc obliczeniowa, lecz pamięć - i zbudował serwer bez GPU

👁 157 przeczytań

Izraelski startup Majestic Labs ogłosił serwer Prometheus - maszynę, która według deklaracji firmy może zastąpić cały rack kart Nvidia, rezygnując całkowicie z GPU na rzecz własnych układów przetwarzania.

Majestic Labs założyli w 2023 roku byli inżynierowie Google i Meta. Ich punkt wyjścia jest prosty: branża zbyt mocno skupia się na surowej mocy obliczeniowej, podczas gdy prawdziwym ograniczeniem przy inferowaniu modeli AI jest dostęp do szybkiej pamięci. GPU Nvidii polegają na drogiej pamięci wysokiej przepustowości (HBM), której ilość jest fizycznie ograniczona przez to, ile da się upakować obok chipa. Majestic chce ten problem obejść inną drogą.

Tania pamięć z telefonów zamiast drogiej pamięci serwerowej

Zamiast GPU, Prometheus korzysta z 12 własnych jednostek Ignite APU, każda łącząca rdzenie Arm z silnikami wektorowymi i tensorowymi w architekturze RISC-V. Wszystkie dzielą jeden spójny bank pamięci LPDDR6 - tej samej, która trafia do smartfonów - o pojemności od 8 TB do 128 TB. Połączenie zapewniają własne agregacyjne chiplety i miedziane kable o długości do metra.

Liczby, którymi operuje firma, są imponujące. Nvidia DGX B300 z ośmioma układami Blackwell oferuje 2,3 TB pamięci HBM. Prometheus ma dostarczać ponad 50 razy więcej szybkiej pamięci przy 1,7 razy większej przepustowości połączeń. Jeden rack - jak twierdzi Majestic - ma dorównywać 25 rackom Nvidii Vera Rubin pod względem dostępnej pamięci, zużywając przy tym znacznie mniej energii.

Od strony oprogramowania startup deklaruje kompatybilność z PyTorchem, vLLM i Tritonem OpenAI - modele pisane pod GPU mają działać bez przeróbek. Firma informuje też o pierwszych zamówieniach od dużych przedsiębiorstw, neochmur i dostawców infrastruktury hiperscalowej.

Każda z tych liczb ma jednak tę samą gwiazdkę: pochodzą wyłącznie od Majestic Labs, bez niezależnej weryfikacji. Żaden serwer nie trafił jeszcze do klientów. Firma zatrudnia około 40 osób w Tel Awiwie i Los Angeles, a pod koniec ubiegłego roku zebrała 100 mln dolarów - skromna suma wobec tego, czym dysponują rywale. Realizacja samej architektury pamięci budzi też techniczne pytania: pula 128 TB z kości LPDDR6 po 2 GB wymagałaby około 64 000 takich kości i ponad stu chipletów agregacyjnych w jednym serwerze.

Majestic dołącza do rosnącego grona startupów atakujących pozycję Nvidii z nieoczywistych stron - obok firm stawiających na chipy fotoniczne, krzem do inferowania na brzegu sieci czy otwarte protokoły sieciowe. Kiedy hardware faktycznie wyjedzie z fabryki i ktoś niezależny uruchomi benchmarki, okaże się, czy obraz namalowany przez firmę jest wiernym portretem, czy tylko szkicem.

// czytaj dalejAustralijski startup zbudował model AI, który celowo daje różnorodne odpowiedziNewsyDeepMind chce odblokować budowę domów w Wielkiej Brytanii. Wąskim gardłem są planiści, nie cegłyNewsyStartup, który chce zbić halucynacje do zera - i twierdzi, że laboratoria AI specjalnie tego nie robiąNewsy