86% firm przyznaje, że ich GPU pracują na połowie możliwości lub mniej

👁 147 przeczytań

Aż 86% przedsiębiorstw przyznaje, że ich procesory graficzne przeznaczone do zadań AI pracują na połowie swojej wydajności lub mniej - wynika z badania opublikowanego przez VentureBeat, które rzuca nowe światło na trwającą na Wall Street debatę o sensowności gigantycznych inwestycji w infrastrukturę obliczeniową.

Podczas gdy analitycy finansowi spierają się o to, czy nakłady na centra danych i chipy AI są uzasadnione ekonomicznie, same firmy dostarczają konkretnej odpowiedzi: problem nie polega na tym, że sprzętu jest za mało, lecz że ten już posiadany jest fatalnie wykorzystywany.

Sprzęt stoi, projekty czekają

Sytuacja jest paradoksalna. Z jednej strony słyszymy o kolejkach na dostęp do mocy obliczeniowej w chmurze i wielomiliardowych zamówieniach na chipy Nvidii. Z drugiej - przedsiębiorstwa, które już zainwestowały w GPU, nie potrafią ich efektywnie zagospodarować. Przyczyna leży w orkiestracji: większość firm nie dysponuje narzędziami, które pozwoliłyby dynamicznie przydzielać zasoby obliczeniowe między różne modele, zespoły i projekty działające równolegle.

W praktyce oznacza to, że GPU kupione za setki tysięcy dolarów często czeka bezczynnie na kolejne zadanie, zamiast być współdzielone między wiele workloadów jednocześnie. Zespoły rezerwują zasoby z nadmiarem - bo boją się ich braku w kluczowym momencie - a reszta mocy po prostu się marnuje.

To istotny argument w debacie o zasadności dalszego rozbudowywania infrastruktury AI. Jeśli obecny sprzęt jest wykorzystywany w połowie, to dokupowanie kolejnych kart graficznych przed rozwiązaniem problemu zarządzania zasobami przypomina budowanie nowych dróg zamiast usprawniania ruchu na istniejących.

Dla rynku oznacza to też inne rozłożenie akcentów inwestycyjnych: wzrośnie zapotrzebowanie nie tyle na sam hardware, co na oprogramowanie do orkiestracji klastrów GPU - platformy, które automatycznie schedulują zadania, minimalizują przestoje i maksymalizują zwrot z kosztownej infrastruktury.

86% to liczba, która powinna skłonić do refleksji każdego CTO planującego kolejne zakupy sprzętu.

// czytaj dalejIm więcej używamy AI, tym mniej jej ufamy. I to nie jest sprzecznośćNewsySzef technologii Meta przyznaje: reorganizacja działu AI była „okropna”NewsyKontrola wysiłku w Opus 5. Jak płacić mniej za dokładnie to samoPremium