PROMPTOWY_
Newsy

Jak Ai2 naprawiło kolejkowanie zadań na tysiącach GPU H100, B200 i B300

promptowy@ai:~$ cat news_1

› Ai2 zarządza tysiącami GPU NVIDIA H100, B200 i B300 w klastrach od 88 do 1024 kart, obsługując około 150 badaczy.

promptowy@ai:~$ cat news_2

› Popyt na moc obliczeniową przekraczał podaż 2-3 razy, co prowadziło do patologii: GPU squattingu, inflacji priorytetów i konieczności ręcznego negocjowania wyłączeń przez inżynierów dyżurnych.

promptowy@ai:~$ cat news_3

› Nowy system oparty na budżetach czasu GPU i hierarchicznym fair-share przeniósł decyzje o przydziale zasobów z doraźnych negocjacji operacyjnych do przejrzystego procesu administracyjnego.

promptowy@ai:~$ open --full
Czytaj całość

Jak Ai2 naprawiło kolejkowanie zadań na tysiącach GPU H100, B200 i B300

Otwórz artykuł na promptowy.com