Microsoft pokazał MAI-Base-2 - model z 2 bilionami parametrów, który demoluje konkurencję w benchmarkach

Ten news ukazał się 6 godzin po komunikacie źródła.

👁 116 przeczytań

Szesnaście tysięcy procesorów graficznych Nvidia GB200 pracowało bez przerwy przez 38 dni. To nie był przypadek ani jakiś ciekawy eksperyment - to była precyzyjna operacja, którą koordynowała grupa badawcza Microsoftu w celu stworzenia czegoś, co dziś może zmienić krajobraz open-sourcowych modeli bazowych. Wynik: MAI-Base-2, model z 2 bilionami parametrów, który robi to, co inni robią wolniej, szybciej i taniej.

Nie jest to pełnoprawny model językowy gotowy do użytku. MAI-Base-2 to prototype bez ozdób - tzw. base model, surowy materiał, który developerzy przekształcą w praktyczne narzędzie przez kolejne rundy trenowania, dodając możliwości logicznego wnioskowania i zabezpieczenia. Ale na tym właśnie polega jego siła. O ile zwykły LLM przychodzi już skonfigurowany, base model to fundamentalna architektura, czasami ważniejsza od ostatecznego produktu.

Porażka dla DeepSeek, zwycięstwo dla efektywności

Do tej pory najlepszym open-sourcowym modelem bazowym był DeepSeek-V4-Pro-Base. Był - bo teraz pojawił się konkurent, który na wewnętrznych testach Microsoftu znacznie go przewyższył. Benchmarki obejmowały problemy z nauki, matematyki i programowania - obszary, gdzie każda sekunda liczenia oraz każdy procent dokładności ma znaczenie.

Ale liczba na benchmarku to jedno. Drugie - i być może ważniejsze - to wydajność sprzętowa. MAI-Base-2 jest do 12 razy bardziej efektywny pod względem wymagań sprzętowych niż inne rozwiązania. Jak to możliwe, skoro mamy prawie identyczną liczbę parametrów?

Sztuczka MoE i ogół sieci neuronowej

Odpowiedź leży w architekturze zwanej Mixture of Experts (MoE). Zamiast aktywować wszystkie sztuczne neurony za każdym razem, gdy model dostaje polecenie, MAI-Base-2 uruchamia tylko ich podzbiór. W tym przypadku - z 2 bilionów parametrów model aktywuje zaledwie 80 miliardów. Reszta czeka w pogotowiu.

To jak mieć do dyspozycji całą orkiestrę, ale do zagrania konkretnego utworu potrzebować tylko sekcji smyczków. Poprzedni model Microsoftu, jego poprzednia generacja, mieszał warstwy MoE z mniej wydajnymi modułami FFN. MAI-Base-2 poszedł dalej - składa się całkowicie z warstw MoE. To fundamentalna zmiana, która wpłynęła na wydajność obliczeniową.

Do trenowania wykorzystano 50 bilionów tokenów - masywny zbiór danych. Ciekawy szczegół: około 20 procent z nich poszło na trenowanie zintegrowanego modułu wizji komputerowej. To oznacza, że MAI-Base-2 to nie tylko model do tekstu. Rozumie wykresy naukowe, diagramy, obrazy - rzeczy, które poprzednia generacja robiła słabiej.

Techniczne detale trenowania i droga do wdrożenia

Liczby same w sobie wzbudzają szacunek - 38 dni trenowania, 16 tysięcy GPU - ale Microsoft użył również kluczowych technik, aby uniknąć typowych pułapek. Jedną z nich jest problem spadających gradientów, czyli błędów pojawiających się w czasie trenowania, które mogą zupełnie popsuć przepływ danych przez sieć neuronową. Microsoft zastosował gradient clipping, standardową technikę zapobiegania, a także wykorzystał popularne open-sourcowe narzędzie Muon, aby przyspieszyć cały proces trenowania.

Model nie pozostanie jednak wyłącznie w laboratoriach Microsoftu. Wagi (czyli parametry) MAI-Base-2 będą licencjonowane poprzez platformę Azure dla „zaufanych partnerów”. To otwiera drzwi dla ekosystemu developerów, którzy mogą wziąć ten bazowy model i dostosować go do swoich potrzeb.

Ale to nie koniec planów Microsoftu. Firma zamierza wykorzystać MAI-Base-2 do napędzania całej nowej serii modeli językowo-sztucznych, które zostaną ogłoszone wkrótce. Szczegóły mają pojawić się w niedalekiej przyszłości.

Co to oznacza dla branży? Że bitwa o efektywność modeli bazowych się zaogniła. Microsoft nie chce tylko największego modelu - chce modelu, który robi więcej przy mniejszym koszcie.