Gemini 4 Argon do programowania: mój test kodu i benchmarki

👁 117 przeczytań

Gemini 4 Argon przeszedł wszystkie 51 testów jednostkowych w moich czterech zadaniach programistycznych, zapłaciłem za to 0,028 USD i czekałem łącznie 25 sekund. Żaden flagowiec nie zrobił tego taniej ani szybciej. Benchmarki kodu malują jednak bardziej mieszany obraz: wg Google Argon prowadzi w DeepSWE, ale przegrywa w FrontierSWE i Terminal-Bench 4.0, a w niezależnym rankingu Arena Code WebDev jest dopiero 8. Poniżej mój test, liczby z benchmarków i to, gdzie w ogóle można dziś programować z Argonem. Całość o modelu jest w przewodniku Gemini 4 Argon.

Cztery zadania, 51 testów

Zadania są krótkie, ale każde ma pułapkę, na której modele potrafią się wyłożyć:

// taniej niż u producentaw magazynie

Google AI Gemini Pro + Google Drive 5 TB - 18 miesięcyVoucher, którym włączasz pakiet Google AI Pro na 18 miesięcy na własnym koncie Google.kinetyka.pl - mój sklep z rocznymi dostępami do narzędzi AI

170 zł-91%zamiast 1 800 zł9,44 zł / mies.Kup w Kinetyce →

• Walidacja NIP: zapis z myślnikami, spacjami i prefiksem PL, suma kontrolna z wagami, reszta 10 oznacza NIP nieprawidłowy.
• Scalanie przedziałów: przedziały stykające się końcem z początkiem trzeba scalić, a zapisane odwrotnie, jak (5, 2), odwrócić.
• Dni robocze w Polsce: lata 2024-2030, święta ruchome i Wigilia, która jest wolna dopiero od 2025 roku.
• Kwota słownie na fakturę: odmiana „złoty/złote/złotych” i „grosz/grosze/groszy”, zaokrąglenie do grosza, kwoty do miliarda.

Jak wygląda kod Argona

Argon oddał sam kod w bloku, bez wstępów, z typami i komentarzami po polsku. Najciekawszy fragment to lista świąt w zadaniu o dniach roboczych, bo właśnie tu Gemini 3.8 Flash dzień wcześniej się pomylił:

def pobierz_swieta(rok: int) -> set[datetime.date]:
    wielkanoc = oblicz_wielkanoc(rok)
    swieta = {
        datetime.date(rok, 1, 1),   # Nowy Rok
        datetime.date(rok, 1, 6),   # Święto Trzech Króli
        wielkanoc,                  # Pierwszy dzień Wielkiej Nocy (niedziela)
        wielkanoc + datetime.timedelta(days=1),   # Drugi dzień Wielkiej Nocy (poniedziałek)
        datetime.date(rok, 5, 1),   # Święto Państwowe (Święto Pracy)
        datetime.date(rok, 5, 3),   # Święto Narodowe Trzeciego Maja
        wielkanoc + datetime.timedelta(days=49),  # Pierwszy dzień Zielonych Świątek (niedziela)
        wielkanoc + datetime.timedelta(days=60),  # Dzień Bożego Ciała (czwartek)
        datetime.date(rok, 8, 15),  # Wniebowzięcie Najświętszej Maryi Panny
        datetime.date(rok, 11, 1),  # Wszystkich Świętych
        datetime.date(rok, 11, 11), # Narodowe Święto Niepodległości
        datetime.date(rok, 12, 25), # Pierwszy dzień Bożego Narodzenia
        datetime.date(rok, 12, 26), # Drugi dzień Bożego Narodzenia
    }
    # Zgodnie ze stanem prawnym na 2026 r. (ustawa z 2024 r.),
    # Wigilia (24 grudnia) jest dniem ustawowo wolnym od pracy począwszy od 2025 roku.
    if rok >= 2025:
        swieta.add(datetime.date(rok, 12, 24))
    return swieta

Wielkanoc liczy algorytmem Meeusa/Jonesa/Butchera, wszystko w standardowej bibliotece, jak chciałem. Gemini 3.8 Flash wpisał Wigilię jako wolną we wszystkich latach i oblał test z grudniem 2024. W kwocie słownie Argon dorzucił od siebie ValueError dla kwot spoza zakresu i poprawnie zamienił 12,13 zł na „dwanaście złotych trzynaście groszy” - dokładnie w tym przypadku Muse Wonder wpisał nieistniejące „trzynadzieście”.

Argon kontra rywale w tych samych zadaniach

Wśród modeli bez błędu Argon jest prawie 3 razy tańszy od Opusa 5.5 i 4,6 raza tańszy od GPT-6 Astra. Uczciwie trzeba dodać, że to małe funkcje na kilkadziesiąt linii. Taki test mówi, czy model zna polskie realia i nie robi głupich błędów, ale nie mówi, jak poradzi sobie z dużym repozytorium, wieloma plikami i długą pracą agenta w terminalu. Do tego są benchmarki.

Benchmarki kodu wg Google

Google w tabeli z 30 września pokazuje Argona na najwyższym ustawieniu myślenia. W trzech testach programistycznych wynik jest mieszany:

Claude Fable 5.1 ma w tej samej tabeli 67,4% w DeepSWE, 56,3% w FrontierSWE i 57,9% w Terminal-Bench. W całej tabeli Google Argon prowadzi w 13 z 19 testów, ale akurat w dwóch z trzech programistycznych jest za konkurencją, a w Terminal-Bench 4.0 traci do Opusa 5.5 9 punktów procentowych.

Co mówią niezależne pomiary

• Artificial Analysis, Terminal-Bench 4.0: Argon 57%, Claude Sonnet 5.5 64%, Claude Opus 5.5 60%, GPT-6 Astra 59%. Niezależny pomiar potwierdza, że w pracy w terminalu Argon jest za modelami Anthropic i OpenAI.
• Arena, Code Arena: WebDev: 8. miejsce z wynikiem 1679 pkt. Dla kontrastu w Text Arena ten sam Argon (High) jest 1. z 1525 pkt (wynik wstępny).

Bloomberg: pracownicy Google mieli wątpliwości

30 września Bloomberg (cytowany przez Techmeme) napisał, że według pracowników Google model wypada w części realnych zadań programistycznych gorzej, niż sugerują benchmarki. Google to kwestionuje. Mój mały test tego nie rozstrzyga, bo krótkie funkcje Argon pisze bez zarzutu. Niezależne Terminal-Bench i 8. miejsce w WebDev pasują jednak raczej do wersji z Bloomberga niż do najlepszych liczb z tabeli Google.

Gdzie programować z Argonem

• Google Antigravity (aplikacja na komputer i CLI): Argon tylko w planie Google AI Ultra, w Polsce od 469,99 zł miesięcznie. Plan Google AI Pro za 97,99 zł daje Antigravity, ale bez Argona. Naukowcy mogą dostać najwyższy poziom Antigravity na 6 miesięcy za darmo. Pierwsze kroki opisałem w tekście Antigravity: jak zacząć.
• Gemini API: identyfikator gemini-4-argon, działa dla każdego płatnego konta. Do 30 listopada 2026 kosztuje 2/10 USD za milion tokenów, od 1 grudnia 4/20 USD. Limit jest wspólny: 1 mln tokenów na wejście i wyjście razem. Według 9to5Google Argon w interfejsie AI Studio i w Android Studio (Canary) wymaga jednak Ultra.
• OpenRouter: google/gemini-4-argon, te same ceny, kontekst 1 048 576 tokenów. Na nim robiłem test i 13 października działał z Polski bez problemu. Przyda się w każdym narzędziu, które przyjmuje klucz OpenRouter.

Werdykt

Do pisania pojedynczych funkcji, skryptów i poprawek Argon jest dziś najtańszym flagowcem, jakiego sprawdzałem, i nie zrobił ani jednego błędu. Do długiej pracy agenta w repozytorium i terminalu benchmarki, także niezależne, wskazują raczej Claude Opus 5.5. Jeśli programujesz przez API, Argona warto sprawdzić na własnym kodzie przed 30 listopada, póki kosztuje połowę docelowej ceny. Porównanie innych narzędzi znajdziesz w zestawieniu AI do programowania.