Benchmarki Gemini 4 Argon wg Google: 13 z 19 wygranych i co mierzą
Wszystkie 19 testów z tabeli Google z opisem, co mierzą i kto je liczył, plus wyniki niezależne (Artificial Analysis, Arena) i moje testy Argona z 13 października.
👁 120 przeczytań
- Gemini 4 Argon wygrywa samodzielnie w 13 z 19 testów wg Google, remisuje w CWE-bench v1 z GPT-6 Astra, a przegrywa w pięciu.
- Największa przewaga Argona to Harvey Legal Agent (19,6% wobec 6,7% u Fable 5.1), największe straty to FrontierSWE v2 (-10,5 pkt do Astry) i Terminal-Bench 4.0 (-9 pkt do Opusa 5.5).
- Niezależny indeks Artificial Analysis daje Argonowi 52,6 pkt, co plasuje go za Claude Opus 5.5 (57,6) i na poziomie GPT-6 Astra (52,7).
W tabeli Google Gemini 4 Argon prowadzi samodzielnie w 13 z 19 testów, w jednym remisuje z GPT-6 Astra, a w pięciu przegrywa. Najmocniej wypada w pracy biurowej (prawo, finanse, automatyzacja) i w długim kontekście, najsłabiej w części testów programistycznych i naukowych w terminalu. Poniżej każdy wynik wg Google z opisem, co dany test mierzy i jak go liczono, a obok wyniki niezależne (Artificial Analysis, Arena) i moje testy z 13 października 2026.
Benchmarki w skrócie, stan na 13 października 2026
- Wg Google: 13 z 19 testów wygranych samodzielnie, remis w CWE-bench v1, 3 wygrane GPT-6 Astra, 2 wygrane Claude Opus 5.5.
- Niezależnie: Artificial Analysis Intelligence Index 52,6 - remis z GPT-6 Astra (52,7), za Claude Opus 5.5 (57,6). Arena: 1. miejsce w Text Arena (1525 pkt, wynik wstępny).
- Moje testy: 99,5% w 23 zadaniach praktycznych, 81,8 pkt po polsku (8. miejsce), matura 220/220.
Pełna tabela wg Google
Liczby pochodzą z dokumentu metodologicznego Google DeepMind z 30 września. Argon działał na najwyższym ustawieniu myślenia, w jednej próbie (pass@1, bez głosowania wielu odpowiedzi). Wyniki rywali Google wziął głównie z ich własnych publikacji i z publicznych rankingów. Pogrubiam najlepszy wynik w wierszu.
| Test | Argon wg Google | Najlepszy rywal wg Google | Co mierzy |
|---|---|---|---|
| Vals Index | 68,9% | Opus 5.5: 67,0% | Praca specjalistyczna |
| AutomationBench | 51,3% | Opus 5.5: 42,5% | Procesy biznesowe (Zapier) |
| Vals Finance Agent v2 | 65,4% | Fable 5.1: 58,9% | Research finansowy |
| Harvey Legal Agent | 19,6% | Fable 5.1: 6,7% | Research i pisma prawnicze |
| DeepSWE v1.1 | 77,9% | Opus 5.5: 74,2% | Długie zadania programistyczne |
| FrontierSWE v2 | 55,0% | Astra: 65,5% | Agentowe programowanie |
| Vibe Code Bench | 91,9% | Fable 5.1, Opus 5.5: 90,3% | Budowa aplikacji |
| Terminal-Bench 4.0 | 57,4% | Opus 5.5: 66,4% | Praca w terminalu |
| PostTrainBench v1.1 | 45,3% | Opus 5.5: 49,3% | Dotrenowywanie modeli |
| Terminal-Bench Science 0.1 | 57,6% | Astra: 68,1% | Nauka w terminalu |
| LABBench2 | 88,8% | Astra: 85,4% | Biologia z narzędziami |
| RiemannBench | 76,0% | Astra: 72,0% | Matematyka |
| GraphWalks do 128 tys. | 99,7% | Astra: 98,7% | Długi kontekst |
| GraphWalks 256 tys.-1 mln | 84,2% | Astra: 71,8% | Bardzo długi kontekst |
| Agent’s Last Exam | 39,5% | Opus 5.5: 38,2% | Obsługa komputera |
| OSWorld 2.0 (offline) | 69,2% | Astra: 72,6% | Obsługa komputera |
| Chartography | 71,6% | Astra: 71,0% | Wykresy |
| LVBench | 91,7% | Astra: 87,5% | Długie wideo |
| CWE-bench v1 | 68,0% | Astra: 68,0% | Łatanie podatności |
Procentów z różnych wierszy nie da się ze sobą porównywać ani uśredniać. 19,6% w teście prawniczym i 91,9% w Vibe Code Bench to wyniki na różnych skalach i przy różnej trudności. Liczy się przewaga w wierszu, a nie sama wysokość liczby.
Praca biurowa: największa przewaga
- Vals Index łączy finanse, programowanie, prawo i podatki, a każdy obszar waży tyle, ile wynosi jego udział w PKB USA. Dla polskiej firmy to wskazówka, nie miara.
- AutomationBench to test Zapiera: wykonanie od początku do końca typowych procesów biznesowych. Google użył prywatnego zestawu zadań i wyniku z oficjalnego rankingu.
- Vals Finance Agent v2 sprawdza wieloetapowy research finansowy, a Harvey Legal Agent research prawniczy i przygotowanie pism. Wyniki obu Google wziął od Vals AI, nie liczył sam.
Harvey to najbardziej wyraźna różnica w tabeli: 19,6% wobec 6,7% u Fable 5.1 i 3,8% u Opusa 5.5. Niski bezwzględny wynik pokazuje, że test jest bardzo trudny, a nie że model słabo zna prawo.
Programowanie: obraz mieszany
Argon wygrywa w DeepSWE v1.1 i Vibe Code Bench, ale w FrontierSWE v2 traci do Astry 10,5 punktu, a w Terminal-Bench 4.0 do Opusa 5.5 9 punktów. Ważne jest też, kto liczył wyniki:
- DeepSWE v1.1 i Terminal-Bench 4.0 Google policzył dla Argona sam (w DeepSWE na harnessie mini-swe), wyniki rywali wziął z rankingów i kart systemowych.
- FrontierSWE v2 pochodzi z publicznego rankingu Proximal, Vibe Code Bench z rankingu Vals AI.
- PostTrainBench v1.1 (dotrenowywanie modeli) Google policzył dla wszystkich modeli sam, w tym samym środowisku OpenCode i z budżetem 10 godzin na jednej karcie NVIDIA H100.
Bloomberg napisał 30 września, powołując się na pracowników Google, że w części realnych zadań programistycznych model wypada gorzej niż w benchmarkach. Google to kwestionuje. Niezależny pomiar Artificial Analysis w Terminal-Bench 4.0 dał Argonowi 57%, wobec 64% Claude Sonnet 5.5, 60% Opusa 5.5 i 59% Astry, czyli podobny obraz jak w tabeli Google.
Nauka, długi kontekst, komputer i obraz
- LABBench2: zadania z biologii, w których model ma terminal z narzędziami bioinformatycznymi, Pythona, R i internet. Użycie narzędzi jest tu częścią zadania. Google liczył wszystkie modele sam.
- Terminal-Bench Science 0.1: wynik Argona Google policzył z sześciokrotnie dłuższym limitem czasu weryfikatora, rywale są z publicznego rankingu.
- GraphWalks: przechodzenie po grafie zapisanym w długim tekście, miara F1. Zestaw do 128 tys. tokenów ma 650 zadań, zestaw od 256 tys. do 1 mln - 200. Tu przewaga Argona rośnie razem z długością: z 1 pkt do ponad 12 pkt nad Astrą.
- Agent’s Last Exam: odsetek w pełni zaliczonych zadań przy obsłudze komputera, okno 5 godzin.
- OSWorld 2.0: punkty częściowe z części offline, a wynik Argona to najlepszy z trzech przebiegów. To mniej rygorystyczna miara niż pojedyncza próba.
- LVBench: Gemini oglądał wideo z częstotliwością 1 klatki na sekundę, a rywale dostali limit 300-800 klatek z powodu ograniczeń ich API. Warunki nie są więc identyczne.
Cyberbezpieczeństwo i nowe wyniki z 13 października
Na stronie o zastosowaniach w cyberobronie Google pokazuje dodatkowe pomiary. Wszystkie są wg Google, dwa pierwsze na wewnętrznych zestawach:
- wykrywanie znanych, potwierdzonych podatności w popularnych projektach open source: 85,8% (Gemini 3.8 Flash Cyber: 71,0%);
- Wiz Penetration Testing Benchmark, czyli pisanie exploitów na podatności aplikacji webowych bez dostępu do kodu: 70,9% (3.8 Flash Cyber: 58,2%);
- Gray Swan IPI, odporność na wstrzykiwanie poleceń: 0,7% skutecznych ataków (Opus 5.5: 1,0%). Tu niższy wynik jest lepszy.
We wpisie z 13 października Google dodał też ERQA 87% i RareBench 57% - bez rozbudowanej tabeli porównawczej.
Wyniki niezależne i moje testy
| Pomiar | Gemini 4 Argon | Najlepszy w porównaniu |
|---|---|---|
| Artificial Analysis Intelligence Index | 52,6 | Opus 5.5: 57,6 |
| AutomationBench-AA | 78% (1. miejsce) | - |
| Halucynacje AA-Omniscience (mniej = lepiej) | 15% | Astra: 51% |
| Arena: Text Arena | 1. miejsce, 1525 pkt | - |
| Arena: Code Arena WebDev | 8. miejsce, 1679 pkt | - |
| Mój test 23 zadań | 99,5% | Astra: 100% |
| Moje Laboratorium po polsku | 81,8 pkt | Opus 5.5: 90,1 pkt |
| Moja Matura AI | 220/220 | Opus 5.5, GPT-6.1 Sol: 220/220 |
Niski odsetek halucynacji w AA-Omniscience ma drugą stronę: trafność Argona to 50% wobec 63% u Astry. Model częściej odmawia odpowiedzi, niż wie więcej. Podobnie wyszło w moim teście bibliografii: 2 z 16 publikacji zmyślone, ale ani jednego wymyślonego DOI (Opus 5.5: 16 z 16 prawdziwych). Artificial Analysis policzył też koszt: przejście całego indeksu kosztowało 1,99 USD w cenie startowej, wobec 3,26 USD u GPT-6 Astra.
W moich testach praktycznych czołówka robi 99-100%, więc benchmarki tego typu przestają rozróżniać modele, a o wyborze decyduje cena i czas. Argon zrobił 23 zadania za 0,22 USD w 135 s, Opus 5.5 za 0,75 USD w 222 s. Szczegóły są w teście 23 zadań, w tekście Gemini 4 Argon po polsku i w Maturze AI, a porównanie tabel Google z 30 września w tekście Gemini 4 Argon vs GPT-6 Astra vs Opus 5.5.
Jak czytać benchmarki producenta
- Sprawdź, czy test dotyczy zadania, które naprawdę robisz.
- Zwróć uwagę, kto liczył wynik: producent dla siebie, producent dla wszystkich czy niezależny ranking.
- Odróżnij pojedynczą próbę od najlepszego z kilku przebiegów i pełne zaliczenie od punktów częściowych.
- Nie przenoś wyników z angielskich testów na polski. Po polsku Argon jest 8. w moim rankingu, choć w tabeli Google prowadzi.
Najczęstsze pytania
W ilu testach Gemini 4 Argon wygrywa wg Google?
W 13 z 19 samodzielnie, w CWE-bench v1 remisuje z GPT-6 Astra. Astra wygrywa w trzech testach, Claude Opus 5.5 w dwóch.
Czy 77,9% w DeepSWE oznacza tyle poprawnego kodu?
Nie. To odsetek rozwiązanych zadań w jednym benchmarku, policzony przez Google na jego harnessie. Nie jest to procent poprawnych linii ani obietnica skuteczności w twoim repozytorium.
Co znaczy pass@1?
Wynik z jednej próby, bez wybierania najlepszej z wielu odpowiedzi. Wyjątkiem w tabeli Argona jest OSWorld 2.0, gdzie Google podał najlepszy z trzech przebiegów.
Czy niezależne testy potwierdzają przewagę Argona?
Częściowo. Arena daje mu 1. miejsce w tekście, ale Artificial Analysis stawia go na równi z GPT-6 Astra i za Claude Opus 5.5.
Źródła
- Google DeepMind: Gemini 4 Argon Model evaluation (tabela i metodologia)
- Google DeepMind: Gemini 4 Argon, wyniki
- Google DeepMind: Gemini 4 Argon w cyberobronie
- Google: Gemini 4 Argon: our next era of frontier intelligence (30.09.2026)
- Google: Gemini 4 Argon: Built to solve your hardest problems (13.10.2026)
- Artificial Analysis: Gemini 4 Argon
- Arena na X: Gemini 4 Argon w Text Arena
- Bloomberg, 30.09.2026: relacja pracowników Google o zadaniach programistycznych (za Techmeme)
- Moje testy przez OpenRouter, 13.10.2026 (google/gemini-4-argon, effort=low): pojedynek 23 zadań, Laboratorium promptowe, Matura AI, test źródeł
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →Podobne tematy na Promptowym
