Benchmarki Gemini 4 Carbon: pełna tabela 19 testów i gdzie przegrywa
Przepisałem całą tabelę 19 testów Gemini 4 Carbon z dokumentu Google, objaśniłem każdy test i wypisałem, gdzie Carbon przegrywa z GPT-6 Astra i Claude Opus 5.5.
👁 130 przeczytań
Google opublikował razem z Gemini 4 Carbon dokument z wynikami 19 testów. Carbon jest w nim porównany z Gemini 4 Argon, GPT-6 Astra, Claude Opus 5.5 i Claude Fable 5.1. Przepisałem całą tabelę, opisałem, co mierzy każdy test, i wypisałem, gdzie Carbon nie wygrywa. To wyniki podane przez producenta. Sam Carbona nie testowałem, bo jest dostępny tylko w programie Fairwind.
Pełna tabela: 19 testów
Pogrubiony jest najlepszy wynik w wierszu. Kreska oznacza, że dla danego modelu nie ma wyniku.
| Test | Carbon | Argon | GPT-6 Astra | Opus 5.5 | Fable 5.1 |
|---|---|---|---|---|---|
| Artificial Analysis Index v5.0 | 59 | 50 | 57 | 58 | 49 |
| Vals Index v2.2 | 70,4% | 69,2% | 65,0% | 70,2% | - |
| SWE-sweep | 9,6% | 4,3% | 9,5% | 3,6% | 2,9% |
| FrontierSWE 2 | 61,2% | 55,0% | 65,5% | 62,3% | 56,3% |
| Terminal-Bench 4.0 (AA) | 65,2% | 57,1% | 59,1% | 59,6% | 52,0% |
| Agents’ Last Exam v1.1 | 77,4% | 69,0% | 73,1% | 71,6% | - |
| OSWorld-2.1 (offline) | 81,5% | 74,7% | 80,9% | 87,2% | 76,8% |
| AutomationBench (Zapier) | 53,9% | 51,3% | 41,4% | 42,5% | 31,4% |
| Vending-Bench 2 (saldo w USD) | 16 484 | 13 718 | 15 515 | 9 235 | 5 422 |
| Chartography | 72,5% | 71,6% | 71,0% | 66,3% | 46,2% |
| Blueprint-Bench 2 | 58,6% | 54,4% | 49,7% | 51,2% | 41,9% |
| GraphWalks 256k-1M | 96,2% | 84,2% | 71,8% | 66,8% | 65,0% |
| RiemannBench | 80,0% | 76,0% | 72,0% | 69,6% | 65,6% |
| Terminal-Bench-Science 0.1 (AA) | 64,8% | 52,9% | 63,3% | 59,0% | 43,3% |
| CWE-bench | 71,0% | 68,0% | 68,0% | 67,0% | 58,0% |
| ExploitGym | 54,8% | 42,0% | 42,4% | 34,5% | - |
| SEC-bench Pro | 88,2% | 83,4% | 85,4% | - | - |
Wynik: Carbon jest najlepszy w 17 z 19 testów. Dwa przegrywa: FrontierSWE 2 z GPT-6 Astra i OSWorld-2.1 z Claude Opus 5.5.
Co mierzy każdy test, po ludzku
Ogólna inteligencja
- Artificial Analysis Index v5.0 - niezależny ranking łączący wiele testów, w wersji 5.0 z narzędziami. Carbon ma 59 punktów, Opus 5.5 ma 58, a GPT-6 Astra 57. To jedyny wiersz tabeli, który pochodzi w całości od zewnętrznej firmy, i tu przewaga Carbona jest najmniejsza.
- Vals Index v2.2 - zbiorczy indeks zadań zawodowych firmy Vals AI. Carbon 70,4% i Opus 5.5 70,2%, czyli praktycznie remis.
Programowanie
- SWE-sweep - bardzo trudne zadania programistyczne, w których wszystkie modele mają wyniki jednocyfrowe. Carbon 9,6%, GPT-6 Astra 9,5%. Google liczył wynik Carbona sam (narzędzie mini-swe-agent), a wyniki konkurencji wziął z publicznej tabeli wyników.
- FrontierSWE 2 - zadania inżynierskie z publicznego rankingu firmy Proximal. Tu wygrywa GPT-6 Astra: 65,5% wobec 61,2%. Opus 5.5 też jest wyżej (62,3%).
- Terminal-Bench 4.0 - agent pracujący w terminalu, wynik z Artificial Analysis. Carbon ma 65,2%, prawie 6 punktów przewagi nad Opusem. To najbardziej przekonujący wynik programistyczny, bo nie pochodzi od Google.
Obsługa komputera
- Agents’ Last Exam v1.1 - 122 zadania agenta w pięciogodzinnym oknie. Carbon 77,4%. Google liczył go sam, a wyniki Astry i Opusa wziął z publicznej tabeli.
- OSWorld-2.1 - model klika po prawdziwym systemie, tylko na podstawie zrzutów ekranu, w 82 zadaniach bez internetu. Wygrywa Opus 5.5: 87,2% wobec 81,5%. Jeśli budujesz agenta, który ma obsługiwać aplikacje okienkowe, to Claude wciąż jest tu mocniejszy.
Praca biurowa i biznes
- AutomationBench - automatyzacje w stylu Zapiera. Carbon 53,9%, a Opus 5.5 i GPT-6 Astra mają po około 42%, czyli są wyraźnie z tyłu.
- Vending-Bench 2 - model prowadzi symulowany automat z przekąskami przez długi czas i liczy się końcowe saldo. Carbon zarobił 16 484 USD, Opus 5.5 tylko 9 235 USD. Ten test dobrze pokazuje utrzymanie strategii przez wiele kroków.
Obrazy i wykresy
- Chartography - odczytywanie wykresów, bez narzędzi. Carbon 72,5%, tuż nad Argonem (71,6%).
- Blueprint-Bench 2 - rozumienie rzutów i planów (wynik podobieństwa). Carbon 58,6%.
Długi kontekst
- GraphWalks 256k-1M - model chodzi po grafie opisanym w tekście długim od 256 tysięcy do miliona tokenów. Carbon ma 96,2%, a najlepszy z konkurencji, GPT-6 Astra, 71,8%. To największa przewaga w całej tabeli. Uwaga: Google policzył tu wyniki wszystkich modeli sam. Jak działa limit miliona tokenów u Argona, opisałem w tekście milion tokenów w Gemini 4 Argon.
Nauka i matematyka
- RiemannBench - zadania matematyczne z publicznego rankingu Surge. Carbon 80,0%.
- Terminal-Bench-Science 0.1 - zadania naukowe w terminalu (Artificial Analysis). Carbon 64,8%, GPT-6 Astra 63,3%.
Cyberbezpieczeństwo
- SEC-bench Pro - znajdowanie prawdziwych luk w silniku JavaScript (183 zadania). Carbon 88,2%, GPT-6 Astra 85,4%.
- ExploitGym - sprawdzenie, czy lukę da się wykorzystać. Carbon 54,8%, czyli ponad 12 punktów przewagi nad Astrą (42,4%).
- CWE-bench - naprawa luki u źródła, ranking prowadzi firma Collinear. Carbon 71,0%, Argon i Astra po 68,0%.
Testy ExploitGym i SEC-bench Pro Google robił sam, w środowisku Antigravity, bez internetu i z wyłączonymi zabezpieczeniami modelu. Wyniki konkurencji pochodzą z ich raportów, a nie z tego samego przebiegu.
Jak czytać tę tabelę, żeby się nie nabrać
- Kto liczył. Część wyników to niezależne rankingi: Artificial Analysis, Vals, Surge, Zapier, Andon Labs i Collinear. Część Google policzył sam: SWE-sweep, Agents’ Last Exam, OSWorld, GraphWalks, ExploitGym i SEC-bench Pro. Największe przewagi Carbona są akurat w testach liczonych przez Google.
- Ustawienia. Carbon i Argon szły na najwyższych ustawieniach myślenia, przez Gemini API, z jedną próbą. Konkurencja zwykle też na maksymalnych ustawieniach, ale z ich własnych raportów.
- Różnice w punktach. W Artificial Analysis Carbon ma 59, Opus 58, Astra 57. Takie różnice łatwo się odwracają przy kolejnej aktualizacji rankingu.
Poprzednio przy Argonie Google pokazało 19 testów i wygrało 13. Opisałem to w tekście benchmarki Gemini 4 Argon. Przy Carbonie bilans to 17 z 19, a skok względem Argona jest największy w długim kontekście, nauce i cyberbezpieczeństwie. Pełny opis modelu, ceny i dostępu jest w hubie Gemini 4 Carbon.
Google · Twoje źródłaPromptowy wyżej w Twoim Google - jednym kliknięciemDodaj do preferowanych źródeł →Źródła
- Google DeepMind: Gemini 4 Carbon - Model evaluation, metodologia i wyniki (PDF), 28.10.2026
- Google: Gemini 4 Carbon: our next frontier model, 28.10.2026
- Artificial Analysis Intelligence Index
Sprawdzone: 28.10.2026.
Cały tydzień w AI, w jednym mailu
Wybrane premiery, narzędzia i analizy. Raz w tygodniu, prosto do skrzynki.
Zapisz się za darmo →Podobne tematy na Promptowym
